メインコンテンツまでスキップ
に最終更新

コンピュート

Databricksのコンピュートは、データエンジニアリング、データサイエンス、およびアナリティクス ワークロードを実行するために、Databricksで利用可能なコンピューティング リソースの選択を指します。オンデマンドスケーリング用のサーバレスコンピュート、カスタマイズ可能なリソース用のクラシックコンピュート、最適化されたアナリティクス用の SQLウェアハウスから選択します。

コンピュート リソースは、 コンピュート セクションで表示および管理できます ワークスペース:

サーバレス コンピュート​

オンデマンドで自動管理される コンピュート ワークロード要件に基づいてスケーリングします。

    • ジョブ用サーバレスコンピュート
    • インフラストラクチャの構成やデプロイを行わずに、 LakeFlowジョブを実行します。 自動的にプロビジョニングとコンピュート リソースのスケールを調整します。
    • サーバレス パイプライン
    • インフラストラクチャの構成やデプロイを行わずに、 Lakeflow Spark宣言型パイプラインを実行します。 自動的にプロビジョニングとコンピュート リソースのスケールを調整します。

クラシックコンピュート​

プロビジョニング コンピュート ワークロード用に作成、構成、管理するリソース。

    • コンピュートの設定
    • ノートブックでインタラクティブなデータ分析を行うためのコンピュートを作成および構成するか、 Lakeflow ジョブ を使用してワークフローを自動化します。
    • スタンダードコンピュート
    • マルチユーザーコンピュート 共有リソースで費用対効果の高いコラボレーションを実現します。 Lakeguard は、安全なユーザー分離を提供します。
    • 専用コンピュート
    • コンピュート リソース 1 人のユーザーまたはグループに割り当てられます。
    • インスタンスプール
    • 事前構成されたインスタンスにより、 コンピュート 起動時間を短縮し、頻繁なワークロードのコスト削減を実現します。

SQLウェアハウス​

特定のユースケースと高度な機能に合わせて最適化されたコンピュートリソース。 SQLウェアハウスは、サーバレスまたはクラシックとして構成できます。

    • SQLウェアハウス
    • サーバレス または クラシック オプションを使用して、 SQL クエリ、アナリティクス、ビジネスインテリジェンスワークロード用に最適化されたコンピュート。
    • SQLウェアハウスの種類
    • サーバレスとクラシック SQLウェアハウス オプションの違いを理解して、ワークロードに適したタイプを選択します。

その他のトピック​

    • Photonとは
    • SQL ワークロードを高速化し、より高速なデータ処理を提供する高性能クエリ エンジン。
    • Lakeguardとは?
    • データガバナンスとアクセス制御を提供するセキュリティフレームワーク コンピュートリソース。

コマンド行またはコマンドを使用したコンピュートの操作については、APIsについては、 Databricks CLIとは ?およびDatabricks REST API参照を参照してください。

予約済みポート​

ドライバー ノードでは、内部 Databricks サービス用に特定のポートが予約されています。競合を避けるため、次のポートにサービスをバインドしないでください。

  • 1023
  • 6059
  • 6060
  • 6061
  • 6062: デフォルトでは ipywidgets によって占有されます。必要に応じてポートを変更できます。ipywidgetsを参照してください。
  • 7071
  • 7077
  • 10000
  • 15001
  • 15002
  • 36423
  • 38841
  • 39909
  • 40000
  • 40001
  • 41063