コンピュート
Databricksのコンピュートは、データエンジニアリング、データサイエンス、およびアナリティクス ワークロードを実行するために、Databricksで利用可能なコンピューティング リソースの選択を指します。オンデマンドスケーリング用のサーバレスコンピュート、カスタマイズ可能なリソース用のクラシックコンピュート、最適化されたアナリティクス用の SQLウェアハウスから選択します。
コンピュート リソースは、 コンピュート セクションで表示および管理できます ワークスペース:
サーバレス コンピュート
オンデマンドで自動管理される コンピュート ワークロード要件に基づいてスケーリングします。
トピック | 説明 |
|---|---|
ノートブックでのインタラクティブな Python および SQL 実行 (自動スケーリングとインフラストラクチャ管理なし)。 | |
インフラストラクチャを構成または展開せずにLakeFlowジョブを実行します。 コンピュートリソースは自動的に配備され、スケールします。 | |
インフラストラクチャを構成または展開せずにLakeFlow宣言型パイプラインを実行します。コンピュートリソースは自動的に配備され、スケールします。 | |
サーバレスのワークロードとサポートされている設定の制限と要件を理解する。 |
クラシックコンピュート
プロビジョニング コンピュート ワークロード用に作成、構成、管理するリソース。
トピック | 説明 |
|---|---|
クラシック・コンピュート・リソースにアクセスして作成できるユーザーの概要。 | |
ノートブックでインタラクティブなデータ分析を行うためのコンピュートを作成および構成するか、 LakeFlow ジョブ を使用してワークフローを自動化します。 | |
マルチユーザーコンピュート 共有リソースで費用対効果の高いコラボレーションを実現します。 Lakeguard は、安全なユーザー分離を提供します。 | |
コンピュート リソース 1 人のユーザーまたはグループに割り当てられます。 | |
事前構成されたインスタンスにより、 コンピュート 起動時間を短縮し、頻繁なワークロードのコスト削減を実現します。 |
SQLウェアハウス
特定のユースケースと高度な機能に合わせて最適化されたコンピュートリソース。 SQLウェアハウスは、サーバレスまたはクラシックとして構成できます。
トピック | 説明 |
|---|---|
サーバレス または クラシック オプションを使用して、 SQL クエリ、アナリティクス、ビジネスインテリジェンスワークロード用に最適化されたコンピュート。 | |
サーバレスとクラシック SQLウェアハウス オプションの違いを理解して、ワークロードに適したタイプを選択します。 |
その他のトピック
トピック | 説明 |
|---|---|
SQL ワークロードを高速化し、より高速なデータ処理を提供する高性能クエリ エンジン。 | |
データガバナンスとアクセス制御を提供するセキュリティフレームワーク コンピュートリソース。 |
コマンド行またはコマンドを使用したコンピュートの操作については、APIsについては、 Databricks CLIとは ?およびDatabricks REST API参照を参照してください。
予約済みポート
ドライバー ノードでは、内部 Databricks サービス用に特定のポートが予約されています。競合を避けるため、次のポートにサービスをバインドしないでください。
- 1023
- 6059
- 6060
- 6061
- 6062: デフォルトでは ipywidgets によって占有されます。必要に応じてポートを変更できます。ipywidgetsを参照してください。
- 7071
- 7077
- 10000
- 15001
- 15002
- 36423
- 38841
- 39909
- 40000
- 40001
- 41063