コンピュートの選択についての推奨
Databricksで使用するノートブック、ジョブ、パイプライン、またはSQLワークロードのコンピュートタイプを選択します。選択または作成できるコンピュートリソースは、権限によって異なります。
クラシック コンピュート リソースの構成に関するガイダンスについては、「クラシック コンピュート構成のベスト プラクティス」を参照してください。
インタラクティブなノートブックのためのコンピュートを選択する
クラスタータイプ | 使用する場合 |
|---|---|
サーバーレスコンピュート | 一般的に推奨されます。より迅速な起動、自動スケーリング、および低コストを提供します。 |
サーバレス SQLウェアハウス | SQLベースのアナリティクスとレポート用。 SQL クエリのパフォーマンスに最適化されています。 |
クラシック汎用コンピュート | RDD APIsやR言語のサポートが必要な場合。 |
ノートブック コンピュートの詳細については、「 ノートブック コンピュート リソース」を参照してください。
ジョブのためのコンピュートを選ぶ
ジョブを設定するときは、タスクごとにコンピュート リソースを選択します。
クラスタータイプ | 使用する場合 |
|---|---|
サーバーレスコンピュート | ほとんどの自動化されたワークロードに推奨されます。Databricks がインフラストラクチャとスケーリングを管理します。ワークロードの完了要件とデータの鮮度要件に基づいて、パフォーマンスモードを選択します。 |
SQLウェアハウス | SQL タスクの場合。レイテンシーとコストのニーズに合ったウェアハウスタイプを使用します。 |
クラシックジョブコンピュート | サーバレスでは使用できないカスタムクラスター設定を必要とする非 SQL ジョブの場合。 |
クラシック汎用コンピュート | 一般的には避けてください。自動化されたワークロード向けに最適化されていません。 |
各タスクタイプに推奨されるコンピュートタイプの一覧を確認するには、各タスクの推奨コンピュートを参照してください。
Serverlessコンピュート上のスケジュールされたバッチジョブの場合、Databricksは、代表的なランが完了およびデータ鮮度の要件を満たしているときに、コストを削減するための標準モードの評価を推奨しています。開発中の迅速なフィードバック、または標準モードがタイミング要件を満たせない場合は、パフォーマンス最適化モードを使用してください。新しいServerlessジョブはdefaultでパフォーマンス最適化モードになるため、明示的に標準モードを選択してください。ジョブを標準モードに切り替えるを参照してください。
クラシックな汎用コンピュートでの自動化作業については、Serverlessの互換性を確認し、Serverlessコンピュートを使用するジョブを作成します。
パイプラインのためのコンピュートを選ぶ
パイプラインを設定する場合は、サーバレス コンピュートまたはクラシック パイプラインを使用します。
クラスタータイプ | 使用する場合 |
|---|---|
サーバーレスコンピュート | ほとんどの自動化されたワークロードに推奨されます。Databricks がインフラストラクチャとスケーリングを管理します。ワークロードの完了要件とデータの鮮度要件に基づいて、パフォーマンスモードを選択します。 |
クラシックパイプラインコンピュート | Serverlessでサポートされていない機能が必要な場合、またはレガシーのHive metastoreを使用している場合。 |
SQLワークロードのためのSQLウェアハウスタイプを選択する
SQLウェアハウスのタイプは3種類からお選びいただけます。
ウェアハウスのタイプ | 使用する場合 |
|---|---|
サーバレス SQLウェアハウス | BI、ETL、探索的分析に推奨されます。起動は通常2〜6秒で、急速に拡張されます。 |
Pro SQLウェアハウス | サーバレスが使用できない場合や、カスタムネットワーク(フェデレーションやハイブリッドなど)が必要な場合に使用します。 |
クラシック SQLウェアハウス | エントリーレベルのパフォーマンス。サーバレスまたはプロがオプションでない場合に、基本的な対話型探索に使用します。 |
SQLウェアハウスタイプを選択する際の考慮事項の詳細については、「ウェアハウスタイプSQL」を参照してください。