メインコンテンツまでスキップ

ジョブコンピュートの設定

この記事には、 Databricks ジョブのコンピュートを構成するための推奨事項とリソースが含まれています。

important

ジョブ用サーバレスコンピュートには、次のような制限があります。

  • 継続的な スケジューリングはサポートされていません。
  • 構造化ストリーミングでは、デフォルトまたは時間ベースのインターバルトリガーはサポートされていません。

その他の制限事項については、 サーバレス コンピュートの制限事項を参照してください。

各ジョブには、1 つ以上のタスクを含めることができます。 コンピュート リソースは、タスクごとに定義します。 同じジョブに対して定義された複数のタスクは、同じコンピュート リソースを使用できます。

複数のテイクと関連するクラウドコンピュートリソースを持つジョブを示す画像

各タスクの推奨コンピュート

次の表は、各タスクの種類で推奨およびサポートされているコンピュートの種類を示しています。

注記

サーバレス コンピュート for ジョブには制限があり、すべてのワークロードをサポートしているわけではありません。 サーバレス コンピュートの制限事項を参照してください。

タスク

おすすめコンピュート

対応コンピュート

ノートブック

サーバレス ジョブ

ジョブ用サーバレス、ジョブ用クラシック、汎用クラシック

Pythonスクリプト

サーバレス ジョブ

ジョブ用サーバレス、ジョブ用クラシック、汎用クラシック

Python Wheel

サーバレス ジョブ

ジョブ用サーバレス、ジョブ用クラシック、汎用クラシック

SQL

サーバレス SQLウェアハウス

サーバレス SQLウェアハウス, pro SQLウェアハウス

DLTパイプライン

サーバレス パイプライン

サーバレス パイプライン、クラシックパイプライン

dbt

サーバレス SQLウェアハウス

サーバレス SQLウェアハウス, pro SQLウェアハウス

dbt CLI コマンド

サーバレス ジョブ

ジョブ用サーバレス、ジョブ用クラシック、汎用クラシック

JAR

クラシックジョブ

クラシックジョブ、クラシック万能

Spark Submit

クラシックジョブ

クラシックジョブ

ジョブの価格は、タスクの実行に使用されるコンピュートに関連付けられています。 詳細については、「 Databricks の価格」を参照してください。

ジョブのコンピュートを設定するにはどうすればよいですか?

クラシック ジョブ コンピュートは Databricks ジョブ UI から直接設定され、これらの設定はジョブ定義の一部です。 他のすべての使用可能なコンピュート タイプは、他のワークスペース アセットと共に構成を保存します。 次の表に詳細を示します。

クラスタータイプ

詳細

クラシックジョブコンピュート

クラシックジョブのコンピュートは、万能コンピュートと同じUIと設定を使用して設定します。 コンピュート設定リファレンスを参照してください。

ジョブ用サーバレスコンピュート

サーバレス コンピュート for ジョブは、それをサポートするすべてのタスクのデフォルトです。 Databricks サーバレス コンピュートのコンピュート設定を管理します。 ワークフローについては、サーバレス コンピュートを使用して Databricks ジョブを実行 を参照してください。このオプションを表示するには、ワークスペース管理者がサーバレス コンピュートを有効にする必要があります。 サーバレス コンピュートの有効化を参照してください。

SQLウェアハウス

サーバレスと Pro SQLウェアハウスは、ワークスペース管理者または無制限のクラスター作成権限を持つユーザーによって構成されます。 既存の SQLウェアハウスに対してタスクを実行するように構成します。 「SQLウェアハウスへの接続」を参照してください。

DLT パイプライン コンピュート

DLT パイプラインのコンピュート設定は、パイプラインの設定時に行います。 DLT パイプラインのコンピュートの設定を参照してください。nn Databricks manages コンピュート リソース for サーバレス DLT パイプライン. サーバレス DLT パイプラインの設定を参照してください。

汎用コンピューティング

オプションで、従来の汎用コンピュートを使用してタスクを設定できます。 Databricks では、この構成を本番運用ジョブにはお勧めしません。 「コンピュート設定リファレンス」および「万能コンピュートをジョブに使用すべきか」を参照してください。

Share コンピュート across task

同じジョブ コンピュート リソースを使用するようにタスクを構成して、複数のタスクを調整するジョブでリソースの使用を最適化します。 タスク間でコンピュートを共有すると、起動時間に関連するレイテンシーを短縮できます。

1 つのジョブ コンピュート リソースを使用して、ジョブの一部であるすべてのタスクを実行したり、特定のワークロード用に最適化された複数のジョブ リソースを実行したりできます。 ジョブの一部として設定されたジョブコンピュートは、ジョブ内の他のすべてのタスクで使用できます。

次の表は、1 つのタスク用に構成されたジョブ コンピュートと、タスク間で共有されるジョブ コンピュートの違いを示しています。

1 つのタスク

タスク間で共有

起動

タスクの実行が開始されたとき。

コンピュート リソースを使用するように構成された最初のタスク実行が開始されると、そのタスク実行が開始されます。

終了

タスクの実行後。

最後のタスクの後、コンピュート リソースを使用するように構成しました。

アイドルコンピュート

該当なし。

コンピュートはオンでアイドル状態のままで、タスクはコンピュート リソースを使用していません。

共有ジョブ クラスターは、スコープが 1 つのジョブ実行に限定され、他のジョブや同じジョブの実行では使用できません。

ライブラリは、共有ジョブ クラスター構成で宣言することはできません。 タスク設定で依存ライブラリを追加する必要があります。

ジョブコンピュートのレビュー、構成、スワップ

ジョブ詳細 パネルの コンピュート セクションには、現在のジョブのタスクに設定されたすべてのコンピュートが一覧表示されます。

コンピュート リソースを使用するように構成されたタスクは、コンピュート仕様にカーソルを合わせると、タスク グラフで強調表示されます。

スワップ ボタンを使用して、コンピュート リソースに関連付けられているすべてのタスクのコンピュートを変更します。

クラシック ジョブ コンピュート リソースには [構成] オプションがあります。 その他のコンピュート リソースには、コンピュート構成の詳細を表示および変更するオプションがあります。

詳細情報

Databricks クラシック ジョブの構成の詳細については、「 クラシック Databricks ジョブの構成に関するベスト プラクティス」を参照してください。