Databricks ジョブのキューイングとコンカレンシーの設定

この記事では、Databricks ジョブで詳細設定を構成する手順と推奨事項について説明します。

ジョブ実行のキューイングを有効にする

注：

キューイングは、2024 年 4 月 15 日以降に UI を使用して作成されたジョブに対してデフォルトで有効になっています。

同時実行の制限によりジョブの実行がスキップされないようにするには、ジョブのキューイングを有効にします。 キューイングが有効になっている場合、ジョブの実行にリソースが使用できない場合、実行は最大 48 時間キューに入れられます。 容量が使用可能な場合、ジョブの実行はキューから取り出されて実行されます。 キューに入れられた実行は、 ジョブの実行リスト と 最近のジョブ実行リストに表示されます。

実行は、次のいずれかの制限に達したときにキューに入れられます。

• ワークスペース内の最大並列アクティブ実行。

• ワークスペースで実行されるタスクの最大数並列 Run Job 。

• ジョブの最大並列実行。

キューイングは、そのジョブに対してのみ実行をキューに入れるジョブ レベルのプロパティです。

キューイングを有効または無効にするには、[詳細設定] をクリックし、[ジョブの詳細] サイド パネルの [キュー] トグル ボタンをクリックします。

最大並列実行数の構成

デフォルト では、すべての新しいジョブの最大並列実行は 1 です。

[詳細設定] の [同時実行の編集] をクリックして、このジョブの並列実行の最大数を設定します。

Databricks は、新しい実行を開始しようとしたときに、ジョブが既にアクティブな実行の最大数に達している場合、実行をスキップします。

この値を 1 より大きい値に設定すると、同じジョブの複数の並列実行が可能になります。 これは、たとえば、頻繁なスケジュールでジョブをトリガーし、連続した実行をオーバーラップさせたり、入力パラメーターが異なる複数の実行をトリガーしたりする場合に役立ちます。