タスク数の多いジョブ

最大 1000 個のタスクを含むジョブを作成できます。次のトピックでは、タスクが 100 を超える大規模なジョブで発生する可能性のある特定の問題を解決する方法について説明します。

100 個のタスクしか許可されないというエラーが表示される

Resources with more than 100 tasks can only be handled by API 2.2 and above. Your resource has 200 tasksのようなエラーが表示された場合は、Databricks SDK または Databricks CLI を更新する必要があります。

以下は、言語ごとに必要な最小 SDK バージョンです。

SDK 言語	バージョン
行く	0.60.0
Python	0.45.0
Java	0.42.0

SDK の使用とアップグレードに関する情報については、Databricksでの SDK の使用を参照してください。

Databricks CLI は、バージョン 0.244.0 以上である必要があります。Databricks CLIのインストールと更新に関する情報については、「Databricks CLIのインストールまたは更新」を参照してください。

150 の実行コンテキストのみが許可されているというエラーが発生します

Too many execution contexts are open right now. (Limit set to 150)のようなエラーが表示された場合、ジョブは 1 つのコンピュート クラスタリングで実行しようとしているタスクが多すぎます。タスクは複数のクラスタリングに分割する必要があります。 詳細については、「 ジョブのコンピュートを構成する」を参照してください。

ジョブ実行のマトリックス ビューが遅くなるか、個々のタスクが表示されない

マトリックス ビューで多数のタスクを表示している場合 (たとえば、500 個のタスクを含むジョブを 100 個のジョブ実行で表示している場合)、UI の速度が低下することがあります。極端な場合、ビューにはタスク別の詳細ではなく、各ジョブの概要のみが表示される場合があります。

ビューを短い期間にフィルタリングして、一度に表示するタスクの数を減らすことができます。これにより、速度が向上し、ビューにすべてのタスクの詳細を表示できるようになります。

マトリックス ビューの詳細については、「 1 つのジョブの実行を表示する」を参照してください。