LakeFlowジョブのクラシックコンピュートの設定

クラシックジョブでは、データ変換シナリオのニーズに合ったクラシックコンピュートリソースを作成し、構成する必要があります。

Databricks では、ほとんどのジョブワークロードにサーバレスコンピュートをお勧めします。サーバレスコンピュートはすべてのインフラストラクチャを管理し、特定のコンピュート構成の必要性を排除します。ワークフロー向けサーバレスコンピュートによるLakeflowジョブの実行を参照してください。

ワークロードがサーバレスでサポートされていない場合は、クラシックコンピュート構成のベストプラクティスに記載されている一般的なクラシックコンピュートのベストプラクティスを使用し、このページでジョブ固有のガイダンスを確認してください。

注記

構造化ストリーミングワークフローには、特定の設定に関する推奨事項があります。構造化ストリーミングについては、本番運用に関する考慮事項を参照してください。

汎用コンピュートではなく、ジョブコンピュートを使用してください。

Databricks がジョブに汎用コンピュートを使用しないことを推奨する理由は、次のとおりです：

Databricks 汎用コンピュートの請求書は、ジョブコンピュートとは異なるレートでお支払いいただけます。
ジョブコンピュートは、ジョブの実行が完了すると自動的に終了します。汎用コンピュートは、ジョブ実行の終了ではなく、非アクティブに関連付けられた自動終了をサポートしています。
汎用コンピュートは、多くの場合、ユーザーのチーム間で共有されます。汎用コンピュートに対してスケジュールされたジョブは、コンピュートリソースの競合により、多くの場合、待機時間が長くなります。
ジョブコンピュートの構成を最適化するための多くの推奨事項は、汎用コンピュートで実行されるアドホッククエリや対話型ワークロードの種類には適していません。

次に、ジョブに汎用コンピュートを使用することを選択するユースケースを示します。

新しいジョブを繰り返し開発またはテストしています。ジョブコンピュートの起動時間が長いと、反復開発が面倒になる可能性があります。汎用コンピュートを使用すると、変更を適用してジョブをすばやく実行できます。
短期間のジョブがあり、頻繁に実行したり、特定のスケジュールで実行したりする必要があります。現在実行中の汎用コンピュートに関連付けられた起動時間はありません。このパターンを使用する場合は、アイドル時間に関連するコストを考慮してください。

ジョブ用サーバレスコンピュートは、汎用コンピュートに対して実行を検討するほとんどのタスクタイプの推奨される代替です。

Databricks では、ワークスペース管理者がジョブのコンピュートポリシーを定義し、ジョブを構成するすべてのユーザーにこれらのポリシーを適用することをお勧めします。

Databricks は、ジョブ用に構成されたデフォルトポリシーを提供します。管理者は、このポリシーを他のワークスペースユーザーが使用できるようにすることができます。ジョブコンピュートを参照してください。