サーバレスコンピュート for ワークフローを使用してDatabricksジョブを実行する

重要

ワークフロー用サーバレスコンピュートは送信トラフィックの制御をサポートしていないため、ジョブはインターネットに完全にアクセスできます。

サーバーレスコンピュート for ワークフローを使用すると、インフラストラクチャの構成やデプロイを行わずにDatabricksジョブを実行できます。サーバーレスコンピュートを使用すると、データ処理と分析パイプラインの実装に集中でき、 Databricksワークロードに合わせたコンピュートの最適化やスケーリングなど、コンピュートリソースを効率的に管理します。オートスケールとPhoton 、ジョブを実行するコンピュートリソースに対して自動的に有効になります。

ワークフロー用サーバレスコンピュートの自動最適化では、ワークロードに基づいてインスタンスタイプ、メモリ、処理エンジンなどの適切なリソースを選択して、コンピュートを自動的に最適化します。自動最適化では、失敗したジョブも自動的に再試行されます。

Databricks は、Databricks ジョブの安定性を確保しながら、プラットフォームの機能強化とアップグレードをサポートするために、Databricks Runtime バージョンを自動的にアップグレードします。ワークフローで使用されている現在のDatabricks Runtimeバージョンを確認するには、サーバレスコンピュートリリースノートを参照してください。

クラスター作成権限が不要なため、すべてのワークスペースユーザーがサーバレスコンピュートを利用してワークフローを実行できます。

この記事では、 Databricks Jobs UI を使用して、サーバレスコンピュートを使用するジョブを作成および実行する方法について説明します。 Jobs API 、 Databricks Asset Bundles、 Databricks SDK for Pythonを使用して、サーバレスコンピュートを使用するジョブの作成と実行を自動化することもできます。

APIジョブを使用して、サーバレスコンピュートを使用するジョブを作成および実行する方法については、リファレンスの「ジョブ」 RESTAPIを参照してください。
Databricksアセットバンドルを使用して、サーバレスコンピュートを使用するジョブを作成および実行する方法については、「 Databricksアセットバンドルを使用してDatabricksでジョブを開発する」を参照してください。
Databricks SDK for Pythonを使用して、サーバーレスコンピュートを使用するジョブを作成および実行する方法については、 Databricks SDK for Pythonを参照してください。

要件

Databricks ワークスペースで Unity Catalog が有効になっている必要があります。
サーバレスコンピュート for ワークフローは共有アクセスモードを使用するため、ワークロードがこのアクセスモードをサポートしている必要があります。

Databricks ワークスペースはサポートされているリージョン内に存在する必要があります。「サーバレスコンピュート機能の利用可能性」を参照してください。

サーバレスコンピュートを使用してジョブを作成する

注：

ワークフローのサーバーレスコンピュートでは、ワークロードを実行するための十分なリソースがプロビジョニングされることが保証されるため、大量のメモリを必要とするか、多くのタスクを含むDatabricksジョブを実行する場合、起動時間の増加が発生する可能性があります。

サーバーレスコンピュートは、ノートブック、 Pythonスクリプト、 dbt 、およびPython wheelタスクタイプでサポートされています。新しいジョブを作成し、これらのサポートされているタスクタイプの 1 つを追加すると、サーバーレスコンピュートタイプがコンピュートタイプとして選択されます。

Databricks 、すべてのジョブタスクにサーバーレスコンピュートを使用することをお勧めします。ジョブ内のタスクにさまざまなコンピュートタイプを指定することもできます。これは、タスクタイプがワークフローのサーバレスコンピュートでサポートされていない場合に必要になる場合があります。

サーバレスコンピュートを使用するように既存のジョブを構成する

ジョブを編集するときに、サポートされているタスクタイプに対してサーバレスコンピュートを使用するように既存のジョブを切り替えることができます。サーバレスコンピュートに切り替えるには、次のいずれかを実行します。

[ジョブの詳細]サイドパネルで、 [コンピュート]の下の[スワップ]をクリックし、 [新規]をクリックし、設定を入力または更新して、 [更新]をクリックします。
クリックコンピュートドロップダウンメニューで[サーバレス]を選択します。

サーバレスコンピュートを使用してノートブックをスケジュールする

ジョブ UI を使用して、サーバレスコンピュートを使用するジョブを作成およびスケジュールするだけでなく、 Databricksノートブックから直接サーバレスコンピュートを使用するジョブを作成して実行することもできます。「スケジュールされたノートブックジョブの作成と管理」を参照してください。

Spark構成を設定する

サーバレスコンピュートでのSparkの構成を自動化するために、 Databricks特定のSpark構成のみを設定できます。許容可能な Spark 構成のリストについては、「サポートされているSpark構成」を参照してください。

Spark構成はセッションレベルでのみ設定できます。これを行うには、それらをノートブックに設定し、そのノートブックを、その引数を使用する同じジョブに含まれるタスクに追加します。「ノートブックで Apache Spark 構成プロパティを取得および設定する」を参照してください。

環境と依存関係を構成する

サーバレスコンピュートを使用してライブラリと依存関係をインストールする方法については、「ノートブックの依存関係をインストールする」を参照してください。

再試行を禁止するようにサーバーレスコンピュートの自動最適化を構成する

ワークフロー用サーバレスコンピュートの自動最適化では、ジョブの実行に使用されるコンピュートを自動的に最適化し、失敗したジョブを再試行します。自動最適化はデフォルトで有効になっており、重要なワークロードが少なくとも 1 回は正常に実行されるようにするために、Databricks では有効のままにしておくことを推奨しています。ただし、べき等性のないジョブなど、最大 1 回しか実行する必要のないワークロードがある場合は、タスクを追加または編集するときに自動最適化をオフにすることができます。

再試行の横にある追加（または(再試行ポリシーがすでに存在する場合)。
[再試行ポリシー]ダイアログで、 [サーバーレス自動最適化を有効にする (追加の再試行が含まれる場合があります)]のチェックを外します。
[確認]をクリックします。
タスクを追加する場合は、 「タスクの作成」をクリックします。タスクを編集している場合は、 「タスクを保存」をクリックします。

ワークフロー用サーバレスコンピュートを使用したジョブのコストを監視する

ワークフローのサーバレスコンピュートを使用するジョブのコストは、課金利用システムテーブルをクエリすることで監視できます。この表は、サーバーレスコストに関するユーザーおよびワークロード属性を含めるように更新されます。料金利用システムテーブルリファレンスを参照してください。

Sparkクエリの詳細を表示する

ワークフロー用サーバレスコンピュートには、メトリックやクエリプランなどのSparkステートメントの詳細な情報を表示するための新しいインターフェイスがあります。サーバーレスコンピュート上のジョブ実行に含まれるSparkステートメントのクエリ情報を表示するには:

サイドバーの［ワークフロー］をクリックします。
[名前]列で、情報を表示するジョブ名をクリックします。
知見を表示したい特定の実行をクリックします。
[タスク実行]サイドパネルの[コンピュート]セクションで、 [クエリ履歴]をクリックします。
あなたが参加していたタスクのタスク実行 ID に基づいて事前にフィルタリングされた、書き込みー履歴にリダイレクトされます。

クエリ履歴の使用に関する情報については、「クエリ履歴」を参照してください。

制限事項

ワークフローの制限事項の一覧については、サーバレスコンピュートリリースノートの「サーバレスコンピュート制限事項」を参照してください。

サーバレス コンピュート for ワークフローを使用してDatabricksジョブを実行する

要件