サーバレス・コンピュートでワークフロー用のDatabricksジョブを実行する

重要

ワークフロー用サーバレスコンピュートは送信トラフィックの制御をサポートしていないため、ジョブはインターネットに完全にアクセスできます。

サーバレスワークフローを使用すると、インフラストラクチャを構成および展開せずにDatabricksジョブを実行できます。サーバーレスコンピュートを使用すると、データ処理および分析パイプラインの実装に集中でき、ワークロードに合わせてコンピュートを最適化およびスケーリングするなど、コンピュートリソースをDatabricksが効率的に管理します。ジョブを実行するコンピュートリソースに対して、オートスケールとPhotonが自動的に有効になります。

ワークフロー用サーバレスコンピュートの自動最適化では、ワークロードに基づいてインスタンスタイプ、メモリ、処理エンジンなどの適切なリソースを選択して、コンピュートを自動的に最適化します。自動最適化では、失敗したジョブも自動的に再試行されます。

Databricks は、Databricks ジョブの安定性を確保しながら、プラットフォームの機能強化とアップグレードをサポートするために、Databricks Runtime バージョンを自動的にアップグレードします。ワークフローで使用されている現在のDatabricks Runtimeバージョンを確認するには、サーバレスコンピュートリリースノートを参照してください。

クラスター作成権限は必要ないため、すべてのワークスペースユーザーはサーバーレスコンピュートを使用してワークフローを実行できます。

この記事では、 Databricks Jobs UI を使用して、サーバーレスコンピュートを使用するジョブを作成および実行する方法について説明します。また、Jobs API 、 Databricks Asset Bundles、 Databricks SDK for Pythonを使用して、サーバーレスコンピュートを使用するジョブの作成と実行を自動化することもできます。

JobsAPI を使用して、サーバレスコンピュートを使用するジョブを作成および実行する方法の詳細については、リファレンスの「Jobs」 RESTAPIを参照してください。
Databricks Asset Bundles を使用して、サーバーレスコンピュートを使用するジョブを作成および実行する方法の詳細については、「 Databricks Asset Bundles を使用してDatabricksでジョブを開発する」を参照してください。
Databricks SDK for Pythonを使用して、サーバーレスコンピュートを使用するジョブを作成および実行する方法については、 Databricks SDK for Pythonを参照してください。

要件

Databricks ワークスペースで Unity Catalog が有効になっている必要があります。
serverless Conpute for ワークフローは共有アクセスモードを使用するため、ワークロードはこのアクセスモードをサポートする必要があります。

Databricks ワークスペースはサポートされているリージョン内に存在する必要があります。サーバレスコンピュート機能の可用性を参照してください。

サーバーレスコンピュートを使用してジョブを作成する

注：

サーバーレスワークロードでは、ワークロードを実行するために十分なリソースが確保されるため、大量のメモリを必要とする、または多くのタスクを含むDatabricksジョブを実行するときに起動時間が長くなる可能性があります。

サーバレスコンピュートは、デル、 Pythonスクリプト、 dbt 、およびPython wheelタスクタイプでサポートされています。デフォルトでは、新しいジョブを作成し、サポートされているタスクタイプのいずれかを追加するときに、サーバレスコンピュートがコンピュートタイプとして選択されます。

Databricks 、すべてのジョブタスクにサーバーレスコンピュートを使用することをお勧めします。ジョブ内のタスクに異なるコンピュートタイプを指定することもできます。これは、タスクタイプがワークフローのサーバレスコンピュートによってサポートされていない場合に必要になることがあります。

既存のジョブをサーバーレスコンピュートを使用するように構成する

既存のジョブを編集するときに、サポートされているタスクタイプに対してサーバレスコンピュートを使用するように切り替えることができます。サーバーレスコンピュートに切り替えるには、次のいずれかを実行します。

ジョブ詳細サイドパネルで、コンピュートの下のスワップをクリックし、新規をクリックして、設定を入力または更新し、更新をクリックします。
クリック[コンピュート]ドロップダウンメニューで、 [サーバレス]を選択します。

サーバーレスコンピュートを使用してコンピューターをスケジュールする

ジョブ UI を使用してサーバレスコンピュートを使用したジョブを作成およびスケジュールするだけでなく、 Databricksダッシュボードから直接サーバレスコンピュートを使用したジョブを作成して実行することもできます。「スケジュールされたノートブックジョブの作成と管理」を参照してください。

Spark構成を設定する

サーバーレスコンピュート上でのSparkの構成を自動化するために、 Databricks特定のSpark構成のみを設定できます。許容されるの構成のリストについては、「サポートされているSpark構成の構成」を参照してください。

Spark構成はセッションレベルでのみ設定できます。これを行うには、それらをドイツ語に設定し、そのドイツ語を、その引数を使用する同じジョブに含まれるタスクに追加します。「ノートブックで Apache Spark 構成プロパティを取得および設定する」を参照してください。

環境と依存関係を構成する

サーバーレスコンピュートを使用してライブラリと依存関係をインストールする方法については、「ライブラリの依存関係のインストール」を参照してください。

サーバレスコンピュートの自動最適化を設定して再試行を禁止する

ワークフロー用サーバレスコンピュートの自動最適化では、ジョブの実行に使用されるコンピュートを自動的に最適化し、失敗したジョブを再試行します。自動最適化はデフォルトで有効になっており、重要なワークロードが少なくとも 1 回は正常に実行されるようにするために、Databricks では有効のままにしておくことを推奨しています。ただし、べき等性のないジョブなど、最大 1 回しか実行する必要のないワークロードがある場合は、タスクを追加または編集するときに自動最適化をオフにすることができます。

再試行の横にある追加（または(再試行ポリシーがすでに存在する場合)。
[再試行ポリシー]ダイアログで、 [サーバーレス自動最適化を有効にする (追加の再試行が含まれる場合があります)]のチェックを外します。
「確認」をクリックします。
タスクを追加する場合は、 「タスクの作成」をクリックします。タスクを編集している場合は、 「タスクを保存」をクリックします。

サーバレスコンピュートを使用したワークフローのコストを監視する

課金利用システムテーブルを照会することで、サーバレスコンピュートを使用したワークフローのジョブのコストを監視できます。この表は、サーバーレスコストに関するユーザーおよびワークロード属性を含めるように更新されます。課金利用システムテーブルリファレンスを参照してください。

Sparkクエリの詳細を表示する

ワークフロー用サーバレスコンピュートには、メトリックやクエリプランなどのSparkステートメントの詳細な情報を表示するための新しいインターフェイスがあります。サーバーレスコンピュート上のジョブ実行に含まれるSparkステートメントのクエリ情報を表示するには:

サイドバーの［ワークフロー］をクリックします。
「名前」列で、知見を表示するジョブ名をクリックします。
知見を表示したい特定の実行をクリックします。
タスク実行サイドパネルの [クエリ履歴] セクションで、 [クエリ履歴]をクリックします。
参加していたタスクのタスク実行 ID に基づいて事前にフィルタリングされたクエリ履歴にリダイレクトされます。

クエリ履歴の使用に関する情報については、「クエリ履歴」を参照してください。

制限事項

ワークフローの制限事項の一覧については、サーバレスコンピュートリリースノートの「サーバレスコンピュート制限事項」を参照してください。