サーバレスパイプラインを設定する
Serverless パイプラインはDatabricksが管理するコンピュートで実行され、ほとんどのインフラストラクチャ構成を排除します。
Databricks では、Serverlessを使用して新しいパイプラインを開発することをお勧めします。一部のワークロードでは、クラシック コンピュートの構成や、レガシーな Hive metastore の操作が必要になる場合があります。2つのコンピュートタイプの比較については、「パイプラインのServerless vs. クラシック コンピュート」を参照してください。また、「パイプライン用のクラシック コンピュートの構成」および「レガシー Hive metastore での LakeFlow Pipelines の使用」も参照してください。
要件
-
ワークスペースはUnity Catalogが有効になっていなければなりません。サーバレス パイプラインは常に Unity Catalogを使用します。 「パイプラインで Unity Catalog を使用する」を参照してください。
-
Serverlessパイプラインには、
ADVANCED製品エディションが必要です。「製品エディションの選択」を参照してください。 -
サーバレスの 利用規約に同意しておく必要があります。
-
ワークスペースは、 サーバレスが有効なリージョンにある必要があります。
サーバレスパイプラインの推奨構成
Serverless パイプラインの設定には、クラスターの作成権限は必要ありません。defaultでは、すべてのワークスペースユーザーは、ワークスペースのdefaultの自動化Serverlessコンピュートにアクセスできます。ワークスペース管理者は、そのアクセスを制限できます。Serverlessコンピュートの管理を参照してください。
Databricksがすべてのインフラストラクチャを管理するため、サーバレス パイプラインではほとんどの構成オプションが削除されます。新規にパイプラインを作成する場合は、デフォルトでサーバレスを使用します。サーバレス パイプラインの設定方法については、「パイプラインの設定」を参照してください。
また、 Unity Catalog で設定された既存のパイプラインをサーバレスを使用するように変換することもできます。 既存のパイプラインをサーバレスを使用するように変換するを参照してください。
その他の構成上の考慮事項
サーバレス パイプラインでは、次の構成オプションも利用できます。
-
本番運用でパイプラインを実行する場合は、 継続的 パイプライン モードを使用することを選択できます。 トリガー パイプライン モードと継続的パイプライン モードを参照してください。
-
成功または失敗の条件に基づくEメール更新の 通知 を追加します。 パイプラインイベントのEメール通知の追加を参照してください。
-
設定 フィールドを使用して、パイプラインのキーと値のペアを設定します。これらの構成には、次の 2 つの目的があります。
- ソースコード内で参照できる任意の点を設定します。 「パイプラインでの使用」を参照してください。
- パイプライン設定と Spark 構成を構成します。パイプラインプロパティリファレンスを参照してください。
-
プレビュー チャンネルを使用して、保留中のランタイムの変更に対してパイプラインをテストし、新機能を試用します。
-
パイプラインの Environment 設定で、外部Python依存関係を宣言します。パイプラインのPython依存関係の管理を参照してください。
サーバーレス使用ポリシー
プレビュー
この機能は パブリック プレビュー段階です。
サーバレス使用ポリシーを使用すると、組織はサーバレスの使用状況にカスタムタグを適用して、詳細な請求属性を実現できます。 「サーバーレス」 チェックボックスを選択すると、 「使用ポリシー」 設定が表示され、パイプラインに適用するポリシーを選択できます。タグはサーバレス使用ポリシーから継承され、ワークスペース管理者のみが編集できます。
サーバーレス使用ポリシーが割り当てられた後、既存のパイプラインには自動的にポリシーのタグが付けられません。 既存のパイプラインにポリシーを適用するには、手動でパイプラインを更新する必要があります。
サーバレス使用ポリシーの詳細については、 「サーバレス使用ポリシーでの属性の使用」を参照してください。
Serverlessコンピュートのレート制限
Serverlessレート制限はベータ版です。ワークスペース管理者は、 Serverless コンピュートのレート制限 を プレビュー ページから有効にする必要があります。
Lakeflow エディターで、パイプラインの 設定 を開きます。 コンピュート で、パイプラインの実行権限を持つServerlessコンピュートオブジェクトを選択します。そのサイズは、パイプラインのSparkエグゼキューターのオートスケールを制限します。同じコンピュートオブジェクトを使用する各パイプラインに、それぞれの上限が適用されます。この制限は、パイプラインの合計コストを制限するものではありません。
ランタイムの要件、権限、サイズ、および制限については、 Serverless コンピュートのレート制限の設定を参照してください。
パフォーマンスモードを選択する
Serverlessパイプラインは、それを実行するジョブまたはスケジュールのパフォーマンスモードを使用します。パフォーマンス最適化モードがdefaultです。起動が高速で、インタラクティブで時間的な制約があるワークロード用に設計されています。通常4〜6分のStartup時間を許容できるパイプラインの場合、標準モードではDatabricksユニット (DBU) の消費量とコストが削減されます。Triggerパイプラインで標準モードを使用するには、パイプラインスケジュールで パフォーマンス最適化 をクリアします。
モードを比較し、各タイプのワークロードのモードを設定する方法については、Serverlessジョブとパイプラインのパフォーマンスモードの選択を参照してください。
連続パイプラインで標準パフォーマンスモードを使用するには、連続ジョブでパイプラインを実行し、スケジュール内の Performance optimized チェックボックスをオフにします。「連続ジョブを使用した連続パイプラインの実行」および「パイプライン UI を使用したパイプラインのスケジュール設定」を参照してください。
サーバレス パイプライン の機能
サーバレスパイプラインは構成の簡素化に加え、以下の特長を備えています。
- ストリーム パイプライン: データ取り込みなどのストリーミング データワークロードの使用率、throughput、待機時間を改善するために、マイクロバッチはパイプライン化されます。つまり、標準的な Spark Structured Streaming のようにマイクロバッチを逐次的に実行するのではなく、Serverless LakeFlow Pipelines はマイクロバッチを並行して実行し、コンピュート リソースの使用率を向上させます。ストリームパイプラインは、Serverlessパイプラインでdefaultで有効になります。
- 垂直 オートスケール : Serverless LakeFlow Pipelines は、Databricks 拡張オートスケールによって提供される水平オートスケールに加えて、メモリ不足エラーのために失敗することなくパイプラインを実行できる最もコスト効率の高いインスタンスタイプを自動的に割り当てることで機能します。垂直 オートスケールとはを参照してください。
既存のパイプラインをサーバレス用に変換する
Unity Catalogで構成された既存のパイプラインをサーバレス パイプラインに変換できます。 次のステップを完成させます:
- Databricks ワークスペースのサイドバーで、 ジョブとパイプライン をクリックします。
- パイプラインの 名前 をクリックします。
- 設定 をクリックします。
- 右側のサイドバーの コンピュート の下で、
。
- サーバレスの 横にあるチェックボックスをオンにします。
- 保存 をクリックします。
サーバレスを有効にすると、パイプラインに対して構成したコンピュート設定はすべて削除されます。 パイプラインを非サーバレス更新に戻す場合は、必要なコンピュート設定をパイプライン構成に再構成する必要があります。
サーバレス パイプラインのDBU消費量の確認
Serverless LakeFlow Pipelines の DBU 使用状況は、Databricks システムテーブルの一部である課金利用テーブルをクエリすることで確認できます。Serverless パイプラインの DBU 消費量は?を参照してください。
制限事項
- Serverlessコンピュートの制限事項については、Serverlessコンピュートの制限事項を参照してください。そこで説明されているStructured StreamingのTriggerの制限は、パイプラインモードには適用されません。Serverlessパイプラインは、Trigger、継続、およびリアルタイムモードをサポートしています。Triggered対継続パイプラインモードを参照してください。
- サーバレス パイプラインのJSON構成の
clustersオブジェクトにコンピュート設定を手動で追加することはできません。 これを実行しようとするとエラーが発生します。 - Pythonプロセス(
dbutils.library.restartPython())を手動で再起動することはサポートされていないため、ランタイムで依存関係をインストールまたは再読み込みすることはできません。パイプラインのPython依存関係の管理を参照してください。