メインコンテンツまでスキップ
に最終更新

ジョブのパイプラインタスク

Lakeflow Jobsは、 タスク 間の関係を定義するための手順的なアプローチを提供します。Lakeflow Pipelinesは、 データセット と 変換 の間の関係を定義するための宣言型アプローチを提供します。ジョブ UI、LakeFlow Pipelines UI、または SQL を使用して、ジョブのタスクとして実行するように、Trigger パイプラインをスケジュールします。

注記

*トリガーされた*パイプラインは、継続的に実行されるものではなく、開始するにはトリガーする必要があります。パイプラインタスクは、トリガーされたパイプラインのトリガーメカニズムとして機能できます。継続的なパイプラインはトリガーする必要はありません。そのため、タスクを介してトリガーすることは冗長になります。トリガーされた継続的パイプラインの詳細については、トリガーと継続的パイプラインモードを参照してください。

ジョブ UI でパイプライン タスクを構成する​

LakeFlow Pipelines は、パイプライン定義内のソースコードとコンピュートのすべての構成を管理します。

ジョブにパイプラインを追加するには、次のステップを実行します。

  1. 新しいタスクを作成して名前を付け、 種類 で パイプライン を選択します。
  2. パイプライン ドロップダウン メニューで、既存のパイプラインを選択します。パイプラインは、トリガーされたパイプラインである必要があります。連続パイプラインは、ジョブ タスクとしてサポートされていません。
  3. 必要に応じて、パイプラインで完全な更新をトリガーできます。
  4. [Parameters] フィールドで、必要に応じてパラメーターの上書きを設定できます。See パラメーター.
  5. (オプション) 再試行、実行期間またはストリーミングバックログのしきい値、または通知を設定するには、高度なタスク設定を参照してください。
注記

タスクを作成するときに、**タスクの追加**ペインまたはタスクの**種類**ドロップダウンから**新しいインジェスト パイプライン**を選択して、新しいインジェスト パイプラインを作成することもできます。プラスアイコン。

このタスクを編集、複製、無効化、または削除するには、「Lakeflowジョブでタスクを構成および編集する」を参照してください。

データベーステーブル同期パイプライン​

データベーステーブル同期パイプライン タスクは、Lakebase同期テーブルを維持するパイプラインを実行するパイプラインタスクです。運用アプリケーションがLakebase Postgresから最新のデータを読み取れるように、スケジュールに基づいて、またはソースのUnity Catalogテーブルが変更されたときに、同期されたテーブルを更新するために使用します。

タスクの**タイプ**ドロップダウンで、**取り込みと変換**の下に**データベーステーブル同期パイプライン**が表示されます。これを選択すると、パイプラインタスクが構成されます。**パイプライン**フィールドで、更新したい同期されたテーブルに関連付けられたパイプラインを選択します。

Lakebase には 2 つのオファリングがあります。更新する同期済みテーブルによって、どの指示に従うべきかが決まります：

取り込みパイプライン​

インジェスト パイプライン タスクは、インジェスト パイプラインを実行するパイプライン タスクです。「タスクの タイプ 」ドロップダウンで、 インジェスト パイプライン を選択すると、 [データの追加] ウィザードが起動し、インジェスト パイプラインのパイプライン タスクが作成されます。

ウィザードの最初のページでデータソースが求められます。表示されるページは、選択したソースによって異なります。たとえば、MySQL を選択した場合は、手順についてオプション 1: Databricks UI を参照してください。利用可能なソースについては、LakeFlow Connect のマネージド コネクタを参照してください。

パラメーター​

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

動的な値参照を使用して、パイプラインタスクでジョブまたはタスクパラメーターにアクセスできます。タスク設定の パラメーター で キー と 値 のペアを追加して、パラメーターを上書きできます。

パイプライン内からパラメーター値にアクセスする方法の詳細については、「タスクからのパラメーター値へのアクセス」を参照してください。

パイプラインタスクの同時実行制限​

パイプラインは一度に 1 つの更新のみを実行できます。パイプライン タスクを含むジョブには、次の同時実行上限が適用されます:

  • パイプラインタスクが含まれているmax_concurrent_runs > 1のジョブは、単一の並列実行に制限されます。この上限が適用されると、ジョブUIに通知が表示されます。
  • 「For Eachタスク」でラップされたパイプラインタスクは、ループで構成された並列実行数に関係なく、1つの並列イテレーションに制限されます。

多数のパラメーターの組み合わせ、または厳しいスケジュールで実行を予定しているパラメーター化されたパイプラインを設計する際は、これらの上限を考慮して計画してください。

パイプラインUIでパイプラインをスケジュールする​

パイプラインにスケジュールを追加すると、単一のパイプラインタスクを持つジョブが作成されます。このUIを使用すると、時間ベースのスケジュールトリガーのみを構成できます。より高度なトリガーオプションについては、ジョブUIでパイプラインタスクを構成するを参照してください。

次のステップを完了することにより、パイプラインUIを使用してスケジュールされたジョブでパイプラインタスクを構成します。

  1. ワークスペースで、サイドバーの ワークフロー アイコン。 ジョブ & パイプライン をクリックします。

  2. パイプラインの 名前 をクリックします。パイプライン UI が表示されます。

  3. スケジュール をクリックします。

    • パイプラインのスケジュールが存在しない場合、**新しいスケジュール**ダイアログが表示されます。
    • 1 つ以上のスケジュールが既に存在する場合は、 スケジュールの追加 をクリックします。

  4. ジョブ名 フィールドにジョブの一意の名前を入力してください。

  5. （オプション）スケジュールの頻度を更新します。

    • cron 構文など、より詳細なオプションを表示するには、 Advanced を選択します。

  6. (オプション) その他のオプション で、パイプラインの開始、成功、または失敗時にアラートを受け取るように 1 つ以上の Eメール アドレスを構成します。

  7. 作成 をクリックします。

注記

パイプラインが 1 つ以上のスケジュールされたジョブに含まれている場合、**スケジュール** ボタンには、既存のスケジュール数が表示されます(例: **スケジュール (5)**)。

Databricks SQL のマテリアライズドビューまたはストリーミングテーブルにスケジュールを追加します。​

Databricks SQL で定義されているマテリアライズドビューとストリーミング テーブルでは、 CREATE コマンドまたは ALTER コマンドで指定された時間ベースのスケジューリングがサポートされています。

詳細については、次の記事を参照してください。

このページの見出し