メインコンテンツまでスキップ

ジョブのパイプライン タスク

Lakeflow ジョブは、 タスク 間の関係を定義するための手続き型アプローチを提供します。 Lakeflow 宣言型パイプラインは、 データセット と 変換 の間の関係を定義するための宣言型アプローチを提供します。 Lakeflowこのページでは、ジョブ UI、 宣言型パイプラインLakeflow UI、または を使用して、トリガーされた 宣言型パイプライン をジョブのタスクとして実行するようにスケジュールする方法について説明します。SQL

注記

トリガーされた パイプラインは、継続的に実行されないパイプラインですが、開始するにはトリガーする必要があります。パイプライン タスクは、トリガーされたパイプラインのトリガー メカニズムにすることができます。連続パイプラインはトリガーする必要がないため、タスクを通じてパイプラインをトリガーするのは冗長です。トリガーされたパイプラインと連続パイプラインの詳細については、「 トリガーされたパイプライン モードと連続パイプライン モード」を参照してください。

ジョブ UI を使用したパイプライン タスクの構成​

Lakeflow 宣言型パイプラインは、パイプライン定義内のソース コードとコンピュートのすべての構成を管理します。

ジョブにパイプラインを追加するには、次の手順を実行します。

  1. 新しいタスクを作成して名前を付け、 [種類 ] で [パイプライン ] を選択します。
  2. [パイプライン ] ドロップダウン メニューで、既存のパイプラインを選択します。パイプラインは、トリガーされたパイプラインである必要があります。連続パイプラインは、ジョブ タスクとしてサポートされていません。
  3. 必要に応じて、パイプラインの完全更新をトリガーできます。
注記

タスクの作成時に、 タスクの追加 ペインまたはタスク の種類 ドロップダウンから + 新しいインジェストパイプライン を選択して、新しいインジェストパイプラインを作成することもできます。

パイプライン UI を使用したパイプラインのスケジュール設定​

パイプラインにスケジュールを追加すると、1 つのパイプライン タスクを持つジョブが作成されます。時間ベースのスケジュールトリガーは、このUIを使用してのみ設定できます。より高度なトリガー オプションについては、「 ジョブ UI を使用してパイプライン タスクを構成する」を参照してください。

パイプライン UI を使用してスケジュールされたジョブでパイプライン タスクを構成するには、次の手順を実行します。

  1. ワークスペースで、サイドバーの ワークフローアイコン。 Jobs & パイプライン をクリックします。

  2. パイプライン の [Name ] をクリックします。パイプライン UI が表示されます。

  3. 「スケジュール」 をクリックします。

    • パイプラインにスケジュールが存在しない場合は、[ 新しいスケジュール ] ダイアログが表示されます。
    • 1 つ以上のスケジュールがすでに存在する場合は、[ スケジュールの追加 ] をクリックします。

  4. ジョブ名 フィールドにジョブの一意の名前を入力します。

  5. (オプション)スケジュールの頻度を更新します。

    • [ 詳細 ] を選択すると、cron 構文を含むより詳細なオプションが表示されます。

  6. (オプション) [その他のオプション ] で、パイプラインの開始、成功、または失敗時にアラートを受け取るように 1 つ以上の Eメール アドレスを構成します。

  7. 作成 をクリックします。

注記

パイプラインが 1 つ以上のスケジュールされたジョブに含まれている場合、[ スケジュール ] ボタンには既存のスケジュールの数が表示されます ( 例: スケジュール (5) )。

Databricks SQL のマテリアライズド ビューまたはストリーミング テーブルにスケジュールを追加する​

Databricks SQL で定義されているマテリアライズドビューとストリーミング テーブルでは、 CREATE コマンドまたは ALTER コマンドで指定された時間ベースのスケジューリングがサポートされています。

詳細については、次の記事を参照してください。

に最終更新