ジョブの DLT パイプライン タスク
ジョブは、 タスク 間の関係を定義するための手続き型アプローチを提供します。DLT パイプラインは、 データセット と 変換 の間の関係を定義するための宣言型アプローチを提供します。このページでは、ジョブ UI、DLT パイプラインDatabricks UI、または を使用して、トリガーされた DLT パイプラインを ジョブのタスクとして実行するようにスケジュールする方法について説明します。SQL
トリガーされた DLT パイプラインは、継続的に実行されないパイプラインですが、開始するにはトリガーする必要があります。パイプラインタスクは、トリガーされた DLT パイプラインのトリガーメカニズムにすることができます。連続パイプラインはトリガーする必要がないため、タスクを通じてパイプラインをトリガーするのは冗長です。トリガーされたパイプラインと連続パイプラインの詳細については、「 トリガーされたパイプライン モードと連続パイプライン モード」を参照してください。
ジョブ UI を使用した DLT パイプライン タスクの構成
DLT パイプラインは、パイプライン定義のソース コードとコンピュートのすべての構成を管理します。
ジョブにパイプラインを追加するには、次の手順を実行します。
- 新しいタスクを作成して名前を付け、 [Type ] の DLT パイプライン を選択します。
- [パイプライン ] ドロップダウン メニューで、既存の DLT パイプラインを選択します。
- オプションで、DLT パイプラインで完全更新をトリガーできます。
パイプライン タスクで使用できるのはトリガーパイプラインだけです。継続的パイプラインは、ジョブタスクとしてはサポートされていません。
パイプライン UI を使用した DLT パイプラインのスケジュール
パイプラインにスケジュールを追加すると、1 つのパイプライン タスクを持つジョブが作成されます。時間ベースのスケジュールトリガーは、このUIを使用してのみ設定できます。より高度なトリガー オプションについては、「 ジョブ UI を使用して DLT パイプライン タスクを構成する」を参照してください。
パイプライン UI を使用してスケジュールされたジョブでパイプライン タスクを構成するには、次の手順を実行します。
-
サイドバーの 「DLT 」をクリックします。
-
パイプライン名をクリックします。 パイプライン UI が表示されます。
-
「スケジュール」 をクリックします。
- パイプラインにスケジュールが存在しない場合は、[ 新しいスケジュール ] ダイアログが表示されます。
- 1 つ以上のスケジュールがすでに存在する場合は、[ スケジュールの追加 ] をクリックします。
-
ジョブ名 フィールドにジョブの一意の名前を入力します。
-
(オプション)スケジュールの頻度を更新します。
- [ 詳細 ] を選択すると、cron 構文を含むより詳細なオプションが表示されます。
-
(オプション) [その他のオプション ] で、パイプラインの開始、成功、または失敗時にアラートを受け取るように 1 つ以上の Eメール アドレスを構成します。
-
作成 をクリックします。
パイプラインが 1 つ以上のスケジュールされたジョブに含まれている場合、[ スケジュール ] ボタンには既存のスケジュールの数が表示されます ( 例: スケジュール (5) )。