Workday インジェスト パイプラインの保守
このページでは、Workday インジェスト パイプラインを維持するための継続的な運用について説明します。
一般的なパイプラインのメンテナンス
このセクションのパイプライン メンテナンス タスクは、 LakeFlow Connectのすべてのマネージド コネクタに適用されます。
対象テーブルを完全に更新する
インジェスト パイプラインを完全に更新すると、テーブルのデータと状態がクリアされ、データソースからすべてのレコードが再処理されます。
-
選択したテーブルを完全に更新するには:
ある。Databricks ワークスペースのサイドバーで、 [パイプライン ] をクリックします。ある。パイプラインを選択します。ある。パイプラインの詳細ページで、インジェストパイプラインの [更新するテーブルを選択 ] をクリックします。ある。目的のテーブルを選択し、[ 選択内容の完全更新 ] をクリックします。
- 代わりに、インジェスト パイプライン内のすべてのテーブルを完全に更新するには、 スタート ボタンの横にあるドロップダウン メニューをクリックし、 全てを完全更新 をクリックします。
インジェスト パイプラインの更新は、 Initializing フェーズまたは Resetting tables フェーズ中に失敗する可能性があります。LakeFlow Connect は、パイプラインを自動的に数回再試行します。 自動再試行が手動で中断された場合、または最終的に致命的に失敗した場合は、前のテーブル更新選択を使用して新しいパイプラインの更新を手動で開始します。これを行わないと、ターゲットテーブルが部分的なデータと一貫性のない状態のままになる可能性があります。手動の再試行も失敗する場合は、サポート チケットを作成します。
インジェスト パイプラインのスケジュールを変更する
- Databricks ワークスペースのサイドバーで、 パイプライン をクリックします。
- パイプラインを選択し、 スケジュール をクリックします。
アラートと通知のカスタマイズ
LakeFlow Connect は、すべてのインジェスト パイプラインとスケジューリング ジョブの通知を自動的に設定します。 通知は、UI でカスタマイズするか、パイプライン APIを使用してカスタマイズできます。
- UI
- API
- 左側のパネルで、[ パイプライン ] をクリックします。
- パイプラインを選択します。
- 「スケジュール」 をクリックします。
- 通知を受け取りたいスケジュールがすでにある場合は、次の操作を行います。 ある。リストでスケジュールを特定します。ある。ケバブメニューをクリックし、「 編集 」をクリックします。ある。[ その他のオプション ] をクリックし、通知を追加します。
- 新しいスケジュールが必要な場合: ある。[ スケジュールの追加 ] をクリックします。ある。スケジュールを設定します。ある。[ その他のオプション ] をクリックし、通知を追加します。
PUT /api/2.0/pipelines/{pipeline_id}ドキュメントの 「通知」を参照してください。
取り込むテーブルを指定する
パイプライン API には、取り込むテーブルを objects フィールドに指定するための 2 つの方法が用意されています。 ingestion_definition:
- テーブル仕様: 指定したソースカタログとスキーマから、指定した宛先カタログとスキーマに個々のテーブルを取り込みます。
- スキーマ仕様: 指定したソースカタログとスキーマのすべてのテーブルを、指定したカタログとスキーマに取り込みます。
スキーマ全体を取り込むことを選択した場合は、コネクタのパイプラインあたりのテーブル数の制限を確認する必要があります。