メインコンテンツまでスキップ

Microsoft SharePointインジェストパイプラインの保守

備考

プレビュー

Microsoft SharePoint コネクタは ベータ版です。

このページでは、Microsoft SharePoint インジェスト パイプラインを維持するための継続的な操作について説明します。

一般的なパイプラインのメンテナンス​

このセクションのパイプライン メンテナンス タスクは、 Lakeflowコネクトのすべてのマネージド コネクタに適用されます。

対象テーブルを完全に更新する​

インジェスト パイプラインを完全に更新すると、ターゲット テーブルのデータと状態がクリアされ、データソースからすべてのレコードが再処理されます。 パイプライン内のすべてのテーブルを完全に更新することも、更新するテーブルを選択することもできます。

  1. Databricks ワークスペースのサイドバーで、 パイプライン をクリックします。
  2. パイプラインを選択します。
  3. パイプラインの詳細ページで、[ Full update] all または[ Select tables for update ] をクリックし、目的のテーブルを選択してから、[ Full renewal selection ] をクリックします。
important

取り込み パイプラインの更新は、 Initializing フェーズまたは Resetting tables フェーズ中に失敗する可能性があります。Lakeflowコネクト は、パイプラインを自動的に数回再試行します。 自動再試行が手動で中断された場合、または最終的に致命的に失敗した場合は、前のテーブル更新選択を使用して新しいパイプラインの更新を手動で開始します。これを行わないと、ターゲットテーブルが部分的なデータと一貫性のない状態のままになる可能性があります。手動の再試行も失敗する場合は、サポート チケットを作成します。

取り込み パイプラインのスケジュールを変更する​

  1. Databricks ワークスペースのサイドバーで、 パイプライン をクリックします。
  2. パイプラインを選択し、 スケジュール をクリックします。

アラートと通知のカスタマイズ​

Lakeflowコネクト は、すべての取り込み パイプラインとスケジューリング ジョブの通知を自動的に設定します。 通知は、UI でカスタマイズするか、パイプライン APIを使用してカスタマイズできます。

  1. 左側のパネルで、[ パイプライン ] をクリックします。
  2. パイプラインを選択します。
  3. 「スケジュール」 をクリックします。
  4. 通知を受け取りたいスケジュールがすでにある場合は、次の操作を行います。 ある。リストでスケジュールを特定します。ある。ケバブメニューをクリックし、「 編集 」をクリックします。ある。[ その他のオプション ] をクリックし、通知を追加します。
  5. 新しいスケジュールが必要な場合: ある。[ スケジュールの追加 ] をクリックします。ある。スケジュールを設定します。ある。[ その他のオプション ] をクリックし、通知を追加します。

取り込むテーブルを指定する​

パイプライン API には、取り込むテーブルを objects フィールドに指定するための 2 つの方法が用意されています。 ingestion_definition:

  • テーブル仕様: 指定したソースカタログとスキーマから、指定した宛先カタログとスキーマに個々のテーブルを取り込みます。
  • スキーマ仕様: 指定したソースカタログとスキーマのすべてのテーブルを、指定したカタログとスキーマに取り込みます。

スキーマ全体を取り込むことを選択した場合は、コネクタのパイプラインあたりのテーブル数の制限を確認する必要があります。

CLI コマンド​

パイプラインを編集するには、次のコマンドを実行します。

databricks pipelines update --json "<<pipeline_definition OR json file path>"

パイプライン定義を取得するには、次のコマンドを実行します。

databricks pipelines get "<your_pipeline_id>"

パイプラインを削除するには、次のコマンドを実行します。

databricks pipelines delete "<your_pipeline_id>"

詳細については、いつでも次のコマンドを実行できます。

databricks pipelines --help
databricks pipelines <create|update|get|delete|...> --help
に最終更新