Anysphere 組織コネクターの制限事項
備考
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。
一般的な SaaS コネクタの制限事項
このセクションの制限事項は、Lakeflowコネクト のすべてのSaaS コネクタに適用されます。
- スケジュールされたパイプラインを実行した場合、アラートはすぐにはTriggerされません。代わりに、次の更新が実行されたときにTriggerされます。
- ソース テーブルを削除しても、宛先テーブルは自動的に削除されません。宛先テーブルを手動で削除する必要があります。この動作は、Lakeflow Spark宣言型パイプラインの動作と一致しません。
- ソースのメンテナンス期間中は、Databricks からデータにアクセスできない場合があります。
- ソース テーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
- マルチ送信先のパイプラインサポートは API のみです。
- 取り込むテーブルの名前は、オプションで変更できます。パイプライン内のテーブルの名前を変更すると、API 専用のパイプラインになり、UI でパイプラインを編集できなくなります。
- パイプラインがすでに起動した後に列を選択した場合、コネクタはその新しい列のデータを自動的にバックフィルしません。ヒストリカルデータを取り込むには、テーブルで完全更新を手動でランします。
- Databricks では、異なるソース スキーマから取得されたものであっても、同じパイプライン内で同じ名前の 2 つ以上のテーブルを取り込むことはできません。
- ソースシステムは、カーソル列が単調増加することを前提としています。
- このコネクタは、変換を行わずに生データを取り込みます。変換処理には、LakeFlow Pipelinesの下流にあるSpark宣言型パイプラインを使用します。
コネクタ固有の制限事項
このセクションの制限事項は、Anysphere 組織コネクターに適用されます。
- このコネクタは増分取り込みをサポートしていません。すべてのテーブルは、パイプラインの更新ごとに完全なスナップショットで更新されます。すべてのテーブルは
snapshot_dateパーティション列(各テーブルの主キーの一部)を介して日次履歴を保持するため、日次スナップショットはラン全体で保持されます。 - このコネクタはSCDタイプ2をサポートしていません。すべてのテーブルは、チェンジデータキャプチャ(CDC)の削除追跡なしでフル更新のスナップショットとして取り込まれるため、SCDタイプ2の履歴は使用できません。
- サポートされているテーブルの一覧については、サポートされているソーステーブルを参照してください。