Glean コネクタの制限事項

備考

ベータ版

この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。Databricksのプレビューを管理するを参照してください。

このページには、Lakeflow Connectにおけるマネージド Glean コネクタの既知の制限事項に関する情報が含まれています。

一般的な ソフトウェア as a サービス（SaaS）コネクタの制限事項

このセクションの制限事項は、Lakeflowコネクト のすべてのSaaS コネクタに適用されます。

• スケジュールされたパイプラインをRunする場合、アラートはすぐにTriggerされません。その代わり、次の更新がTriggerされます。
• ソーステーブルを削除しても、宛先テーブルは自動的に削除されません。宛先テーブルは手動で削除する必要があります。この動作は、Lakeflow上のSpark宣言型パイプラインの動作と一致しません。
• ソースのメンテナンス期間中は、Databricks がデータにアクセスできない場合があります。
• ソーステーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
• マルチ送信先パイプラインのサポートはAPIのみです。
• オプションで、取り込むテーブルの名前を変更できます。パイプライン内のテーブルの名前を変更すると、そのテーブルは API 専用パイプラインになり、UI でパイプラインを編集できなくなります。
• パイプラインがすでに起動した後に列を選択した場合、コネクタはその新しい列のデータを自動的にバックフィルしません。ヒストリカルデータを取り込むには、テーブルで完全更新を手動でランします。
• Databricksでは、異なるソーススキーマからのテーブルであっても、同じパイプライン内で同じ名前のテーブルを2つ以上取り込むことはできません。
• ソースシステムは、カーソル列が単調に増加することを前提としています。
• このコネクタは、変換を行わずに生データを取り込みます。変換には、LakeFlow Pipelines 上のダウンストリームの Spark 宣言型パイプラインを使用してください。

コネクタ固有の制限事項

このセクションの制限事項は、Glean コネクタに適用されます。

• このコネクタは、insights と shortcuts の 2 つのソーステーブルを利用可能にします。詳しくは、サポートされているソーステーブルを参照してください。
• 両方のテーブルは、完全更新スナップショットとしてインジェストされます。同期のたびに宛先テーブルが最新のデータで置き換えられるため、コネクタは履歴スナップショットを保持しません。日次履歴を保持するには、独自のスケジュールで下流の宛先テーブルをマテリアライズします。
• 増分取り込みはサポートされていません。GleanのinsightsおよびlistshortcutsEndpointはカーソルを公開しないため、同期のたびに現在の状態全体が読み取られます。
• SCDタイプ2はサポートされていません。insights テーブルには VARIANT 列があり、両方のテーブルが完全更新スナップショットとして取り込まれます。
• 単一の接続で1つのAPIトークンを使用します。両方のテーブルを取り込むには、そのトークンにInsightsスコープとShortcutsスコープの両方が含まれている必要があります。