Salesforce インジェスト コネクタの制限事項
プレビュー
LakeFlow Connect はゲート パブリック プレビュー段階です。 プレビューに参加するには、Databricks アカウント チームにお問い合わせください。
この記事では、LakeFlow Connectを使用してSalesforceに接続し、Salesforceからデータを取り込む際の制限事項と考慮事項について説明します。
- ソース テーブルを削除しても、コピー先テーブルは自動的に削除されません。 コピー先テーブルは手動で削除する必要があります。 この動作は、Delta Live Tables の動作と一致し ません 。
- スキーマを選択すると、
CURRENTテーブルだけでなく、スキーマに追加されるFUTUREテーブルも選択されます。 - メンテナンス期間中は、Databricks がお客様のデータにアクセスできない場合があります。
- ソース・テーブル名が既存の宛先テーブル名と競合する場合、フローは失敗します。
一般的な制限事項
-
パイプラインごとに最大 250 個のオブジェクトがあります。 ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。
-
base64、address、location、complexValueタイプはサポートされていません。 これらの列は、インジェスト中に自動的に削除されます。 -
次のオブジェクトはサポートされていません。
-
WHERE句またはLIMIT制限があるオブジェクト:AnnouncementAppTabMemberCollaborationGroupRecordColorDefinitionContentDocumentLinkContentFolderItemContentFolderMemberDataStatisticsDatacloudDandBCompanyEntityParticleFieldDefinitionFieldHistoryArchiveFlexQueueItemFlowVariableViewFlowVersionViewIconDefinitionIdeaCommentNetworkUserHistoryRecentOwnerChangeOptionInfoPicklistValueInfoPlatformActionRelationshipDomainRelationshipInfoSearchLayoutSiteDetailUserEntityAccessUserFieldAccessVote
-
リアルタイム・イベント・モニタリング用のオブジェクト:
ApiEventBulkApiResultEventStoreEmbeddedServiceDetailEmbeddedServiceLabelFormulaFunctionFormulaFunctionAllowedTypeFormulaFunctionCategoryIdentityProviderEventStoreIdentityVerificationEventLightningUriEventListViewEventLoginAsEventLoginEventLogoutEventPublisherRecordActionHistoryReportEventTabDefinitionUriEvent
-
__b、__x、または__hd -
ActivityMetric -
ActivityMetricRollup -
Site
-
-
パイプラインごとに 1 つの宛先のみがサポートされています。 すべてのテーブルは、同じカタログとスキーマを持つ必要があります。
-
Databricks は、カーソル列を選択して、同じ主キーを共有するデータとシーケンスの変更の増分読み取りを追跡します。 Databricks は、カーソル列を優先順に選択します:
SystemModstamp、LastModifiedDate、CreatedDate、LoginTime。たとえば、
SystemModstampが使用できない場合、Databricks はLastModifiedDateを検索します。 オブジェクトにこれらのカーソルの 1 つがない場合、Databricks はテーブルのスナップショットを作成します。 -
Databricks は、Salesforce のデータ型を Delta 互換のデータ型に自動的に変換します。 変換のおおよそのリストについては、 自動データ変換を参照してください。
-
Databricks では、数式フィールドを取り込むことができます。 ただし、現時点では、Databricks ではこれらのフィールドの完全なスナップショットが必要です。 つまり、パイプラインの遅延は、Salesforce データに数式項目が含まれているかどうか、および Salesforce データの更新量によって異なります。
-
Databricks は、パイプラインの残りの部分と同じ頻度で数式フィールドを実行します。 ただし、パイプラインの更新の頻度内では、非数式フィールドが数式フィールドよりも早く更新される場合があります。
-
Databricks は、削除を挿入や更新と同じように扱います。 行が Salesforce から削除されると、次回のデータの同期時にブロンズテーブルから削除されます。 たとえば、パイプラインが毎時実行されているとします。 午後 12:00 に同期し、午後 12:30 にレコードを削除した場合、午後 1:00 の同期が発生するまで削除は反映されません。
エッジケースが 1 つあります: レコードが削除された後、Salesforce のごみ箱からパージされる前にパイプラインが実行されなかった場合、Databricks はそれらの削除を見逃します。 これから回復する唯一の方法は、完全に更新することです。
-
Salesforce には、接続されたアプリケーションごとにユーザーあたり 4 つの接続の制限があります。 4 つ以上の接続を作成する必要がある場合は、新しいユーザーを作成します。
-
セキュリティ上の理由から、Databricks UI で OAuth リンクをクリックした場合にのみ認証してください。
-
Salesforce では、更新トークンをローテーションできます。 コネクタはこれをサポートしていません。
-
列レベルの選択と選択解除はサポートされていません。
-
SCD タイプ 2 はサポートされていません。
-
数式フィールドの増分更新はサポートされていません。
削除の制限
-
テーブルで論理的な削除が有効になっている場合:
- 削除は次回の同期に反映されます。
-
テーブルがソフト削除をサポートしていない場合:
- コネクタは、インジェストのためにスナップショットを自動的にバッチ処理します
- 例外: これは履歴オブジェクトでは機能しません。 コネクタは、これらが増分的に読み取られ、削除は行われないと想定します。
-
テーブルが論理的な削除をサポートしており、ユーザーが手動で物理的に削除した場合、コネクタは削除をキャプチャできません。 レコードは、完全更新を実行しない限り、ブロンズ テーブルに残ります。