Salesforce インジェスト コネクタの制限事項
この記事では、 Databricks LakeFlow Connectを使用して Salesforce からデータを取り込む際の制限事項と考慮事項について説明します。
一般的な SaaS コネクタの制限事項
このセクションの制限事項は、 のすべてのSaaS コネクタに適用されます。LakeFlow Connect
- スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。代わりに、次の更新が実行されたときにトリガーされます。
- ソース テーブルを削除しても、コピー先テーブルは自動的に削除されません。コピー先テーブルは手動で削除する必要があります。この動作は DLT の動作と一致しません。
- ソースのメンテナンス期間中は、Databricks がデータにアクセスできない場合があります。
- ソース テーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
- マルチデスティネーションパイプラインのサポートはAPIのみです。
- オプションで、取り込むテーブルの名前を変更できます。パイプライン内のテーブルの名前を変更すると、そのテーブルは API のみのパイプラインになり、UI でパイプラインを編集できなくなります。
- 列レベルの選択と選択解除は API 専用です。
- パイプラインがすでに開始された後に列を選択した場合、コネクタは新しい列のデータを自動的にバックフィルしません。ヒストリカルデータを取り込むには、テーブルで完全な更新を手動で実行します。
コネクタ固有の制限
このセクションの制限は、Salesforce インジェスト コネクタに固有です。
認証
- Salesforce では更新トークンをローテーションできますが、コネクタではサポートされていません。
データ型
NUMBER
とCURRENCY
の Salesforce データは、取り込まれると 3 桁の精度が失われます。これらの値は、Salesforce では小数点の前に 18 桁あることができますが、Databricks では小数点の前に 15 桁しかありません。
パイプライン
- パイプラインごとに最大 250 個のオブジェクトがあります。ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。
base64
、address
、location
、complexValue
タイプはサポートされていません。これらの列は、インジェスト中に自動的に削除されます。- Databricks では、数式フィールドを取り込むことができます。ただし、Databricks では、これらのフィールドの完全なスナップショットが必要です。つまり、パイプラインの遅延は、Salesforce データに数式項目が含まれているかどうか、および Salesforce データの更新量によって異なります。
- Databricks は、パイプラインの残りの部分と同じ頻度で数式フィールドを実行します。ただし、パイプラインの更新の頻度内では、非数式フィールドが数式フィールドよりも早く更新される場合があります。
スキーマ進化
-
Databricks は、論理的な削除を挿入や更新と同じように扱います。行が Salesforce から削除されると、次回のデータの同期時にブロンズテーブルから削除されます。たとえば、パイプラインが毎時実行されているとします。午後 12:00 に同期し、午後 12:30 にレコードを削除した場合、午後 1:00 の同期が発生するまで削除は反映されません。
エッジケースが 1 つあります: レコードが削除された後、Salesforce のごみ箱からパージされる前にパイプラインが実行されなかった場合、Databricks はそれらの削除を見逃します。これから回復する唯一の方法は、完全に更新することです。
-
Databricks では、物理的な削除は自動的にはサポートされていません。これらを反映するには、宛先テーブルを完全に更新する必要があります。
-
SCD タイプ 2 はサポートされていません。
テーブル
以下は、サポートされていない Salesforce オブジェクトの一覧です。
-
WHERE
句またはLIMIT
制限があるオブジェクト:Announcement
AppTabMember
CollaborationGroupRecord
ColorDefinition
ContentDocumentLink
ContentFolderItem
ContentFolderMember
DataStatistics
DatacloudDandBCompany
EntityParticle
FieldDefinition
FieldHistoryArchive
FlexQueueItem
FlowVariableView
FlowVersionView
IconDefinition
IdeaComment
NetworkUserHistoryRecent
OwnerChangeOptionInfo
PicklistValueInfo
PlatformAction
RelationshipDomain
RelationshipInfo
SearchLayout
SiteDetail
TaskWhoRelation
UserEntityAccess
UserFieldAccess
Vote
-
リアルタイム・イベント・モニタリング用のオブジェクト:
ApiEvent
BulkApiResultEventStore
EmbeddedServiceDetail
EmbeddedServiceLabel
FormulaFunction
FormulaFunctionAllowedType
FormulaFunctionCategory
IdentityProviderEventStore
IdentityVerificationEvent
LightningUriEvent
ListViewEvent
LoginAsEvent
LoginEvent
LogoutEvent
Publisher
RecordActionHistory
ReportEvent
TabDefinition
UriEvent
-
__b
、__x
、または__hd
で終わるオブジェクト:ActivityMetric
ActivityMetricRollup
Site