メインコンテンツまでスキップ

Salesforce インジェスト コネクタの制限事項

この記事では、 Databricks Lakeflowコネクトを使用して Salesforce からデータを取り込む際の制限事項と考慮事項について説明します。

一般的な SaaS コネクタの制限事項​

このセクションの制限事項は、Lakeflowコネクト のすべてのSaaS コネクタに適用されます。

  • スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。代わりに、次の更新が実行されたときにトリガーされます。
  • ソース テーブルを削除しても、コピー先テーブルは自動的に削除されません。コピー先テーブルは手動で削除する必要があります。この動作は Lakeflow 宣言型パイプラインの動作と一致しません。
  • ソースのメンテナンス期間中は、Databricks がデータにアクセスできない場合があります。
  • ソース テーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
  • マルチデスティネーションパイプラインのサポートはAPIのみです。
  • オプションで、取り込むテーブルの名前を変更できます。パイプライン内のテーブルの名前を変更すると、そのテーブルは API のみのパイプラインになり、UI でパイプラインを編集できなくなります。
  • 列レベルの選択と選択解除は API 専用です。
  • パイプラインがすでに開始された後に列を選択した場合、コネクタは新しい列のデータを自動的にバックフィルしません。ヒストリカルデータを取り込むには、テーブルで完全な更新を手動で実行します。
  • Databricks では、同じパイプライン内で同じ名前の 2 つ以上のテーブルを取り込むことはできません (それらが異なるソース スキーマから来ている場合でも)。
  • ソース・システムは、カーソル列が単調に増加していると想定しています。
  • タイプ 1 SCD 有効にすると、削除によってチェンジデータフィードに明示的な delete イベントは生成されません。 監査可能な削除の場合は、コネクターがサポートしている場合は、SCD タイプ 2 を使用します。詳しくは、 例: CDF ソース・データを使用した SCD タイプ 1 および SCD タイプ 2 の処理を参照してください。

コネクタ固有の制限​

このセクションの制限は、Salesforce インジェスト コネクタに固有です。

認証​

  • コネクタは、手動更新トークンを使用した OAuth をサポートします。ただし、Salesforce が更新トークンをローテーションまたは取り消しても、コネクタは自動的に更新しません。新しい更新トークンを取得し、コネクタ構成を手動で更新する必要があります。

データ型​

  • NUMBER と CURRENCY の Salesforce データは、取り込まれると 3 桁の精度が失われます。これらの値は、Salesforce では小数点の前に 18 桁あることができますが、Databricks では小数点の前に 15 桁しかありません。

パイプライン​

  • パイプラインごとに最大 250 個のオブジェクトがあります。ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。

  • base64、 address、 location、 complexValue タイプはサポートされていません。これらの列は、インジェスト中に自動的に削除されます。

  • Databricks では、数式フィールドを取り込むことができます。ただし、Databricks では、これらのフィールドの完全なスナップショットが必要です。これは、数式出力が変更されても Salesforce がカーソル列を更新しないため、数式項目は取り込みパイプラインによって取得されずにサイレントに変更される可能性があるためです。その結果、パイプラインのレイテンシは、Salesforce データに数式項目が含まれているかどうか、および Salesforce データの更新量によって異なります。

  • Databricks は、パイプラインの残りの部分と同じ頻度で数式フィールドを実行します。ただし、数式以外のフィールドは、数式フィールドよりも早く更新される場合があります。

  • Databricks は、論理的な削除を挿入や更新と同じように扱います。行が Salesforce から削除されると、次回のデータの同期時にブロンズテーブルから削除されます。たとえば、パイプラインが毎時実行されているとします。午後 12:00 に同期し、午後 12:30 にレコードを削除した場合、午後 1:00 の同期が発生するまで削除は反映されません。

    エッジケースが 1 つあります: レコードが削除された後、Salesforce のごみ箱からパージされる前にパイプラインが実行されなかった場合、Databricks はそれらの削除を見逃します。これから回復する唯一の方法は、完全に更新することです。

  • Databricks では、物理的な削除は自動的にはサポートされていません。これらを反映するには、宛先テーブルを完全に更新する必要があります。

  • SCD タイプ 2 はサポートされていません。

テーブル​

以下は、サポートされていない Salesforce オブジェクトの一覧です。

  • WHERE句またはLIMIT制限があるオブジェクト:

    • Announcement
    • AppTabMember
    • CollaborationGroupRecord
    • ColorDefinition
    • ContentDocumentLink * Salesforce API バージョン 59.0 以降では、クエリで Id、 LinkedEntityId、または ContentDocumentId を選択し、他の項目を選択しない場合は、この制限を回避できます。これには Query All Files 権限が必要であり、 View All Data 権限も必要です。
    • ContentFolderItem
    • ContentFolderMember
    • DataStatistics
    • DatacloudDandBCompany
    • EntityParticle
    • FieldDefinition
    • FieldHistoryArchive
    • FlexQueueItem
    • FlowVariableView
    • FlowVersionView
    • IconDefinition
    • IdeaComment
    • NetworkUserHistoryRecent
    • OwnerChangeOptionInfo
    • PicklistValueInfo
    • PlatformAction
    • RelationshipDomain
    • RelationshipInfo
    • SearchLayout
    • SiteDetail
    • TaskWhoRelation
    • UserEntityAccess
    • UserFieldAccess
    • Vote

  • リアルタイム・イベント・モニタリング用のオブジェクト:

    • ApiEvent
    • BulkApiResultEventStore
    • EmbeddedServiceDetail
    • EmbeddedServiceLabel
    • FormulaFunction
    • FormulaFunctionAllowedType
    • FormulaFunctionCategory
    • IdentityProviderEventStore
    • IdentityVerificationEvent
    • LightningUriEvent
    • ListViewEvent
    • LoginAsEvent
    • LoginEvent
    • LogoutEvent
    • Publisher
    • RecordActionHistory
    • ReportEvent
    • TabDefinition
    • UriEvent

  • __b、__x、または __hdで終わるオブジェクト:

    • ActivityMetric
    • ActivityMetricRollup
    • Site
に最終更新