Salesforce インジェスト コネクタに関する FAQ
このページでは、 Databricks LakeFlow Connectの Salesforce インジェスト コネクタに関してよく寄せられる質問に回答します。
一般的なマネージド コネクタに関する FAQ
Managed Connector の FAQ の回答は、LakeFlow Connectのすべてのマネージド コネクタに適用されます。Salesforce 固有の FAQ については、引き続きお読みください。
Salesforce インジェスト コネクタはどの Salesforce 製品をサポートしていますか?
LakeFlow Connect は、次の表の Salesforce 製品からのデータの取り込みをサポートしています。 インジェストの代替手段として、 Databricks は Salesforce Data Cloud でデータをクエリするためのゼロコピー コネクタをレイクハウスフェデレーションで提供しています ( ファイル共有 と クエリ フェデレーション)。
Salesforce 製品 | LakeFlow Connect サポート | 代替オプション |
---|---|---|
オートモーティブクラウド | ||
B2B コマース | ||
B2C Commerce Cloud | データクラウド | |
データクラウド | ||
デジタルエンゲージメント | ||
教育クラウド | ||
エネルギー・ユーティリティ クラウド | ||
エクスペリエンスクラウド | ||
フィードバック管理 | ||
フィールドサービス | ||
ヘルスクラウド | ||
ライフサイエンスクラウド | ||
Lightning プラットフォーム | ||
ロイヤルティクラウド | ||
メディアクラウド | ||
マニュファクチャリングクラウド | ||
マーケティングクラウド | データクラウド | |
Net Zero クラウド | ||
非営利クラウド | ||
注文管理 | ||
プラットフォーム (標準オブジェクトとカスタムオブジェクト) | ||
官公庁・公共機関向けソリューション | ||
リベート管理 | ||
小売・消費財クラウド | ||
収益クラウド | ||
セールスクラウド | ||
Salesforce マップ | ||
Salesforce スケジューラ | ||
サービスクラウド |
どの Salesforce コネクタを使用すべきですか?
Databricks には、Salesforce 用の複数のコネクタが用意されています。ゼロコピー コネクタには、Salesforce Data Cloud ファイル共有コネクタと Salesforce Data Cloud クエリ フェデレーション コネクタの 2 つがあります。これにより、Salesforce Data Cloudのデータを移動せずにクエリを実行できます。また、Salesforce Data Cloud や Salesforce Sales Cloud など、さまざまな Salesforce 製品からデータをコピーする Salesforce インジェスト コネクタもあります。
次の表は、Databricks の Salesforce コネクタ間の違いをまとめたものです。
コネクター | ユースケース | サポートされている Salesforce 製品 |
---|---|---|
Salesforce Data Cloudファイル共有 | レイクハウスフェデレーションで Salesforce Data Cloud ファイル共有コネクタを使用すると、 Databricks は Salesforce Data-as-a-Service (DaaS) APIs を呼び出して、基盤となるクラウドオブジェクトストレージの場所のデータを直接読み取ります。 クエリは、Databricks プロトコルを使用せずに コンピュートで実行されます。JDBC クエリフェデレーションと比較すると、ファイル共有は大量のデータをフェデレーションするのに理想的です。これにより、複数のデータソースからファイルを読み取るためのパフォーマンスが向上し、プッシュダウン機能が向上します。「Salesforce Data Cloud ファイル共有のレイクハウスフェデレーション」を参照してください。 | Salesforce データクラウド |
Salesforce Data Cloud クエリ フェデレーション | レイクハウスフェデレーションで Salesforce Data Cloud クエリ フェデレーション コネクタを使用すると、 Databricks は JDBC を使用してソース データに接続し、クエリを Salesforce にプッシュします。 「 Salesforce Data Cloud での統合クエリの実行」を参照してください。 | Salesforce データクラウド |
Salesforce の取り込み | LakeFlow Connect の Salesforce インジェスト コネクタを使用すると、Salesforce Data Cloud や Salesforce Sales Cloud のデータなど、Salesforce Platform データからフルマネージド インジェスト パイプラインを作成できます。このコネクタは、CDPデータだけでなく、Data Intelligence PlatformのCRMデータも活用することで、価値を最大化します。「Salesforce からのデータの取り込み」を参照してください。 | Salesforce Data Cloud、Salesforce Sales Cloudなど。サポートされている Salesforce 製品の包括的な一覧については、このページの FAQ 「 Salesforce インジェスト コネクタでサポートされている Salesforce 製品」 を参照してください。 |
インジェストコネクタはどの Salesforce APIs を使用しますか?
このコネクタは、Salesforce Bulk API 2.0 と Salesforce REST API v63 の両方を使用します。パイプラインの更新ごとに、コネクタは取り込む必要があるデータの量に基づいて API を選択します。目標は、Salesforce APIsの負荷を制限することです。 大量のデータ (たとえば、一般的なオブジェクトの初期読み込みや非常にアクティブなオブジェクトの増分読み込みなど) の場合、コネクタは通常 Bulk API を使用します。データ量が少ない場合 (たとえば、一般的なオブジェクトの増分読み込みや非常に小さなオブジェクトの初期読み込みなど)、コネクタは通常 REST API を使用します。
Databricks は Salesforce にどのように接続しますか?
Databricks は HTTPS を使用して Salesforce API に接続します。 資格情報は Unity Catalog に安全に格納され、インジェスト フローを実行しているユーザーが適切なアクセス許可を持っている場合にのみ取得できます。必要に応じて、データを取り込むために Salesforce 内に別のユーザーを作成できます。アクセスを制限する特定のオブジェクトまたは列がある場合は、組み込みの Salesforce 権限を使用して、インジェストユーザーがそれらのエンティティにアクセスできないようにすることができます。
1 つのパイプラインに取り込むことができる Salesforce オブジェクトはいくつですか?
Databricks では、1 つの Salesforce パイプラインを 250 テーブルに制限することをお勧めします。より多くのオブジェクトを取り込む必要がある場合は、複数のパイプラインを作成します。
オブジェクトあたりの属性数に制限はありますか?
いいえ。
コネクタはどのようにして更新プログラムを段階的にプルしますか?
コネクターは、カーソル列を SystemModstamp
、 LastModifiedDate
、 CreatedDate
、 LoginTime
の順に優先して選択します。たとえば、 SystemModstamp
が使用できない場合は、 LastModifiedDate
が検索されます。これらの列がないオブジェクトは、増分的に取り込むことはできません。数式フィールドを段階的に取り込むことはできません。
更新の数が行数と一致するのはなぜですか (増分パイプラインの実行でも)。
コネクタは、各パイプラインの更新中に数式フィールドを完全にダウンロードします。並行して、数式以外のフィールドを段階的に読み取ります。最後に、それらを1つのテーブルに結合します。
コネクタは再試行をどのように処理しますか?
コネクタは、失敗したときに自動的に再試行し、エクスポネンシャル バックオフを使用します。1 秒待ってから再試行し、次に 2 秒、4 秒というように繰り返します。最終的に、パイプラインの次の実行まで再試行を停止します。このアクティビティは、パイプラインの使用状況ログで監視し、致命的なエラーの通知を設定できます。
コネクタはデルタ非互換データ型をどのように処理しますか?
LakeFlow Connect は、Salesforce のデータ型を Delta 互換のデータ型に自動的に変換します。 「Salesforce インジェスト コネクタのリファレンス」を参照してください。
コネクタはリアルタイムの取り込みをサポートしていますか?
いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。
コネクタは論理的な削除をどのように処理しますか?
論理的な削除は、挿入や更新と同じ方法で処理されます。
テーブルで履歴追跡がオフになっている場合: 行が Salesforce から論理削除されると、次回のデータの同期時にブロンズテーブルから削除されます。たとえば、パイプラインが毎時実行されているとします。午後 12:00 に同期し、午後 12:30 にレコードを削除した場合、午後 1:00 の同期が発生するまで削除は反映されません。
テーブルで履歴追跡が有効になっている場合: コネクタは、__END_AT列にデータを入力することで、元の行を非アクティブとしてマークします。
エッジケースが 1 つあります: レコードが削除され、パイプラインの次回の更新前に Salesforce のごみ箱からパージされた場合です。この場合、Databricks は削除を見逃します。それらを反映させるには、宛先テーブルを完全に更新する必要があります。
履歴オブジェクトなど、一部の Salesforce オブジェクトでは論理的な削除がサポートされていないことに注意してください。
コネクタは物理的な削除をどのように処理しますか?
物理的な削除は自動的にサポートされません。それらを反映させるには、宛先テーブルを完全に更新する必要があります。