Amazon
Web Services
Microsoft Azure
Google Cloud PlatformSalesforce インジェスト接続の制限
プレビュー
LakeFlow Connect はゲート付きパブリック プレビュー段階です。 プレビューに参加するには、Databricks アカウント チームにお問い合わせください。
この記事では、LakeFlow Connect を使用して Salesforce に接続し、そこからデータを取り込む場合の制限と考慮事項について説明します。
スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。 代わりに、次の更新が実行されたときにトリガーされます。
ソース テーブルが削除されても、宛先テーブルは自動的に削除されません。 コピー先テーブルは手動で削除する必要があります。 この動作は Delta Live Tables の動作と一致しません。
スキーマを選択すると、
CURRENTテーブルだけでなく、スキーマに追加されるFUTUREテーブルも選択されます。メンテナンス期間中、Databricks はデータにアクセスできない可能性があります。
ソース テーブル名が既存の宛先テーブル名と競合する場合、フローは失敗します。
パイプラインあたりのオブジェクトの最大数は 250 です。 ただし、これらのオブジェクト内でサポートされる行または列の数に制限はありません。
base64、address、location、complexValueタイプはサポートされていません。 これらの列は、インジェスト中に自動的に削除されます。次のオブジェクトはサポートされていません。
WHERE句またはLIMIT制限があるオブジェクト継続イベントモニタリングのオブジェクト
__b、__x、または__hdで終わるオブジェクト。
パイプラインごとに 1 つの宛先のみがサポートされます。 すべてのテーブルは、同じカタログとスキーマを持つ必要があります。
Databricks は、カーソル列を選択して、同じ主キーを共有するデータの増分読み取りとシーケンスの変更を追跡します。 Databricks は、次のリストから優先順位に従ってカーソル列を選択します:
SystemModstamp、LastModifiedDate、CreatedDate、LoginTime。たとえば、
SystemModstampが利用できない場合、Databricks はLastModifiedDateを検索します。 オブジェクトにこれらのカーソルがない場合、Databricks はテーブルのスナップショットを取得します。Databricks は、Salesforce データ型を Delta 互換データ型に自動的に変換します。 変換のおおよそのリストについては、 自動データ変換を参照してください。
Databricks は数式フィールドを取り込むことができます。 ただし現時点では、Databricks ではこれらのフィールドの完全なスナップショットが必要です。 つまり、パイプラインの待ち時間は、Salesforce データに数式フィールドが含まれているかどうかと、Salesforce データの更新量によって異なります。
Databricks は、パイプラインの残りの部分と同じ頻度で数式フィールドを実行します。 ただし、パイプラインの更新の頻度によっては、数式以外のフィールドが数式フィールドよりも早く更新される可能性があります。
Databricks は、削除を挿入や更新と同じように扱います。 行が Salesforce から削除されると、次回のデータの同期時にブロンズテーブルから削除されます。 たとえば、パイプラインが毎時実行されているとします。 午後 12:00 に同期し、午後 12:30 にレコードを削除した場合、午後 1:00 の同期が発生するまで削除は反映されません。
例外的なケースが 1 つあります。レコードが削除された後、Salesforce のごみ箱から消去される前にパイプラインが実行されなかった場合、Databricks はそれらの削除を見逃します。 この状態から回復する唯一の方法は、完全な更新を行うことです。
Salesforce には、接続されたアプリケーションごとにユーザーあたり 4 つの接続の制限があります。 4 つ以上の接続を作成する必要がある場合は、新しいユーザーを作成します。
セキュリティ上の理由から、Databricks UI で OAuth リンクをクリックした場合にのみ認証を行ってください。
Salesforce では、更新をローテーションできます。 コネクタはこれをサポートしていません。