HubSpotコネクタの制限
ベータ版
この機能はベータ版です。ワークスペース管理者は、 プレビュー ページからこの機能へのアクセスを制御できます。「Databricks プレビューの管理」を参照してください。
LakeFlow Connectで管理対象 HubSpot コネクタを使用する際の既知の制限について説明します。
一般的な制限
- スケジュールされたパイプラインを実行しても、アラートはすぐにはトリガーされません。代わりに、次の更新が実行されたときにトリガーされます。
- ソース テーブルを削除しても、宛先テーブルは自動的に削除されません。宛先テーブルを手動で削除する必要があります。この動作は、 Lakeflow Spark宣言型パイプラインの動作と一致しません。
- ソースメンテナンス期間中、Databricks はデータにアクセスできない可能性があります。
- ソース テーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
- 複数の宛先パイプラインのサポートは API のみです。
- オプションで、取り込むテーブルの名前を変更できます。パイプライン内のテーブルの名前を変更すると、そのパイプラインは API 専用となり、UI でパイプラインを編集できなくなります。
- 列レベルの選択と選択解除は API のみです。
- パイプラインが既に開始された後に列を選択した場合、コネクタは新しい列のデータを自動的にバックフィルしません。履歴データを取り込むには、テーブルで完全な更新を手動で実行します。
- Databricks は、異なるソース スキーマからのものである場合でも、同じパイプラインに同じ名前を持つ 2 つ以上のテーブルを取り込むことはできません。
- ソース システムは、カーソル列が単調に増加すると想定します。
- SCDタイプ 1 が有効になっている場合、削除によって変更データフィードに明示的な
deleteイベントが生成されません。 監査可能な削除の場合、コネクタがサポートしている場合は SCD タイプ 2 を使用します。詳細については、 「例: CDF ソース データを使用した SCD タイプ 1 および SCD タイプ 2 の処理」を参照してください。 - コネクタは、変換せずに生データを取り込みます。変換にはダウンストリームのLakeFlow Spark宣言型パイプライン パイプラインを使用します。
サポートされているインターフェース
Databricks UI で HubSpot 取り込みパイプラインを作成することはできません。
API レート制限
HubSpot では、リクエストあたり 10 秒の制限を含む API レート制限が適用されます。パフォーマンスに関する推奨事項については、 「パイプラインの実行が遅い」を参照してください。
複雑なテーブルの同期時間が長い
一部のテーブルでは、API 呼び出しの要件が高いため、取り込みに長い時間がかかることがあります。たとえば、 marketing_campaign_assetテーブルでは、キャンペーンごとに 24 回の個別の API 呼び出しが必要です。キャンペーンが 100 個ある場合、この 1 つのテーブルに対して約 2,400 回の API 呼び出しが必要になりますが、よりシンプルなテーブルの場合は約 5 回の API 呼び出しで済みます。これらのテーブルでは同期に長い時間がかかることが予想されます。たとえば、5,000 件のキャンペーンを含むテーブルの場合は、およそ 4 ～ 6 時間かかります。適用可能なテーブルの完全なリストについては、 「バッチ更新のみをサポートするテーブル」を参照してください。パフォーマンスに関する推奨事項については、 「パイプラインの実行が遅い」を参照してください。
文字列として表されるネストされたフィールド
HubSpot スキーマの一部のフィールドは複雑な構造内にネストされており、内部レベルのフィールドにはカスタム属性を含めることができます。互換性と一貫性を確保するために、このようなフィールドは文字列として表されます。
たとえば、 formsテーブルにはdisplayOptionsフィールドがあります。各フォームには可変の表示構成があるため、このフィールドはさまざまな構造に対応するために文字列として保存されます。
限定的な増分サポート
一部のテーブルでは、HubSpot API がカーソルに基づいてレコードをフィルタリングする方法を提供していないため、増分更新がサポートされていません。これらのテーブルは、パイプラインの更新ごとに更新されます。
サポートされているテーブルとその更新パターンの一覧については、 HubSpot コネクタ リファレンスを参照してください。