マネージド コネクタに関する FAQ
この記事では、 Databricks LakeFlow Connectのマネージド コネクタに関してよく寄せられる質問に回答します。 コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。
Databricks はどのマネージド コネクタをサポートしていますか?
LakeFlow Connect は、Salesforce、 SQL Server、ServiceNow、Google アナリティクスのマネージド コネクタを提供しています。 ロードマップを通知したり、プライベート プレビュー コネクタに早期アクセスしたりするには、アカウント チームにお問い合わせください。
マネージド コネクタはどのインターフェイスをサポートしていますか?
すべてのマネージド コネクタは、 Databricks APIs と DAB を使用したパイプラインの作成をサポートしています。 ほとんどのコネクタでは、UI でパイプラインを作成することもできます。
次の表は、各コネクタでサポートされているインターフェイスをまとめたものです。
コネクター | UI ベースのパイプラインオーサリング | API ベースのパイプラインオーサリング | 指紋 |
|---|---|---|---|
Salesforce |
|
|
|
Workday |
|
|
|
SQL Server |
|
|
|
ServiceNow |
|
|
|
GA4の |
|
|
|
マネージド コネクタはスキーマの進化をどのように処理しますか?
すべてのマネージド コネクタは、取り込む列を明示的に指定してオプトアウトしない限り、新しい列と削除された列を自動的に処理します。
- ソースに新しい列が表示されると、Databricks はパイプラインの次回実行時に自動的にその列を取り込みます。スキーマの変更前に表示されていた列の行については、Databricks は値を空のままにします。ただし、API を使用して取り込む特定の列をリストするか、UI で将来の列を無効にすることで、自動列取り込みをオプトアウトできます。
- 列がソースから削除されても、Databricks はそれを自動的に削除しません。代わりに、コネクタはテーブル プロパティを使用して、宛先で削除された列を "非アクティブ" に設定します。同じ名前の別の列が後で表示される場合、パイプラインは失敗します。この場合、テーブルの完全更新をトリガーするか、非アクティブな列を手動で削除できます。
同様に、コネクタは新しいテーブルと削除されたテーブルを処理できます。スキーマ全体を取り込むと、オプトアウトしない限り、Databricks は新しいテーブルを自動的に取り込みます。また、ソースでテーブルが削除された場合、コネクタはそのテーブルを宛先で inactive に設定します。スキーマ全体を取り込むことを選択した場合は、コネクタのパイプラインあたりのテーブル数の制限を確認する必要があります。
追加のスキーマ変更は、ソースによって異なります。たとえば、Salesforce コネクタは、列の名前変更を列の削除と追加として扱い、上記の動作で自動的に変更を行います。ただし、SQL Server コネクタでは、インジェストを続行するために、影響を受けるテーブルを完全に更新する必要があります。
次の表は、各コネクタで自動的に処理できるスキーマの変更をまとめたものです。
コネクター | 新しい列と削除された列 | データ型の変更 | 列の名前変更 | 新しいテーブル |
|---|---|---|---|---|
Salesforce |
|
|
|
|
Workday |
|
|
| 該当なし |
SQL Server |
|
|
|
|
ServiceNow |
|
|
|
|
GA4の |
|
|
|
|
マネージド コネクタをカスタマイズできますか?
取り込むオブジェクト、宛先、スケジュール、権限、通知などを選択できます。これらのコネクタはフルマネージドであるため、インジェスト プロセス自体をカスタマイズすることはできません。 さらにカスタマイズするには、DLT または構造化ストリーミングを使用できます。
managed connectors、レイクハウスフェデレーション、 Delta Sharingの違いは何ですか?
レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。
マネージド コネクタ、レイクハウス フェデレーション、 Delta Sharingのいずれかを選択できる場合は、次のシナリオで Delta Sharing を選択します。
- データの重複を制限する。
- 可能な限り最新のデータをクエリします。
次のシナリオでは、レイクハウスフェデレーションを選択します。
- ETL パイプラインでのアドホック レポート作成または概念実証作業。
マネージド コネクタと Auto Loaderの違いは何ですか?
マネージド コネクタを使用すると、Salesforce などの SaaS アプリケーションや SQL Server などのデータベースからデータを段階的に取り込むことができます。Auto Loader は、S3、ADLS、GCS に到着したファイルを段階的に取り込むことができるクラウド オブジェクト ストレージ コネクタです。構造化ストリーミングと DLT と互換性がありますが、フルマネージドのインジェスト パイプラインは提供されません。
マネージド コネクタはデータソースに書き戻すことができますか?
いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。
パイプラインは複数の送信先スキーマに書き込むことができますか?
LakeFlow ConnectAPISaaSこの機能は、Salesforce、Workday、ServiceNow など、すべてのマネージド コネクタの でサポートされています。
この機能を使用すると、パイプラインは API 専用になります。UI で編集することはできません。
取り込むテーブルの名前を変更できますか?
この機能は、すべてのマネージド コネクタの LakeFlow Connect API でサポートされています。
この機能を使用すると、パイプラインは API 専用になります。UI では API のみのパイプラインを編集できません。
名前を変更するテーブルごとに、目的のテーブル名で destination_table 設定を追加します。
次の更新の実行がスケジュールされているとき (更新 N+1) に、パイプラインがまだ実行中 (更新 N) の場合はどうなりますか?
Databricks は、更新 N が時間内に完了したと仮定して、更新 N+1 をスキップし、更新 N+2 を取得します。
インジェスト パイプラインが削除されると、宛先テーブルはどうなりますか?
インジェスト パイプラインが削除されると、宛先テーブルは削除されます。
マネージド コネクタの価格はどのように設定されていますか?
マネージド コネクタには、コンピュートベースの価格モデルがあります。
SaaS ソース(Salesforce や Workday など)は、サーバレス インフラストラクチャ上でのみ実行されるため、サーバレス DLT DBU の料金が発生します。
SQL Serverのようなデータベース ソースの場合、インジェスト ゲートウェイはソースに応じてクラシック モードまたはサーバレス モードで実行でき、インジェスト パイプラインはサーバレスで実行できます。その結果、クラシックとサーバレスの両方の DLT DBU 料金を受け取ることができます。
料金の詳細については、 DLTの価格ページを参照してください。
コネクタ固有の FAQ
コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。