メインコンテンツまでスキップ
に最終更新

マネージド コネクタに関する FAQ

Databricks Lakeflowコネクトのマネージド コネクタに関してよく寄せられる質問の回答をご覧ください。 コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。

Databricks はどのマネージド コネクタをサポートしていますか?​

Lakeflowコネクト は、Salesforce、 SQL Server、ServiceNow、Google アナリティクスのマネージド コネクタを提供しています。 ロードマップを通知したり、プライベート プレビュー コネクタに早期アクセスしたりするには、アカウント チームにお問い合わせください。

マネージドコネクタはどのインターフェースをサポートしていますか？​

すべてのマネージド コネクタは、 Databricks APIsと Declarative Automation Bundle を使用したパイプラインの作成をサポートしています。 一部のコネクタは、以下のエントリポイントからUI上でパイプラインを作成することもサポートしています。

  • データ 取り込み ( Add data ) ページ
  • [ ジョブとパイプライン ] ページ ( Create new > Ingestion パイプライン )
  • 新しいジョブの タスク ウィンドウ ( Add task > + New ingestion パイプライン または Type > パイプライン )

サポートされているインターフェースについては、コネクタの概要ページにある「 機能の利用可能性 」セクションを参照してください。

マネージド コネクタはスキーマの進化をどのように処理しますか?​

取り込む列を明示的に指定してオプトアウトしない限り、多くのマネージド コネクタは新しく追加された列や削除された列を自動的に処理します。一部のコネクタは、コネクタ定義のスキーマを使用するため、自動スキーマ進化をサポートしていません。コネクタの概要ページの Feature availability セクションを確認してください。

  • 自動化されたスキーマ進化をサポートするコネクターの場合、ソースに新しい列が表示されると、Databricks はパイプラインの次回のランで自動的にその列を取り込みます。スキーマ変更の前に表示されていた列のどの行に対しても、Databricks は値を空のままにします。ただし、API を介して取り込む特定の列をリストするか、UI で将来の列を無効にすることで、自動化された列の取り込みをオプトアウトできます。
  • ソースから列が削除されても、Databricksは自動的にその列を削除しません。その代わりに、コネクタはテーブルプロパティを使用して、削除された列を宛先で「非アクティブ」に設定します。後から同じ名前の列が出現した場合、パイプラインは失敗します。この場合は、テーブル全体の更新を実行するか、非アクティブな列を手動で削除することができます。

同様に、コネクタは新しいテーブルと削除されたテーブルを処理できます。スキーマ全体を取り込む場合、オプトアウトしない限り、Databricks は新しいテーブルを自動的に取り込みます。また、ソースでテーブルが削除された場合、コネクタはそれを宛先でinactiveに設定します。スキーマ全体を取り込むことを選択した場合は、コネクタのパイプラインあたりのテーブル数の制限を確認してください。

追加のスキーマ変更は、ソースによって異なります。たとえば、Salesforce コネクタは、列の名前変更を列の削除と追加として扱い、上記の動作で自動的に変更を行います。ただし、SQL Server コネクタでは、インジェストを続行するために、影響を受けるテーブルを完全に更新する必要があります。

スキーマ進化の動作の詳細については、コネクタの概要ページにある「 機能の利用可能 性」セクションを参照してください。

マネージド コネクタをカスタマイズできますか?​

取り込むオブジェクト、宛先、スケジュール、権限、通知などを選択できます。これらのコネクタはフルマネージドであるため、インジェスト プロセス自体をカスタマイズすることはできません。さらにカスタマイズするには、Lakeflow pipelines または Structured Streaming を使用できます。

マネージドコネクタ、レイクハウスフェデレーション、およびOpenSharingの違いとは​

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。OpenSharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。

マネージドコネクタ、レイクハウスフェデレーション、およびOpenSharingのいずれかを選択できる場合、以下のシナリオではOpenSharingを選択します。

  • データの重複を制限する。
  • 可能な限り最新のデータをクエリします。

次のシナリオでは、レイクハウスフェデレーションを選択します。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

マネージド コネクタと Auto Loaderの違いは何ですか?​

マネージド コネクタを使用すると、Salesforce などの SaaS アプリケーションや SQL Server などのデータベースからデータを段階的に取り込むことができます。Auto Loader は、S3、ADLS、GCS にファイルが到着すると段階的に取り込むことができるクラウド オブジェクト ストレージ コネクタです。Structured Streaming および LakeFlow Pipelines と互換性がありますが、フルマネージド インジェスト パイプラインは提供されません。

マネージド コネクタはデータソースに書き戻すことができますか?​

いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。

マネージド コネクタはすべての地域で利用できますか?​

いいえ。摂取方法の項目を参照してください。

パイプラインは複数の送信先スキーマに書き込むことができますか?​

LakeflowコネクトAPISaaSこの機能は、Salesforce、Workday、ServiceNow など、すべてのマネージド コネクタの でサポートされています。

この機能を使用すると、パイプラインは API 専用になります。UI で編集することはできません。

宣言型自動化バンドルまたはCLIを使用して作成されたパイプラインをUIで編集できますか？​

はい。「 YAML 」または「 JSON 」モードを使用してパイプラインを編集します。モードを切り替えるには、パイプラインエディターの上部にある「 Wizard 」、「 YAML 」、「 JSON 」ボタンを使用します。

パイプライン構成にウィザードがサポートしていないフィールドが含まれている場合、「ウィザード」エディターは利用できない場合があります。これは、Declarative Automation BundlesまたはDatabricks CLIを使用してパイプラインが作成または更新される場合に発生する可能性があります。トラブルシューティングのステップについては、マネージドインジェストパイプラインのトラブルシューティングを参照してください。

取り込むテーブルの名前を変更できますか?​

はい、 Databricks UI またはDatabricks APIsを使用して、宛先テーブルの名前を設定できます。 「宛先テーブルに名前を付ける」を参照してください。名前を設定しない場合は、ソース テーブル名がデフォルトで使用されます。

次の更新の実行がスケジュールされているとき (更新 N+1) に、パイプラインがまだ実行中 (更新 N) の場合はどうなりますか?​

Databricks は、更新 N が時間内に完了したと仮定して、更新 N+1 をスキップし、更新 N+2 を取得します。

インジェスト パイプラインが削除されると、宛先テーブルはどうなりますか?​

インジェスト パイプラインが削除されると、宛先テーブルは削除されます。

ALTER使用して、マネージド インジェスト パイプラインによって作成されたストリーミング テーブルまたはマテリアライズドビューを変更できますか?​

はい、次のALTER SQLステートメントを使用して、マネージド インジェスト パイプラインによって作成されたストリーミング テーブルとマテリアライズドビューを変更できます。

SQL
ALTER MATERIALIZED VIEW view_name | ALTER STREAMING TABLE table_name
{
    ALTER COLUMN column_clause |
    SET ROW FILTER clause |
    DROP ROW FILTER |
    SET TAGS clause |
    UNSET TAGS clause
}

column_clause
{
    column_identifier
    COMMENT clause |
    SET MASK clause |
    DROP MASK |
    SET TAGS clause |
    UNSET TAGS clause
}

完全な構文と例については、 「ALTER STREAMING TABLE」および「ALTER MATERIALIZED VIEW」を参照してください。

注記

ALTERステートメントを使用して、管理対象取り込みパイプラインのスケジュールまたはトリガーを変更することはできません。「パイプライン スケジュールの更新」を参照してください。

マネージド コネクタの価格はどのように設定されていますか?​

マネージド コネクタには、コンピュートベースの価格モデルがあります。

Salesforce や Workday のような、Serverless インフラストラクチャ上でのみ実行される SaaS ソースでは、Serverless LakeFlow Pipelines DBU 料金が発生します。

SQL Server のようなデータベースソースの場合、取り込みゲートウェイはソースに応じてクラシックモードまたはServerlessモードで実行でき、取り込みパイプラインはServerlessで実行されます。その結果、クラシックおよびServerless LakeFlow Pipelinesの DBU 料金が課金される可能性があります。

料金の詳細については、Lakeflow pipelinesの価格ページをご覧ください。

インジェストゲートウェイはサーバレス専用のワークスペースで実行できますか?​

いいえ。ゲートウェイにはクラシック コンピュートが必要であり、クラシック コンピュートをサポートしていないワークスペースには導入できません。 これはデータベース（CDC）コネクタにのみ適用されます。

ターゲットテーブルで Delta Lake チェンジデータフィードを有効にできますか?​

これは、すべてのターゲット表で使用可能です。

行フィルタリングは、初期読み込み後に変更された行やクエリをどのように処理しますか？​

行フィルタリングの動作は、初期ロード後に行またはフィルタクエリのどちらが更新されるかによって異なります。エッジケースのシナリオの概要については、 「エッジケースにおける行フィルタリングの動作」を参照してください。

コネクタ固有の FAQ​

コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。

このページの見出し