メインコンテンツまでスキップ

LakeFlow Connect のマネージド コネクタ

備考

プレビュー

LakeFlow Connectによって提供されるマネージドSaaS コネクタとデータベース コネクタは、さまざまなリリース状態 にあります。

この記事では、DatabricksLakeFlow Connect SaaSアプリケーションやデータベースからデータを取り込むための のマネージド コネクタの概要について説明します。結果として得られるインジェスト パイプラインは Unity Catalog によって制御され、サーバレス コンピュートと DLTによって駆動されます。 マネージド コネクタは、効率的な増分読み取りと書き込みを活用して、データ取り込みを高速化、スケーラブル、コスト効率を高めながら、データを最新の状態に保ち、ダウンストリームで消費できるようにします。

SaaS コネクタ コンポーネント​

SaaS コネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

SaaSコネクタコンポーネント図

データベースコネクタコンポーネント​

データベースコネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • ゲートウェイ : ソース データベースからデータを抽出し、転送中にトランザクションの整合性を維持します。 クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。
  • ステージング ストレージ : ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。 ステージング ストレージ アカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベース・コネクタ・コンポーネント図

LakeFlow Connect vs. レイクハウスフェデレーション vs. Delta Sharing​

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。 Databricksでは、大量のデータ、低レイテンシのクエリ、サードパーティのAPI 制限に対応するようにスケーリングできるため、LakeFlow Connect を使用したデータ取り込みをお勧めします。ただし、データを移動せずにクエリを実行することもできます。

LakeFlow Connect、 レイクハウスフェデレーション 、 Delta Sharingのいずれかを選択できる場合は、次のシナリオで Delta Sharing を選択します。

  • データの重複を制限する。
  • 可能な限り最新のデータをクエリします。

次のシナリオでは、 レイクハウスフェデレーション を選択します。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

マネージド コネクタとAuto Loader​

マネージド コネクタを使用すると、エンタープライズ アプリケーションやデータベースからデータを段階的に取り込むことができます。Auto Loader は、S3、ADLS、GCS に到着したファイルを段階的に取り込むことができるクラウド オブジェクト ストレージ用のコネクタです。構造化ストリーミングおよび DLT と互換性がありますが、フルマネージドではありません。

マネージド コネクタは、サードパーティのアプリやデータベースに書き戻すことができますか?​

いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。

マネージド コネクタのコストはいくらですか?​

マネージド コネクタでは、コンピュート ベースの価格モデルが使用されます。

SaaS ソース(Salesforce や Workday など)は、サーバレス インフラストラクチャ上でのみ実行されるため、サーバレス DLT DBU の料金が発生します。

SQL Serverのようなデータベース ソースの場合、インジェスト ゲートウェイはソースに応じてクラシック モードまたはサーバレス モードで実行でき、インジェスト パイプラインはサーバレスで実行できます。その結果、クラシックとサーバレスの両方の DLT DBU 料金を受け取ることができます。

料金の詳細については、 DLTの価格ページを参照してください。

外部サービスへの依存​

DatabricksのSaaS、データベース、およびその他のマネージド コネクタは、接続先のアプリケーション、データベース、または外部サービスのアクセシビリティ、互換性、安定性によって異なります。Databricks はこれらの外部サービスを制御していないため、変更、更新、およびメンテナンスに対する影響力は (あったとしても) 制限されています。外部サービスに関連する変更、中断、または状況により、コネクタの運用が妨げられたり、非現実的になったりした場合、Databricks はそのコネクタの保守を中止または中止することができます。Databricksは、該当するドキュメントの更新を含む、メンテナンスの中止または中止を顧客に通知するために合理的な努力を払います。

に最終更新