LakeFlowコネクト

プレビュー

LakeFlow Connect はゲート付きパブリック プレビュー段階です。 プレビューに参加するには、Databricks アカウント チームにお問い合わせください。

この記事では、エンタープライズ アプリケーションやデータベースからデータを取り込むための組み込みコネクタを提供する Databricks LakeFlow Connect の概要を説明します。

LakeFlow Connect とは何ですか?

Databricks LakeFlow Connect は、エンタープライズ アプリケーションおよびデータベースからの取り込み用の組み込みコネクタを提供します。 結果として得られる取り込みパイプラインはUnity Catalogによって管理され、サーバレス コンピュートとDelta Live Tablesによって強化されます。

LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データの取り込みをより高速かつスケーラブルにし、コスト効率を高めながら、下流での使用に備えてデータを最新の状態に保ちます。

SaaS コネクタ コンポーネント

SaaS コネクタは、次のコンポーネントによってモデル化されます。

  • 接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。

  • インジェスト パイプライン: ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

SaaSコネクタコンポーネント図

データベースコネクタコンポーネント

データベースコネクタは、次のコンポーネントによってモデル化されます。

  • 接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。

  • ゲートウェイ: ソース データベースからデータを抽出し、転送中にトランザクションの整合性を維持します。 クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。

  • ステージング ストレージ: ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。 ステージング ストレージ アカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。

  • インジェスト パイプライン: ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベース・コネクタ・コンポーネント図

LakeFlow Connect vs. レイクハウスフェデレーション vs. Delta Sharing

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。 Databricks では、大量のデータ、低レイテンシのクエリ、サードパーティ API の制限に対応できるように拡張できるため、LakeFlow Connect を使用した取り込みを推奨しています。 ただし、データを移動せずにクエリを実行することもできます。

LakeFlow Connect、レイクハウスフェデレーション、 Delta Sharingのいずれかを選択できる場合、次のシナリオではDelta Sharingを選択してください。

  • データの重複を制限する。

  • 可能な限り最新のデータをクエリします。

次のシナリオにはレイクハウスフェデレーションを選択してください。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

LakeFlow Connect と Auto Loader の比較

LakeFlow Connect には、エンタープライズ アプリケーションやデータベースからデータを段階的に取り込むことができる組み込みコネクタが用意されています。 Auto Loader は、S3、ADLS、GCS にファイルが到着すると段階的に取り込むことができるクラウド オブジェクト ストレージのコネクタです。 構造化ストリーミングおよびDelta Live Tablesと互換性がありますが、 LakeFlow Connect とは統合されません。

LakeFlow Connect はサードパーティのアプリやデータベースに書き戻すことができますか?

いいえ。この機能にご興味がある場合は、アカウント チームにお問い合わせください。

LakeFlow Connect の料金はいくらですか?

現時点では、顧客には、ソースDelta Live Tables (Salesforce などのエンタープライズ アプリケーションに接続する場合) またはステージング ボリューム (SQL Server などのデータベースに接続する場合) からデータをロードするために必要な、SQL Server 使用料のみが課金されます。LakeFlow Connect の最終的な価格モデルには追加料金が含まれる可能性があり、今後発表される予定です。

Delta Live Tables価格は、価格ページに表示されます。