LakeFlow Connect

プレビュー

LakeFlow Connect はゲート付きパブリックプレビュー段階です。プレビューに参加するには、Databricks アカウントチームにお問い合わせください。

この記事では、エンタープライズアプリケーションやデータベースからデータを取り込むための組み込みコネクタを提供する Databricks LakeFlow Connect の概要を説明します。

LakeFlow Connect とは何ですか?

Databricks LakeFlow Connect は、エンタープライズアプリケーションおよびデータベースからの取り込み用の組み込みコネクタを提供します。結果として得られる取り込みパイプラインはUnity Catalogによって管理され、サーバレスコンピュートとDelta Live Tablesによって強化されます。

LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データの取り込みをより高速かつスケーラブルにし、コスト効率を高めながら、下流での使用に備えてデータを最新の状態に保ちます。

SaaS コネクタコンポーネント

SaaS コネクタは、次のコンポーネントによってモデル化されます。

接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
インジェストパイプライン: ステージングされたデータを Delta テーブルにインジェストします。このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベースコネクタコンポーネント

データベースコネクタは、次のコンポーネントによってモデル化されます。

接続: データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
ゲートウェイ: ソースデータベースからデータを抽出し、転送中にトランザクションの整合性を維持します。クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。
ステージングストレージ: ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。ステージングストレージアカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。
インジェストパイプライン: ステージングされたデータを Delta テーブルにインジェストします。このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。