メインコンテンツまでスキップ

LakeFlow Connect

備考

プレビュー

によって提供されるマネージドSaaS コネクタとデータベースLakeFlow Connect コネクタは、さまざまなリリース状態 にあります。

この記事では、DatabricksLakeFlow Connect SaaSアプリケーションやデータベースから レイクハウスにデータを取り込むためのフルマネージド コネクタを提供するDatabricks の概要について説明します。結果として得られるインジェスト パイプラインは Unity Catalog によって制御され、サーバレス コンピュートと DLT によって駆動されます。 LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データ取り込みをより速く、スケーラブルで、コスト効率を高めながら、データを最新のままダウンストリームで消費できるようにします。

SaaS コネクタ コンポーネント​

SaaS コネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

SaaSコネクタコンポーネント図

データベースコネクタコンポーネント​

データベースコネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • ゲートウェイ : ソース データベースからデータを抽出し、転送中にトランザクションの整合性を維持します。 クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。
  • ステージング ストレージ : ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。 ステージング ストレージ アカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベース・コネクタ・コンポーネント図

LakeFlow Connect vs. レイクハウスフェデレーション vs. Delta Sharing​

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。 DatabricksLakeFlow Connectでは、大量のデータ、低レイテンシのクエリ、サードパーティのAPI 制限に対応するようにスケーリングできるため、 を使用したインジェストをお勧めします。ただし、データを移動せずにクエリを実行することもできます。

LakeFlow Connect、 レイクハウスフェデレーション 、 Delta Sharingのいずれかを選択できる場合は、次のシナリオで Delta Sharing を選択します。

  • データの重複を制限する。
  • 可能な限り最新のデータをクエリします。

次のシナリオでは、 レイクハウスフェデレーション を選択します。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

LakeFlow Connect 対 Auto Loader​

LakeFlow Connect には、エンタープライズ アプリケーションやデータベースからデータを段階的に取り込むことができる組み込みコネクタが用意されています。 Auto Loader は、S3、ADLS、GCS に到着したファイルを段階的に取り込むことができるクラウド オブジェクト ストレージ用のコネクタです。構造化ストリーミングおよびDLTと互換性がありますが、 LakeFlow Connectとは統合されていません。

LakeFlow Connectサードパーティのアプリやデータベースに書き戻すことができますか?​

いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。

LakeFlow Connectの費用はいくらですか?​

現時点では、顧客は、ソース (Salesforce などのエンタープライズ アプリケーションに接続する場合) またはステージング ボリューム ( SQL Serverなどのデータベースに接続する場合) からデータを読み込むために必要なサーバレス DLT の使用量に対してのみ請求されます。 LakeFlow Connectの最終的な価格モデルには追加料金が含まれる可能性があり、今後発表される予定です。

サーバレス DLT 価格 は、 価格ページで確認できます。

に最終更新