メインコンテンツまでスキップ

LakeFlow Connectのコネクタ

備考

プレビュー

によって提供されるマネージドSaaS コネクタとデータベースLakeFlow Connect コネクタは、さまざまなリリース状態 にあります。

この記事では、DatabricksLakeFlow Connect SaaSアプリケーションやデータベースから レイクハウスにデータを取り込むためのフルマネージド コネクタを提供するDatabricks の概要について説明します。結果として得られるインジェスト パイプラインは Unity Catalog によって制御され、サーバレス コンピュートと DLT によって駆動されます。 LakeFlow Connect は、効率的な増分読み取りと書き込みを活用して、データ取り込みをより速く、スケーラブルで、コスト効率を高めながら、データを最新のままダウンストリームで消費できるようにします。

SaaS コネクタ コンポーネント​

SaaS コネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

SaaSコネクタコンポーネント図

データベースコネクタコンポーネント​

データベースコネクタは、次のコンポーネントによってモデル化されます。

  • 接続 : データベースの認証の詳細を格納する Unity Catalog のセキュリティ保護可能なオブジェクト。
  • ゲートウェイ : ソース データベースからデータを抽出し、転送中にトランザクションの整合性を維持します。 クラウドベースのデータベースの場合、ゲートウェイは従来のコンピュートを使用した DLT パイプラインとして構成されます。
  • ステージング ストレージ : ゲートウェイからのデータが Delta テーブルに適用される前にステージングされる Unity Catalog ボリューム。 ステージング ストレージ アカウントは、ゲートウェイをデプロイするときに作成され、指定したカタログとスキーマ内に存在します。
  • インジェスト パイプライン : ステージングされたデータを Delta テーブルにインジェストします。 このコンポーネントは、サーバレス DLT パイプラインとしてモデル化されています。

データベース・コネクタ・コンポーネント図

LakeFlow Connect vs. レイクハウスフェデレーション vs. Delta Sharing​

レイクハウスフェデレーションを使用すると、データを移動せずに外部データソースをクエリできます。 Delta Sharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。 DatabricksLakeFlow Connectでは、大量のデータ、低レイテンシのクエリ、サードパーティのAPI 制限に対応するようにスケーリングできるため、 を使用したインジェストをお勧めします。ただし、データを移動せずにクエリを実行することもできます。

LakeFlow Connect、 レイクハウスフェデレーション 、 Delta Sharingのいずれかを選択できる場合は、次のシナリオで Delta Sharing を選択します。

  • データの重複を制限する。
  • 可能な限り最新のデータをクエリします。

次のシナリオでは、 レイクハウスフェデレーション を選択します。

  • ETL パイプラインでのアドホック レポート作成または概念実証作業。

LakeFlow Connect 対 Auto Loader​

LakeFlow Connect には、エンタープライズ アプリケーションやデータベースからデータを段階的に取り込むことができる組み込みコネクタが用意されています。 Auto Loader は、S3、ADLS、GCS に到着したファイルを段階的に取り込むことができるクラウド オブジェクト ストレージ用のコネクタです。構造化ストリーミングおよびDLTと互換性がありますが、 LakeFlow Connectとは統合されていません。

LakeFlow Connectサードパーティのアプリやデータベースに書き戻すことができますか?​

いいえ。この機能に関心がある場合は、アカウント チームにお問い合わせください。

LakeFlow Connectの費用はいくらですか?​

LakeFlow Connect にはコンピュートベースの価格モデルがあります。

SaaS ソース(Salesforce や Workday など)は、サーバレス インフラストラクチャ上でのみ実行されるため、サーバレス DLT DBU の料金が発生します。

SQL Serverのようなデータベース ソースの場合、インジェスト ゲートウェイはソースに応じてクラシック モードまたはサーバレス モードで実行でき、インジェスト パイプラインはサーバレスで実行できます。その結果、クラシックとサーバレスの両方の DLT DBU 料金を受け取ることができます。

料金の詳細については、 DLTの価格ページを参照してください。

に最終更新