メインコンテンツまでスキップ

レイクハウスフェデレーションとは何ですか?

レイクハウスフェデレーションは、 Databricksのクエリフェデレーションプラットフォームです。 クエリフェデレーションという用語は、ユーザーとシステムが複数のデータに対してクエリを実行することを可能にする機能のコレクションを表します データソース すべてのデータを統合システムに移行する必要はありません。

フェデレーションには、クエリ フェデレーションとカタログ フェデレーションの 2 種類があります。このページでは、タイプ間の違いについて説明します。

クエリ フェデレーションとカタログ フェデレーションの比較​

次の表は、クエリ フェデレーションとカタログ フェデレーションの主な違いをまとめたものです。

属性

クエリ フェデレーション

カタログフェデレーション

クエリ パス

Unity Catalog クエリは、JDBC を使用して外部データベースにプッシュダウンされます。クエリは、 Databricks とリモートコンピュートの両方で実行されます。

Unity Catalog クエリは、オブジェクトストレージのフォーリンテーブルに直接アクセスします。 カタログフェデレーションは、カタログおよびストレージサービスへの直接アクセスをサポートするプラットフォームで使用できます。クエリは conピュート Databricks でのみ実行されるため、カタログ フェデレーションはクエリ フェデレーションよりもコスト効率が高く、パフォーマンスが最適化されています。

ユースケース

  • 外部データベースに格納されている運用データへのアドホックレポートまたは概念実証アクセスが必要です。
  • データの移動を最小限に抑え、外部システムへのライブアクセスを維持したいと考えています。

ソースがレイクハウスフェデレーションと LakeFlow Connectの両方をサポートしている場合、 Databricks は、より多くのデータ量とより低いレイテンシーでのパフォーマンスが優先される場合は、 LakeFlow Connect することをお勧めします。

  • Unity Catalog に移行しているが、フォーリンカタログから管理されるデータを段階的に段階的に導入する必要がある。
  • 一部のデータは外部カタログにとどまり、一部のデータは Unity Catalog によって管理される長期的なハイブリッド モデルが必要です。

手順の概要

  1. アクセス資格情報と JDBC URL を使用して Unity Catalog で接続を作成します。
  2. 接続を使用してフォーリンカタログを作成します。
  3. フォーリンカタログのテーブルに対する権限をユーザーに付与します。
  4. クエリを実行します。これらは外部データベースにプッシュダウンされます。
  1. 外部カタログにアクセスするための接続を Unity Catalog に作成します。
  2. テーブルパスのストレージ資格情報と外部ロケーションを作成します。
  3. 接続と外部ロケーションを使用してフォーリンカタログを作成します。
  4. フォーリンカタログのテーブルに対する権限をユーザーに付与します。
  5. クエリを実行します。これらはオブジェクト・ストレージに対して直接実行されます。

サポートされているデータソース​

クエリ フェデレーションを使用して次のソースに接続します。

カタログフェデレーションを使用して、次のソースに接続します。

追加のリソース​

に最終更新