メインコンテンツまでスキップ

Unity CatalogにLakebaseデータベースを登録する

備考

ベータ版

Lakebase Postgres (オートスケール Beta) は、 Lakebase の次のバージョンであり、評価のみに利用できます。 本番運用ワークロードの場合は、 Lakebase Public Previewを使用します。 どのバージョンが適しているかを判断するには、バージョンの選択を参照してください。

Unity Catalogで Lakebase データベースを登録すると、Postgres データベースを表す読み取り専用カタログが作成され、レイクハウスとトランザクションのワークロード全体で統合されたデータガバナンスとクロスソース分析が可能になります。

Unity Catalogに登録する理由​

登録すると、次のようないくつかの利点があります。

統合ガバナンス : Unity Catalogのガバナンス制御 (権限、リネージ追跡、監査ログ) を、レイクハウス データとともに Lakebase データに適用します。

クロスソース クエリ : 単一のSQLインターフェイスからUnity Catalogテーブルと Lakebase データベースの両方にクエリを実行し、トランザクション データと分析データを組み合わせた分析を可能にします。

一元的な検出 : ワークスペース内の他のデータ ソースと一緒に、Catalog Explorer を通じて Lakebase データベース、スキーマ、テーブルを参照して検出します。

統合ワークフロー : コンテキストを切り替えたり、個別の接続を管理したりすることなく、Databricks ダッシュボードとアプリケーションで Lakebase データを使用します。

仕組み​

登録により、Postgres データベース構造をミラーリングする読み取り専用の Unity Catalog カタログが作成され、Unity Catalog のガバナンス レイヤーを通じてデータベース オブジェクト (スキーマ、テーブル、ビュー) へのメタデータ アクセスが提供されます。

登録は、Unity Catalog のカタログ作成ワークフローと自然に統合される Lakebase インターフェースからではなく、Catalog Explorer から開始します。

登録後:

  • LakebaseデータベースはUnity Catalogにカタログとして表示されます
  • Unity Catalog権限は、データベースを表示およびクエリできるユーザーを制御します。
  • カタログは読み取り専用のままです。実際のデータベースはLakebaseを通じて管理します。

前提条件​

  • 少なくとも 1 つのデータベースを含む既存の Lakebase データベース プロジェクト
  • CREATE CATALOG Unity Catalogメタストアの権限
  • 登録されたカタログをクエリするためのサーバレスSQLウェアハウス

データベースを登録する​

Unity Catalogに Lakebase データベースを登録するには:

  1. カタログ エクスプローラーで、 [カタログの作成] をクリックします。
  2. カタログ タイプとして Lakebase serverless を 選択します。
  3. カタログ名を入力し、データベース プロジェクト、ブランチ、Postgres データベースを選択します。
  4. 作成 をクリックします。

Unity CatalogにLKBデータベースを登録する

カタログはカタログ エクスプローラーに表示され、スキーマ、テーブル、ビューを参照し、 SQLウェアハウスを使用してクエリを実行できます。

登録済みデータベースを探索する​

登録後、カタログ エクスプローラーでカタログに移動し、スキーマ、テーブル、ビューを参照します。任意のテーブルをクリックすると、スキーマの詳細、サンプル データ、およびリネージ情報が表示されます。

Unity Catalog は Lakebase データベースからメタデータを自動的に同期します。Lakebase でテーブルを追加または変更する場合は、カタログ ビューを更新して更新を確認します。

登録済みデータベースを照会する​

SQLウェアハウスまたはUnity Catalogに接続するツールを使用して、登録されたLakebaseデータベースをクエリします。

SQL
-- Query a registered :re[LKB] database
SELECT * FROM chatbot_catalog.public.conversations
WHERE created_at >= current_date - INTERVAL 7 DAYS;

-- Join :re[LKB] and lakehouse data
SELECT
  c.conversation_id,
  c.user_id,
  c.agent_response,
  u.user_name,
  u.subscription_tier
FROM chatbot_catalog.public.conversations c
JOIN main.user_analytics.users u
  ON c.user_id = u.user_id;

読み取り専用カタログにより、クエリによって Unity Catalog を通じて Lakebase データベースが変更されることがなくなります。データを変更するには、Lakebase SQL エディターを使用するか、データベースに直接接続します。

権限とアクセス制御​

Unity Catalog の権限は、登録された Lakebase データベースへのアクセスを制御します。

  • カタログ所有者 : データベースを登録したユーザーがカタログ所有者となります
  • 読み取りアクセス : 他のユーザーがデータベースを照会できるようにするには、 USE CATALOGおよびSELECT権限を付与します
  • メタストア管理者 : メタストア管理者は登録されているすべてのカタログを管理できます

登録済みデータベースへのアクセスを許可するには:

SQL
-- Grant read access to a group
GRANT USE CATALOG ON CATALOG chatbot_catalog TO `ai-engineering`;
GRANT SELECT ON CATALOG chatbot_catalog TO `ai-engineering`;

Unity Catalogで設定された権限は、 SQLを介したクエリ アクセスを制御します。 Lakebase データベースへの直接接続では、Postgres のロールと権限が個別に使用されます。

データベースの登録を解除する​

Unity CatalogからLakebaseデータベースの登録を解除するには、カタログエクスプローラーでカタログを選択し、ドットの円アイコン。をクリックし、 ［削除］ を選択します。

カタログを削除すると、 Unity Catalogから削除されますが、Lakebase データベースには影響しません。 データベースには、Lakebase および直接の Postgres 接続を通じて引き続きアクセスできます。

注記

登録済みのデータベースから同期テーブルを作成した場合は、まずそれらのテーブルを削除します。各ソース テーブルは 20 個の同期テーブルの作成にのみ使用でき、削除が保留中の同期テーブルもこの制限にカウントされます。

制限事項​

読み取り専用アクセス : Lakebase データベースから登録されたカタログは読み取り専用です。Unity Catalogクエリを通じてデータを変更することはできません。

カタログごとに 1 つのデータベース : 各 Unity Catalog カタログは 1 つの Lakebase データベースを表します。複数のデータベースを公開するには、それぞれを個別に登録します。

メタデータ同期 : Unity Catalog はメタデータをキャッシュして Postgres リクエストを削減します。新しいオブジェクトはすぐには表示されない場合があります。クリックスキーマアイコンの更新完全な更新をトリガーします。

ブランチ分離 : 特定のブランチから登録するデータベースをカタログ化します。 複数のブランチのデータにアクセスするには、各ブランチのデータベースを別個のカタログとして登録します。

次のステップ​

に最終更新