Unity Catalogとは

この記事では、Databricks 上のデータと AI 資産の統合ガバナンスソリューションである Unity Catalog を紹介します。

注

Unity Catalog はオープンソース実装としても利用できます。発表ブログと公開Unity Catalog GitHub リポジトリをご覧ください。

Unity Catalog の概要

Unity Catalogでは、複数のDatabricksワークスペースに対して、一元化されたアクセス制御、監査、系列、およびデータ検出機能を利用できます。

Unity Catalogの主な機能は次のとおりです。

一度定義すれば、どこでも安全: Unity Catalog は、すべてのワークスペースに適用されるデータアクセスポリシーを 1 か所で管理できます。
標準準拠のセキュリティモデル: Unity Catalogのセキュリティモデルは標準の ANSI SQLに基づいており、管理者はカタログ、スキーマ (データベースとも呼ばれます)、テーブル、ビューのレベルで、使い慣れた構文を使用して既存のデータレイクに権限を付与できます。
組み込みの監査とリネージ: Unity Catalog は、データへのアクセスを記録するユーザーレベルの監査ログを自動的にキャプチャします。 Unity Catalogは、すべての言語でデータアセットがどのように作成および使用されるかを追跡するリネージデータもキャプチャします。
データディスカバリー: Unity Catalogではデータアセットにタグを付けて文書化でき、またデータ利用者がデータを見つけるのに役立つ検索インターフェースを利用できます。
システムテーブル (パブリックプレビュー): Unity Catalogを使用すると、監査ログ、課金対象の使用状況、系列など、アカウントの運用データに簡単にアクセスしてアクセスできます。

Unity Catalogオブジェクトモデル

Unity Catalog では、すべてのメタデータがメタストアに登録されます。任意の Unity Catalog メタストア内のデータベースオブジェクトの階層は 3 つのレベルに分かれており、テーブル、ビュー、ボリューム、モデル、関数を参照するときに 3 レベルの名前空間 ( catalog.schema.table-etc ) として表されます。

メタストア

メタストアは、Unity Catalog 内のメタデータの最上位コンテナーです。データとAIアセットに関するメタデータと、それらへのアクセスを管理する権限を登録します。ワークスペースで Unity Catalog を使用するには、Unity Catalog メタストアがアタッチされている必要があります。

ワークスペースがあるリージョンごとに 1 つのメタストアが必要です。通常、メタストアは、リージョンに初めて Databricks ワークスペースを作成するときに自動的に作成されます。一部の古いアカウントの場合、アカウント管理者がメタストアを作成し、そのリージョンのワークスペースをメタストアに割り当てる必要があります。

「Unity Catalogメタストアの作成」を参照してください。

メタストア内のオブジェクト階層

Unity Catalogメタストアでは、3 レベルのデータベースオブジェクト階層は、スキーマを含むカタログで構成され、スキーマにはテーブルやモデルなどのデータとAIオブジェクトが含まれます。

レベル1:

カタログ は、データ資産を整理するために使用され、通常はデータ分離スキームの最上位レベルとして使用されます。カタログは多くの場合、組織単位またはソフトウェア開発ライフサイクルの範囲を反映します。「Databricks のカタログとは何ですか?」を参照してください。
ストレージ資格情報や外部ロケーションなどのデータ保護不可能なオブジェクトは、 Unity Catalogでデータガバナンスモデルを管理するために使用されます。これらもメタストアの直下にあります。これらについては、「その他のセキュリティ保護可能なオブジェクト」で詳しく説明します。

レベル2:

スキーマ(データベースとも呼ばれます) には、テーブル、ビュー、ボリューム、AI モデル、および関数が含まれます。スキーマは、データと AI アセットをカタログよりも細かい論理カテゴリに整理します。通常、スキーマは単一のユースケース、プロジェクト、またはチームサンドボックスを表します。「Databricks のスキーマとは何ですか?」を参照してください。

レベル3:

ボリュームは、クラウドオブジェクトストレージ内の非構造化、非表形式データの論理ボリュームです。ボリュームは、Unity Catalog がストレージ内のデータのライフサイクルとレイアウト全体を管理する「管理対象」 、または Unity Catalog が Databricks 内からのデータへのアクセスを管理するが、他のクライアントからのクラウドストレージ内のデータへのアクセスは管理しない「外部」のいずれかになります。「Unity Catalog ボリュームとは何ですか?」および「マネージドテーブルとボリュームと外部テーブルおよびボリュームの違い」を参照してください。
テーブルは 、行と列で整理されたデータのコレクションです。テーブルは、Unity Catalog がテーブルのライフサイクル全体を管理する「管理対象」 、または、Unity Catalog が Databricks 内からのデータへのアクセスを管理するが、他のクライアントからのクラウドストレージ内のデータへのアクセスは管理しない「外部」のいずれかになります。「テーブルとは」を参照してください。管理対象テーブルと外部テーブルおよびボリューム。
ビュー は、1 つ以上のテーブルに対する保存されたクエリです。「ビューとは」を参照してください。
関数は、スカラー値または行のセットを返す保存されたロジックの単位です。 Unity Catalogのユーザー定義関数 (UDF)を参照してください。
モデルはMLflow でパッケージ化され、Unity Catalog に登録された AI モデルです。「Unity Catalog でモデルのライフサイクルを管理する」を参照してください。

Unity Catalog でのデータベースオブジェクトの操作

Unity Catalogでのデータベースオブジェクトの操作はHive metastoreに登録されているデータベースオブジェクトの操作と非常に似ていますが、 Hive metastoreではオブジェクト名前空間にカタログが含まれていないという点が異なります。使い慣れた ANSI 構文を使用して、データベースオブジェクトの作成、データベースオブジェクトの管理、権限の管理、Unity Catalog でのデータの操作を行うことができます。「カタログエクスプローラ」(Catalog Explorer) UI を使用して、データベースオブジェクトの作成、データベースオブジェクトの管理、およびデータベースオブジェクトに対するパーミッションの管理を行うこともできます。

詳細については、 Databricksのデータベースオブジェクト」およびUnity Catalogと従来のHive metastoreの操作」を参照してください。

その他のセキュリティ保護可能なオブジェクト

スキーマに含まれるデータベースオブジェクトと AI アセットに加えて、Unity Catalog は次のセキュリティ保護可能なオブジェクトを使用してデータへのアクセスも管理します。

ストレージ資格情報。クラウドストレージへのアクセスを提供する長期的なクラウド資格情報をカプセル化します。「AWS S3 に接続するためのストレージ認証情報を作成する」を参照してください。
外部ロケーション。これには、ストレージ資格情報とクラウドストレージパスへの参照が含まれます。外部場所を使用すると、外部テーブルを作成したり、管理対象テーブルおよびボリュームに管理対象ストレージの場所を割り当てたりすることができます。「クラウドストレージをDatabricksに接続するための外部ロケーションの作成」、「マネージドストレージを使用したデータの分離」、およびUnity Catalogでマネージドストレージの場所を指定する」を参照してください。
接続は、レイクハウスフェデレーションを使用するMySQLなどのデータベースシステム内の外部データベースへの読み取り専用アクセスを許可する資格情報を表します。レイクハウスフェデレーションとUnity Catalogおよびレイクハウスフェデレーションとはを参照してください。
Shares は、データプロバイダーが 1 人以上の受信者と共有するデータと AI アセットの読み取り専用コレクションを表す Delta Sharing オブジェクトです。
受信者: データプロバイダーから共有を受け取るエンティティを表す Delta Sharing オブジェクトです。
プロバイダーは、受信者とデータを共有するエンティティを表す Delta Sharing オブジェクトです。

Delta Sharingセキュリティ保護可能なオブジェクトの詳細については、「 Delta Sharingを使用してデータとAI アセットを安全に共有する」を参照してください。

Unity Catalog 内のデータベースオブジェクトやその他のセキュリティ保護可能なオブジェクトへのアクセスの許可と取り消し

セキュリティ保護可能なオブジェクトへのアクセスは、メタストア自体を含め、階層内の任意のレベルで許可および取り消すことができます。オブジェクトにアクセスすると、アクセスが取り消されない限り、そのオブジェクトのすべての子に同じアクセス権が暗黙的に付与されます。

一般的な ANSI SQL コマンドを使用して、Unity Catalog 内のオブジェクトへのアクセスを許可および取り消すことができます。例えば：

GRANT CREATE TABLE ON SCHEMA mycatalog.myschema TO `finance-team`;

カタログエクスプローラー、 Databricks CLI 、 REST APIsを使用してオブジェクトのアクセス許可を管理することもできます。

Unity Catalog で権限を管理する方法については、「Unity Catalog で権限を管理する」を参照してください。

Unity Catalog のデータベースオブジェクトへのデフォルトアクセス

Unity Catalog は最小権限の原則に基づいて動作し、ユーザーは必要なタスクを実行するために必要な最小限のアクセス権を持ちます。ワークスペースが作成されると、管理者以外のユーザーは自動的に作成されたワークスペースカタログにのみアクセスできるようになります。これにより、このカタログは、ユーザーがUnity Catalogでデータベースオブジェクトを作成してアクセスするプロセスを試すのに便利な場所になります。ワークスペースカタログの権限を参照してください。

管理者の役割

ワークスペース管理者とアカウント管理者には、デフォルトで追加の権限が与えられます。 メタストア管理者はオプションのロールであり、メタストアレベルでテーブルとボリュームのストレージを管理する場合に必須であり、リージョン内の複数のワークスペースにわたってデータを集中的に管理する場合に便利です。詳細については、 Unity Catalogの管理者権限」および「 (オプション) メタストア管理者ロールの割り当て」を参照してください。

管理対象のテーブルと外部のテーブルとボリューム

テーブルとボリュームは、管理または外部にすることができます。

Databricks では、Unity Catalog のガバナンス機能とパフォーマンスの最適化を最大限に活用するために、マネージドテーブルとボリュームを推奨しています。

「マネージドテーブルの操作」、「外部テーブルの操作」、および「マネージドボリュームと外部ボリューム」を参照してください。

マネージドストレージを使用したデータの分離

組織によっては、特定の種類のデータをクラウドテナント内の特定のアカウントまたはバケット内に保存することが必要になる場合があります。

Unity Catalog を使用すると、このような要件を満たすために、メタストア、カタログ、またはスキーマレベルでストレージの場所を構成することができます。システムは、スキーマからカタログ、メタストアまでのストレージの場所の階層を評価します。

たとえば、組織に人事リソースに関連する本番運用データをバケット s3://mycompany-hr-prod に保存することを要求する企業コンプライアンスポリシーがあるとします。 Unity Catalog では、カタログレベルで場所を設定し、たとえばhr_prodという名前のカタログを作成し、それに場所 s3://mycompany-hr-prod/unity-catalog を割り当てることで、この要件を実現できます。つまり、 hr_prod カタログで作成されたマネージドテーブルまたはボリューム (たとえば、 CREATE TABLE hr_prod.default.table …を使用) は、データを s3://mycompany-hr-prod/unity-catalog に保存します。必要に応じて、スキーマレベルの場所を指定して、 hr_prod catalog 内のデータをより詳細なレベルで整理できます。

一部のカタログでストレージの分離が必要ない場合は、必要に応じてメタストアレベルでストレージの場所を設定できます。この場所は、ストレージが割り当てられていないカタログとスキーマ内の管理対象テーブルとボリュームのデフォルトの場所として機能します。ただし、通常、Databricks では、カタログごとに個別の管理対象ストレージの場所を割り当てることをお勧めします。

詳細については、「 Unity Catalogで管理対象ストレージの場所を指定する」および「ストレージ内でデータが物理的に分離される」を参照してください。

ワークスペースとカタログのバインディング

デフォルトでは、カタログ所有者 (およびアカウントに定義されている場合はメタストア管理者) は、同じ Unity Catalog メタストアに接続された複数のワークスペースのユーザーがカタログにアクセスできるようにすることができます。ただし、ワークスペースを使用してユーザーのデータアクセスを分離する場合は、アカウント内の特定のワークスペースへのカタログアクセスを制限して、特定の種類のデータがそれらのワークスペースでのみ処理されるようにする必要があります。たとえば、本番運用と開発のワークスペースを別々にしたり、個人データを処理するための別のワークスペースが必要になる場合があります。これは、ワークスペースカタログバインディングと呼ばれます。「特定のワークスペースへのカタログアクセスを制限する」を参照してください。

注

データの分離を強化するために、クラウドストレージアクセスを特定のワークスペースにバインドすることもできます。「(オプション) 特定のワークスペースにストレージ資格情報を割り当てる」および「(オプション) 特定のワークスペースに外部ロケーションを割り当てる」を参照してください。

データ・アクセスの監査

Unity Catalog は、メタストアに対して実行されたアクションの監査ログをキャプチャし、管理者が特定のデータセットにアクセスしたユーザーとそのユーザーが実行したアクションに関する詳細な情報にアクセスできるようにします。

Unity Catalogによって管理されるシステムテーブルを使用して、アカウントの監査ログにアクセスできます。

Unity Catalogイベントの監査」、 Unity Catalogイベント」、および「システムテーブルを使用した使用状況の監視」を参照してください。

トラッキングデータ

Unity Catalog を使用すると、Databricks クラスターまたは SQL ウェアハウスで実行される任意の言語のクエリ全体でランタイムデータリネージをキャプチャできます。リネージは列レベルまでキャプチャされ、クエリに関連するノートブック、ワークフロー、ダッシュボードが含まれます。詳細については、 Unity Catalogを使用したデータリネージのキャプチャと表示」を参照してください。

レイクハウスフェデレーションと Unity Catalog

レイクハウスフェデレーションは、Databricksのクエリーフェデレーションプラットフォームです。 クエリーフェデレーション という用語は、すべてのユーザーを統一されたシステムに移行しなくても、ユーザーとシステムが複数のサイロ化された Data に対してクエリーを実行できるようにする機能のコレクションを表します。

Databricks は、 Unity Catalog を使用してクエリーフェデレーションを管理します。 Unity Catalog を使用して、一般的な外部データベースシステムへの読み取り専用接続を構成し、外部データベースをミラーリングする フォーリンカタログ を作成します。 Unity Catalog のデータガバナンスとデータリネージツールを使用すると、Databricks ワークスペース内のユーザーが作成したすべてのフェデレーションクエリーのデータアクセスが管理および監査されます。

「レイクハウスフェデレーションとは」をご覧ください。

自分の組織のUnity Catalogを設定するにはどうすればよいですか？

Unity Catalog を使用するには、Databricks ワークスペースで Unity Catalog が有効になっている必要があります。つまり、ワークスペースは Unity Catalog メタストアにアタッチされている必要があります。すべての新しいワークスペースは作成時に自動的に Unity Catalog に対して有効になりますが、古いワークスペースではアカウント管理者が Unity Catalog を手動で有効にする必要がある場合があります。ワークスペースがUnity Catalogに対して自動的に有効になっているかどうかに関係なく、 Unity Catalogを開始するには次の手順も必要です。

カタログとスキーマを作成して、テーブルやボリュームなどのデータベースオブジェクトを含めます。
管理対象のストレージの場所を作成して、これらのカタログとスキーマに管理対象のテーブルとボリュームを格納します。
カタログ、スキーマ、およびデータベース・オブジェクトへのアクセス権をユーザーに付与します。

Unity Catalogで自動的に有効になるワークスペース。これは、すべてのワークスペースユーザーに広範な権限が付与されるワークスペースカタログです。このカタログは、Unity Catalog を試すための便利な出発点です。

詳細なセットアップ手順については、「Unity Catalog のセットアップと管理」を参照してください。

既存のワークスペースを Unity Catalog に移行する

最近Unity Catalog用に有効にした古いワークスペースがある場合は、従来のHive metastoreによって管理されているデータがある可能性があります。そのデータはに登録されているデータと一緒に操作できますが、従来のUnity Catalog Hive metastoreHive metastoreUnity Catalogは非推奨になっており、Unity Catalog の優れたガバナンス機能とパフォーマンスを活用するには、できるだけ早くのデータをに移行する必要があります。

移行には、次のものが含まれます。

ワークスペースのローカルグループをアカウントレベルのグループに変換します。 Unity Catalog は、アカウントレベルで ID 管理を集中化します。
Hive metastoreで管理されているテーブルとビューをUnity Catalogに移行します。
クエリとワークフローを更新して、古いテーブルではなく、新しいUnity Catalog Hive metastoreテーブルを参照するようにします。

移行の管理に役立つのは、次の点です。

Databricks Labs プロジェクトである UCX は、Unity Catalog 以外のワークスペースを Unity Catalog にアップグレードするのに役立つツールを提供します。 UCX は、大規模な移行に適しています。「UCX ユーティリティを使用してワークスペースを Unity Catalog にアップグレードする」を参照してください。

移行するテーブルの数が少ない場合は、Databricks が提供する UI ウィザードと SQL コマンドを使用できます。「Hive テーブルとビューを Unity Catalog にアップグレードする」を参照してください。
同じワークスペースでHive metastoreのテーブルをUnity Catalogのデータベースオブジェクトと一緒に使用する方法については、 Unity Catalogと従来のHive metastoreの操作」を参照してください。

Unity Catalogの要件と制限

Unity Catalog 、以下で説明する特定の種類のコンピュートおよびファイル形式が必要です。また、以下に、すべての Databricks Runtime バージョンの Unity Catalog で完全にサポートされていない Databricks 機能もいくつか示します。

リージョンのサポート

すべてのリージョンで Unity Catalog がサポートされています。詳細については、「Databricks のクラウドとリージョン」を参照してください。

コンピュートの要件

Unity Catalogは、Databricks Runtime 11.3 LTS以上を実行するクラスターでサポートされます。Unity Catalogは、すべてのSQLウェアハウスコンピュートバージョンでデフォルトでサポートされています。

以前のバージョンのDatabricks Runtimeで実行されているクラスターでは、Unity Catalog GAの一部の機能がサポートされない場合があります。

Unity Catalog のデータにアクセスするには、クラスターを正しいアクセスモードで構成する必要があります。 Unity Catalog はデフォルトで安全です。クラスターが共有またはシングルユーザーアクセスモードで構成されていない場合、クラスターは Unity Catalog 内のデータにアクセスできません。アクセス・モードを参照してください。

Databricks Runtime の各バージョンでの Unity Catalog 機能の変更の詳細については、リリースノートを参照してください。

Unity Catalog の制限事項は、アクセスモードと Databricks Runtime のバージョンによって異なります。「Unity Catalog のコンピュートアクセスモードの制限事項」を参照してください。

ファイル形式のサポート

Unity Catalogでは、次のテーブル形式がサポートされています。

マネージドテーブル: deltaテーブル形式を使用する必要があります。
外部テーブル: delta、CSV、 JSON、avro、parquet、ORC、またはtextを使用できます。

セキュリティ保護可能なオブジェクトの名前付け要件

Unity Catalog内のすべてのオブジェクト名には、次の制限が適用されます。

オブジェクト名は 255 文字を超えることはできません。
次の特殊文字は使用できません。
- 期間 (.)
- スペース ( )
- スラッシュ (/)
- すべての ASCII 制御文字 (00-1F 16 進数)
- 削除文字 (7F 16 進数)
Unity Catalog は、すべてのオブジェクト名を小文字で格納します。
SQL で UC 名を参照する場合は、バッククォートを使用して、ハイフン (-) などの特殊文字を含む名前をエスケープする必要があります。

注

列名には特殊文字を使用できますが、特殊文字を使用する場合は、すべての SQL ステートメントで名前をバッククォートでエスケープする必要があります。 Unity Catalog では列名の大文字と小文字の区別が保持されますが、 Unity Catalog テーブルに対するクエリーでは大文字と小文字が区別されません。

制限

Unity Catalog には以下の制限があります。これらの一部は、古いDatabricks Runtimeバージョンおよびコンピュートアクセスモードに固有のものです。

構造化ストリーミングワークロードには、Databricks Runtime とアクセスモードに応じて追加の制限があります。 Unity Catalogのコンピュートアクセスモードの制限を参照してください。

Databricks は、このリストを定期的に縮小する新しい機能をリリースします。

Unity Catalogに登録されたモデルには追加の制限があります。「制限事項」を参照してください。

リソースクォータ

Unity Catalog は、セキュリティ保護可能なすべてのオブジェクトにリソースクォータを適用します。これらのリソース制限を超えることが予想される場合は、Databricks アカウントチームにお問い合わせください。

以下のクォータ値は、Unity Catalog の親 (または祖父母) オブジェクトを基準にして表されます。

オブジェクト	親	値
テーブル	スキーマ	10000
テーブル	メタストア	1000000
ボリューム	スキーマ	10000
ボリューム	メタストア	100000
関数	スキーマ	10000
登録されたモデル	スキーマ	1000
登録されたモデル	メタストア	5000
モデルバージョン	登録されたモデル	10000
モデルバージョン	メタストア	100000
スキーマ	カタログ	10000
カタログ	メタストア	1000
接続	メタストア	1000
ストレージ資格情報	メタストア	200
外部ロケーション	メタストア	10000

Delta Sharing 制限については、「リソースクォータ」を参照してください。