Unity Catalogによって管理されるデータのパスはどのように機能しますか?

この記事では、 Unity Catalogでのパスの重複に関する制限について説明し、 Unity Catalog オブジェクト内のデータファイルのパスベースのアクセスパターン Unity Catalog 、テーブルとボリュームのパスを管理する方法について説明します。

注

ボリュームは、Databricks Runtime 13.3 LTS 以降でのみサポートされます。 Databricks Runtime 12.2 LTS以前では、/Volumes パスに対する操作は成功する可能性がありますが、期待どおりにUnity Catalogボリュームにデータを保存するのではなく、コンピュートクラスターに接続された一時ストレージディスクにデータを書き込むことができます。

Unity Catalog オブジェクトのパスは重複できません

Unity Catalog は、データの管理ディレクトリが重複しないようにすることで、データガバナンスを強制します。 Unity Catalog では、次のルールが適用されます。

外部ロケーションを他の外部ロケーションと重ねることはできません。
テーブルとボリュームは、外部ロケーションまたはメタストアのルートの場所にデータファイルを格納します。
ボリュームを他のボリュームと重ねることはできません。
テーブルを他のテーブルと重ねることはできません。
テーブルとボリュームは互いに重なり合うことはできません。
管理対象ストレージの場所は互いに重複できません。管理対象ストレージを参照してください。
外部ボリュームは、管理対象ストレージの場所と重複することはできません。
外部テーブルは、管理されたストレージの場所と重複することはできません。

これらのルールは、 Unity Catalogに次の制限が存在することを意味します。

別の外部ロケーション内に外部ロケーションを定義することはできません。
別のボリューム内にボリュームを定義することはできません。
別のテーブル内にテーブルを定義することはできません。
ボリューム内のデータ・ファイルまたはディレクトリーに表を定義することはできません。
テーブル内のディレクトリにボリュームを定義することはできません。

注

パスベースのアクセスは、いつでも使用して、Delta Lake を含むボリュームからデータファイルを読み書きできます。これらのデータファイルをテーブルとして Unity Catalog メタストアに登録することはできません。

管理対象表および管理対象ボリュームのパスは、 Unity Catalog によってフルマネージドされます。

管理対象表または管理対象ボリュームを作成すると、 Unity Catalog は、含まれているスキーマに関連付けられた Unity Catalog構成済みストレージ・ロケーションに新しいディレクトリーを作成します。このディレクトリの名前は、すでに存在する他のディレクトリとの潜在的な衝突を回避するためにランダムに生成されます。

この動作は、 Hive metastore がマネージテーブルを作成する方法とは異なります。 Databricks では、常にテーブル名を使用して Unity Catalog マネージドテーブルと対話し、ボリュームパスを使用して Unity Catalog マネージドボリュームを操作することをお勧めします。

外部テーブルと外部ボリュームのパスは、 Unity Catalog

外部テーブルまたは外部ボリュームを作成する場合は、 Unity Catalogによって管理される外部ロケーション内のパスを指定します。

重要

Databricks では、外部の場所のルートに外部ボリュームまたは外部テーブルを作成しないことをお勧めします。代わりに、外部ボリュームと外部テーブルを外部ロケーション内のサブディレクトリに作成します。これらの推奨事項は、パスが誤って重複しないようにするのに役立ちます。 Unity Catalog オブジェクトのパスは重ねることができませんを参照してください。

使いやすくするために、Databricks では、テーブル名を使用して外部テーブル Unity Catalog 操作し、ボリュームパスを使用して外部ボリューム Unity Catalog することをお勧めします。

重要

Unity Catalog 、クラウド URI を使用して外部テーブルまたは外部ボリュームに関連付けられたデータにアクセスするためのすべての権限を管理します。これらの権限は、外部ロケーションに関連付けられた権限を上書きします。 Unity Catalog 特権とセキュリティ保護可能なオブジェクトを参照してください。

Unity Catalogのデータにアクセスするにはどうすればよいですか?

Unity Catalog オブジェクトは、オブジェクト識別子、ボリュームパス、またはクラウドURIを介してデータへのアクセスを提供します。一部のオブジェクトに関連付けられたデータには、複数の方法でアクセスできます。

Unity Catalog テーブルには、次のパターンの 3 層識別子を使用してアクセスします。

<catalog_name>.<schema_name>.<table_name>

ボリュームは、次のパターンでデータファイルにアクセスするためのファイルパスを提供します。

/Volumes/<catalog_name>/<schema_name>/<volume_name>/<path_to_file>

クラウド URI では、次の例のように、ユーザーがドライバー、ストレージコンテナー識別子、およびターゲットファイルへの完全パスを指定する必要があります。

s3://<bucket_name>/<path>

次の表に、 Unity Catalog オブジェクトに許可されるアクセス方法を示します。

オブジェクト	オブジェクト識別子	ファイルパス	クラウド URI
外部ロケーション	いいえ	いいえ	はい
管理テーブル	はい	いいえ	いいえ
外部テーブル	はい	いいえ	はい
管理対象ボリューム	いいえ	はい	いいえ
外部ボリューム	いいえ	はい	はい

注

Unity Catalog ボリュームは、管理コマンド (CREATE VOLUME や DROP VOLUME など) に次のパターンの 3 層オブジェクト識別子を使用します。

<catalog_name>.<schema_name>.<volume_name>

ボリューム内のファイルを実際に操作するには、パスベースのアクセスを使用する必要があります。