Unity Catalog メタストアを管理する

この記事では、Databricks アカウントで Unity Catalog メタストアの動作を更新、削除、管理する方法について説明します。

Unity Catalog メタストアとその作成方法については、Unity Catalog メタストアを作成するを参照してください。

メタストアを新しいワークスペースに自動的に割り当てるようにする

既存の Unity Catalog メタストアをそのメタストアのリージョン内の新しいワークスペースに自動的に割り当てるには、アカウント管理者がメタストアのワークスペースの自動割り当てを有効にできます。この設定が選択されていない場合、メタストアと同じリージョンにワークスペースを作成する管理者は、Unity Catalog のワークスペースを手動で有効にし、ドロップダウンからメタストアを選択する必要があります。

アカウント管理者は、このオプションを有効にする前に、新しいワークスペースに対する次の影響を理解しておく必要があります。

ワークスペースカタログが作成され、すべてのワークスペースユーザーには、そのカタログにオブジェクトを作成するために必要な権限が付与されます。Unity Catalog の自動有効化を参照してください。
ワークスペース管理者には、カタログや外部ロケーションなどのメタストアレベルのセキュリティ保護可能なオブジェクトを作成するために必要なアクセス許可があります。ワークスペースの管理者権限については、ワークスペースの Unity Catalog が自動的に有効になっている場合を参照してください。
メタストアレベルのストレージがメタストアで既に有効になっている場合、ワークスペースはそのストレージを使用できます。 Unity Catalog でマネージドストレージロケーションを指定するを参照してください。
メタストアにメタストア管理者が定義されている場合は、メタストアに接続されているすべてのワークスペース内のすべてのセキュリティ保護可能なオブジェクトへのアクセスを管理できます。メタストア管理者を参照してください。
メタストアの Delta Sharing 設定 (有効または無効) は、メタストアに接続されているすべてのワークスペースに適用されます。アカウントのDelta Sharingを設定する (プロバイダー向け)を参照してください。

自動割り当てを有効にするには:

アカウント管理者として、Databricks アカウントコンソールに移動します。
カタログをクリックします。
メタストアを選択します。
構成タブの ワークスペースの割り当てで、<region>の新しいワークスペースをこのメタストアに自動的に割り当てる を選択します。
確認ダイアログで、自動割り当てを有効にするをクリックします。

マネージドストレージを既存のメタストアに追加する

メタストアレベルの管理ストレージはオプションであり、自動的に作成されたメタストアには含まれません。複数のワークスペースのデータを一元的に格納するデータ分離モデルを好む場合は、メタストアレベルのストレージをメタストアに追加できます。メタストアレベルのストレージは、個人のステージング場所を使用する Databricks パートナーの場合に必要です。

Unity Catalog でマネージドストレージロケーションを指定するも参照してください。

要件

Unity Catalog メタストアには、少なくとも 1 つのワークスペースがアタッチされている必要があります。
Databricks のアクセス許可が必要です。
- 外部ロケーションを作成するには、メタストア管理者であるか、 CREATE EXTERNAL LOCATION 権限と CREATE STORAGE CREDENTIAL 権限を持つユーザーである必要があります。
- ストレージの場所をメタストア定義に追加するには、アカウント管理者である必要があります。
必要なAWSアクセス許可: S3バケット、IAMロール、IAM ポリシー、およびアカウント間の信頼関係を作成する機能。

ステップ 1: ストレージロケーションを作成する

ステップ 1 (オプション): AWS でメタストアレベルのマネージドストレージ用の S3 バケットを作成するの手順に従って、メタストアと同じリージョンの AWS アカウントに専用の S3 バケットを作成します。

ステップ 2: Unity Catalog で外部ロケーションを作成する

このステップでは、作成したばかりのバケットを表す外部ロケーションを Unity Catalog に作成します。

ステップ 3: メタストアにストレージロケーションを追加する

メタストアストレージバケットを表す外部ロケーションを作成したら、それをメタストアに追加できます。

アカウント管理者として、アカウントコンソールにログインします。
カタログをクリックします。
メタストア名をクリックします。
自分がメタストア管理者であることを確認します。

そうでない場合は、編集をクリックし、自分自身をメタストア管理者として割り当てます。この手順が完了したら、自分自身の割り当てを解除できます。
設定タブで、S3 バケットパスの横にある設定をクリックします。
メタストアルートの設定 ダイアログで、外部ロケーションの作成に使用した S3 バケットパスを入力し、更新をクリックします。

このパスは一度設定すると変更できませんが、必要に応じて削除して新しいパスを追加することができます。

メタストアレベルのストレージを削除する

マネージドテーブルとボリューム用のメタストアレベルのストレージ (メタストアストレージルートとも呼ばれます) があるが、カタログレベルまたはスキーマレベルでのデータストレージの分離を強制する場合は、メタストアのメタストアレベルのストレージオプションを削除できます。これを行うと、次のことが発生します。

ストレージルートが指定されていない既存のカタログには、メタストアストレージルートのクラウドストレージの場所が、カタログレベルの管理ストレージの場所として与えられます。つまり、メタストアストレージルートは、これらのカタログに "プッシュダウン" されます。これらのカタログ内のデータへのアクセスは、中断することなく機能し続けます。
メタストアの作成方法によっては、メタストアストレージルートの Unity Catalog に外部ロケーションセキュリティ保護可能なリソースが定義されていない場合があります。その場合は、新しい外部ロケーションと関連するストレージ資格情報が作成されます。新しい外部ロケーションには、デフォルトによって prior_metastore_root_location 名前が付けられます。
ユーザーは、カタログを作成するたびに、外部ロケーションとして Unity Catalog に登録されている専用のストレージ場所を提供する必要があります。

注：

Delta Sharing を使用してノートブックを共有し、メタストアルートを共有ノートブックストレージとして使用した場合は、メタストアルートを削除する前に次の操作を行う必要があります。

共有からノートブックを削除します。
専用のストレージ場所を使用してノートブックを再度追加します。

ノートブックファイルを共有に追加するを参照してください。

メタストアのストレージ・ルートを削除するには、次のようにします。

アカウント管理者として、アカウントコンソールにログインします。
カタログをクリックします。
メタストア名をクリックします。
設定タブの S3 バケットパスで、削除ボタンをクリックします。
確認ダイアログで、削除の確認をクリックします。

メタストア管理者を追加する

メタストア管理者はオプションですが、メタストアに 1 つ必要になる場合があります。メタストア管理者を割り当てるを参照してください。

メタストアを削除する

Databricks アカウントを閉鎖する場合、または Unity Catalog メタストアによって管理されているデータへのアクセスを削除する別の理由がある場合は、メタストアを削除できます。

警告

メタストアによって管理されているすべてのオブジェクトは、Databricks ワークスペースを使用してアクセスできなくなります。この操作は元に戻せません。

マネージドテーブルのデータとメタデータは、30日後に自動的に削除されます。クラウドストレージ内の外部テーブルデータは、メタストアの削除の影響を受けません。

メタストアを削除するには:

メタストア管理者として、アカウントコンソールにログインします。
カタログをクリックします。
メタストア名をクリックします。
構成タブで、右上にある 3 つのボタンメニューをクリックし、削除を選択します。
確認ダイアログで、メタストアの名前を入力し、削除をクリックします。