メインコンテンツまでスキップ

Unity Catalog メタストアを管理する

この記事では、Databricks アカウントで Unity Catalog メタストアの動作を更新、削除、管理する方法について説明します。

Unity Catalog メタストアとその作成方法については、「 Unity Catalog メタストアを作成する」を参照してください。

メタストアを新しいワークスペースに自動的に割り当てるようにする​

既存の Unity Catalog メタストアをそのメタストアのリージョン内の新しいワークスペースに自動的に割り当てるには、アカウント管理者がメタストアのワークスペースの自動割り当てを有効にできます。 この設定が選択されていない場合、メタストアと同じリージョンにワークスペースを作成する管理者は、Unity Catalog のワークスペースを手動で有効にし、ドロップダウンからメタストアを選択する必要があります。

アカウント管理者は、このオプションを有効にする前に、新しいワークスペースに対する次の影響を理解しておく必要があります。

自動割り当てを有効にするには：

  1. アカウント管理者として、Databricks アカウント コンソールに移動します。
  2. カタログアイコン [カタログ] をクリックします。
  3. メタストアを選択します。
  4. 構成 タブの ワークスペースの割り当て で、 <region>の新しいワークスペースをこのメタストアに自動的に割り当てる を選択します。
  5. 確認ダイアログで、 自動割り当てを有効にする をクリックします。

管理ストレージを既存のメタストアに追加する​

メタストア レベルの管理ストレージはオプションであり、自動的に作成されたメタストアには含まれません。 複数のワークスペースのデータを一元的に格納するデータ分離モデルを好む場合は、メタストア レベルのストレージをメタストアに追加できます。 メタストア レベルのストレージは、個人のステージング場所を使用する Databricks パートナーの場合に必要です。

「Unity Catalog で管理されたストレージの場所を指定する」も参照してください。

必要条件​

  • Unity Catalog メタストアには、少なくとも 1 つのワークスペースがアタッチされている必要があります。

  • Databricks のアクセス許可が必要です。

    • 外部ロケーションを作成するには、メタストア管理者であるか、 CREATE EXTERNAL LOCATION 権限と CREATE STORAGE CREDENTIAL 権限を持つユーザーである必要があります。
    • ストレージの場所をメタストア定義に追加するには、アカウント管理者である必要があります。

  • 必要な GCP 権限: GCS バケットとサービス アカウントを作成する権限。

ステップ1: 保管場所を作成する​

ステップ 1(省略可): GCS バケットを作成するの手順に沿って、メタストアと同じリージョンの Google Cloud アカウントに専用の GCS バケットを作成します。

ステップ 2: Unity Catalog で外部ロケーションを作成する​

このステップでは、作成したばかりの バケットパスを参照する外部ロケーションをUnity Catalog GCSに作成します。

  1. ストレージ資格情報を作成します。

    ストレージ認証情報の作成の一環として、Google Cloud サービスアカウントが作成され、そのサービスアカウントに 「ステップ 1: ストレージの場所を作成する」で作成した GCS バケットへのアクセス権を付与します。

    Google Cloud Storage に接続するためのストレージ認証情報を作成するの手順に沿って操作します。

  2. 前のステップで作成したストレージ認証情報と、「 ステップ 1: ストレージロケーションを作成する」で作成した GCS バケットを参照する外部ロケーションを作成します。

    「外部ロケーションを作成する」の手順に従って、クラウド ストレージを Databricksに接続します

  3. 外部ロケーションに対する CREATE MANAGED STORAGE 権限を自分自身に付与します。

    1. 外部ロケーション名をクリックして、詳細ペインを開きます。
    2. アクセス許可 タブで、 許可 をクリックします。
    3. <external location>の付与 ダイアログで、 プリンシパル フィールドで自分自身を選択し、CREATE MANAGED STORAGEを選択します。
    4. 付与 をクリックします。

手順 3: メタストアにストレージの場所を追加する​

メタストア ストレージ バケットを表す外部ロケーションを作成したら、それをメタストアに追加できます。

  1. アカウント管理者として、アカウントコンソールにログインします。

  2. カタログアイコン [カタログ] をクリックします。

  3. メタストア名をクリックします。

  4. 自分がメタストア管理者 であることを確認します。

    そうでない場合は、 編集 をクリックし、自分自身をメタストア管理者として割り当てます。 この手順が完了したら、自分自身の割り当てを解除できます。

  5. Configuration タブで、 GCS bucket path の横にある Set をクリックします。

  6. メタストア ルートの設定 ダイアログで、外部ロケーションの作成に使用した GCS バケット パスを入力し、 更新 をクリックします。

このパスは一度設定すると変更できませんが、必要に応じて削除して新しいパスを追加することができます。

メタストアレベルのストレージの削除​

マネージドテーブルとボリューム用のメタストア レベルのストレージ (メタストア ストレージ ルートとも呼ばれます) があるが、カタログ レベルまたはスキーマ レベルでのデータ ストレージの分離を強制する場合は、メタストアのメタストア レベルのストレージ オプションを削除できます。 これを行うと、次のことが発生します。

  • ストレージ ルートが指定されていない既存のカタログには、メタストア ストレージ ルートのクラウド ストレージの場所が、カタログ レベルの管理ストレージの場所として与えられます。 つまり、メタストア ストレージ ルートは、これらのカタログに "プッシュダウン" されます。 これらのカタログ内のデータへのアクセスは、中断することなく機能し続けます。
  • メタストアの作成方法によっては、メタストア ストレージ ルートの Unity Catalog に外部ロケーション セキュリティ保護可能なリソースが定義されていない場合があります。 その場合は、新しい外部ロケーションと関連するストレージ資格情報が作成されます。 新しい外部ロケーションには、デフォルトによって prior_metastore_root_location 名前が付けられます。
  • ユーザーは、カタログを作成するたびに、外部ロケーションとして Unity Catalog に登録されている専用のストレージ場所を提供する必要があります。
注記

Delta Sharing を使用してノートブックを共有し、メタストア ルートを共有ノートブック ストレージとして使用した場合は、メタストア ルートを削除する前に次の操作を行う必要があります。

  1. 共有からノートブックを削除します。
  2. 専用のストレージ場所を使用してノートブックを再度追加します。

「 ノートブック ファイルを共有に追加する」を参照してください。

メタストアのストレージルートを削除するには：

  1. アカウント管理者として、アカウントコンソールにログインします。
  2. カタログアイコン [カタログ] をクリックします。
  3. メタストア名をクリックします。
  4. Configuration タブの GCS bucket path で、 Remove ボタンをクリックします。
  5. 確認ダイアログで、 削除の確認 をクリックします。

メタストア管理者を追加する​

メタストア管理者はオプションですが、メタストアに 1 つ必要になる場合があります。 「 メタストア管理者を割り当てる」を参照してください。

メタストアを削除する​

Databricks アカウントを閉鎖する場合、または Unity Catalog メタストアによって管理されているデータへのアクセスを削除する別の理由がある場合は、メタストアを削除できます。

警告

メタストアによって管理されているすべてのオブジェクトは、Databricks ワークスペースを使用してアクセスできなくなります。 この操作は元に戻せません。

マネージドテーブルの データとメタデータは、30日後に自動的に削除されます。 クラウド ストレージ内の外部テーブル データは、メタストアの削除の影響を受けません。

メタストアを削除するには:

  1. メタストア管理者として、 アカウント コンソールにログインします。
  2. カタログアイコン [カタログ] をクリックします。
  3. メタストア名をクリックします。
  4. 構成 タブで、右上にある 3 つのボタン メニューをクリックし、 削除 を選択します。
  5. 確認ダイアログで、メタストアの名前を入力し、 削除 をクリックします。
に最終更新