Unity Catalog メタストアを作成する

この記事では、Unity Catalog メタストアを作成し、ワークスペースにリンクする方法について説明します。

重要

Unity Catalog に対して自動的に有効になったワークスペースの場合、この記事の手順は必要ありません。 Databricks は、2023 年 11 月 8 日に Unity Catalog の新しいワークスペースを自動的に有効にし、アカウント間で段階的にロールアウトを進めました。この記事の手順に従う必要があるのは、ワークスペースがあり、ワークスペースリージョンにメタストアがまだない場合のみです。メタストアがリージョンに既に存在するかどうかを確認するには、「 Unity Catalog の自動有効化」を参照してください。

メタストアは、Unity Catalog 内のデータの最上位のコンテナーです。 Unity Catalog メタストアは、セキュリティ保護可能なオブジェクト (テーブル、ボリューム、外部ロケーション、共有など) と、それらへのアクセスを制御するアクセス許可に関するメタデータを登録します。各メタストアは、データを整理できる 3 レベルの名前空間 (catalog.schematable) を公開します。組織が運用されているリージョンごとに 1 つのメタストアが必要です。 Unity Catalog を操作するには、ユーザーはリージョン内のメタストアにアタッチされているワークスペースにいる必要があります。

メタストアを作成するには、次の操作を行います。

AWS アカウントで、必要に応じて、マネージドテーブルとボリュームのメタストアレベルのストレージ用のストレージの場所を作成します。

メタストアレベルのストレージが必要かどうかを判断するのに役立つ情報については、「 (省略可能) メタストアレベルのストレージを作成する」および「ストレージ内でデータが物理的に分離されている」を参照してください。
AWS アカウントで、そのストレージの場所へのアクセスを許可する IAMロールを作成します。
Databricks で、メタストアを作成し、ストレージの場所をアタッチして、ワークスペースをメタストアに割り当てます。

注

この記事で説明されている方法に加えて、 Databricks Terraform プロバイダー、特に databricks_metastore リソースを使用してメタストアを作成することもできます。 Unity Catalog がメタストアにアクセスできるようにするには、 databricks_metastore_data_accessを使用します。ワークスペースをメタストアにリンクするには、 databricks_metastore_assignment を使用します。

始める前に

開始する前に、メタストアやマネージドストレージなど、Unity Catalog の基本的な概念を理解しておく必要があります。「 Unity Catalog とは」を参照してください。

また、すべてのセットアップ手順について、次の要件を満たしていることを確認する必要があります。

Databricksアカウント管理者である必要があります。
Databricksアカウントは、プレミアムプラン以上である必要があります。
メタストアレベルのルートストレージを設定する場合は、AWS アカウントで S3 バケット、IAMロール、IAM ポリシー、およびクロスアカウント信頼関係を作成できる必要があります。

ステップ 1 (オプション): AWS でメタストアレベルのマネージドストレージ用の S3 バケットを作成する

この手順 (省略可能) では、マネージドテーブルとボリュームのデータをメタストアレベルで格納するために Unity Catalog で必要な S3 バケットを作成します。 S3 バケットは、自分の AWS アカウントに作成します。メタストアレベルのストレージが必要かどうかを判断するには、「 (省略可能) メタストアレベルのストレージを作成する」を参照してください。

AWSで、S3バケットを作成します。

この S3 バケットは、Unity Catalog のマネージドテーブルとマネージドボリュームのメタストアレベルのストレージの場所になります。このデフォルトの保存場所は、カタログ・レベルおよびスキーマ・レベルでオーバーライドできます。「マネージドストレージ」を参照してください

要件:
- メタストアが複数ある場合は、それぞれに専用の S3 バケットを使用する必要があります。
- データにアクセスするワークスペースと同じリージョンでバケットを見つけます。
- バケット名にドット表記を含めることはできません（例：incorrect.bucket.name.notation）。バケットの命名方法の詳細については、「AWSバケットの命名規則」を参照してください。
s3://で始まる S3 バケットパスを書き留めます。
S3バケットでKMS暗号化を有効にする場合は、KMS暗号化キーの名前を書き留めます。

ステップ 2 (オプション): ストレージの場所にアクセスするための IAMロールを作成する

この手順では、ステップ 1 を完了した場合にのみ必要になりますが、前の手順で作成した S3 バケットにアクセスするために Unity Catalog で必要な IAMロールを作成します。

ロールの作成は 2 段階のプロセスです。まず、ロールを作成し、 一時的な 信頼関係ポリシーを追加して、後の手順で変更します。ロールは自己仮定型である必要があるため、つまり、ロール自体を信頼するように構成する必要があるため、ロールの作成後に信頼ポリシーを変更する必要があります。したがって、自己仮定ステートメントを追加する前に、ロールが存在している必要があります。自己仮定の役割については、この Amazonブログ記事を参照してください。

DatabricksアカウントIDを見つけます。
1. Databricksアカウントコンソールにログインします。
2. ユーザー名をクリックします。
3. メニューから、アカウントIDの値をコピーします。
AWS で、 カスタム信頼ポリシーを使用して IAMロールを作成します。

[カスタム信頼ポリシー]フィールドに次のポリシーJSONを貼り付け、<DATABRICKS-ACCOUNT-ID>をステップ1で見つけたDatabricksアカウントID（AWSアカウントIDではない）に置き換えます。

このポリシーは、Unity CatalogがDatabricksユーザーに代わってバケット内のデータにアクセスするロールを引き受けることができるように、クロスアカウントの信頼関係を確立します。これは、PrincipalセクションのARNによって指定されます。Databricksによって作成されたロールを参照する静的な値です。変更しないでください。

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {
      "AWS": [
        "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL"
      ]
    },
    "Action": "sts:AssumeRole",
    "Condition": {
      "StringEquals": {
        "sts:ExternalId": "<DATABRICKS-ACCOUNT-ID>"
      }
    }
  }]
}

AWS GovCloudを使用している場合は、以下のポリシーを使用してください。

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": {
      "AWS": [
    "arn:aws-us-gov:iam::044793339203:role/unity-catalog-prod-UCMasterRole-1QRFA8SGY15OJ"
      ]
    },
    "Action": "sts:AssumeRole",
    "Condition": {
      "StringEquals": {
        "sts:ExternalId": "<DATABRICKS-ACCOUNT-ID>"
      }
    }
  }]
}

アクセス許可ポリシーの構成をスキップします。この構成は、後のステップで追加します。
IAMロールを保存します。

信頼関係ポリシーを変更して、「自己引き受け型」にします。

保存したIAMロールに戻り、[信頼関係]タブに移動します。
信頼関係ポリシーを編集し、次のARNを「Allow」ステートメントに追加します。

<YOUR-AWS-ACCOUNT-ID>と<THIS-ROLE-NAME>を実際のIAMロール値に置き換えます。
```
"arn:aws:iam::<YOUR-AWS-ACCOUNT-ID>:role/<THIS-ROLE-NAME>"
```

ポリシーは次のようになります（DatabricksアカウントIDとIAMロール値を使用するように、置き換えテキストが更新されています）。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::414351767826:role/unity-catalog-prod-UCMasterRole-14S5ZJVKOTYTL",
          "arn:aws:iam::<YOUR-AWS-ACCOUNT-ID>:role/<THIS-ROLE-NAME>"
         ]
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "<DATABRICKS-ACCOUNT-ID>"
        }
      }
    }
  ]
}

AWSで、S3バケットと同じAWSアカウントにIAMポリシーを作成します。

予期しない問題を回避するには、次のサンプルポリシーを使用して、次の値を置き換える必要があります。

<BUCKET>：前のステップで作成したS3バケットの名前。
<KMS-KEY>：オプション。暗号化が有効になっている場合は、S3バケットの内容を暗号化するKMSキーの名前を指定します。暗号化が無効になっている場合は、IAMポリシーのKMSセクション全体を削除します。
<AWS-ACCOUNT-ID>：現在のAWSアカウントのアカウントID（Databricksアカウントではありません）。
<AWS-IAM-ROLE-NAME>：前のステップで作成したAWS IAMロールの名前。

{
 "Version": "2012-10-17",
 "Statement": [
     {
         "Action": [
             "s3:GetObject",
             "s3:PutObject",
             "s3:DeleteObject",
             "s3:ListBucket",
             "s3:GetBucketLocation"
         ],
         "Resource": [
             "arn:aws:s3:::<BUCKET>/*",
             "arn:aws:s3:::<BUCKET>"
         ],
         "Effect": "Allow"
     },
     {
         "Action": [
             "kms:Decrypt",
             "kms:Encrypt",
             "kms:GenerateDataKey*"
         ],
         "Resource": [
             "arn:aws:kms:<KMS-KEY>"
         ],
         "Effect": "Allow"
     },
     {
         "Action": [
             "sts:AssumeRole"
         ],
         "Resource": [
             "arn:aws:iam::<AWS-ACCOUNT-ID>:role/<AWS-IAM-ROLE-NAME>"
         ],
         "Effect": "Allow"
     }
   ]
}

注

Unity Catalogに対してより制限の厳しいIAMポリシーが必要な場合は、Databricksの担当者にお問い合わせください。

IAMポリシーをIAMロールにアタッチします。

IAMロールの [Permissions ] タブで、作成した IAM ポリシーをアタッチします。

ステップ 3: メタストアを作成し、ワークスペースをアタッチする

各 Databricks リージョンには、独自の Unity Catalog メタストアが必要です。

メタストアは、組織が運営を行っているリージョンごとに作成します。これらの各リージョンのメタストアは、その地域の任意の数のワークスペースにリンクできます。リンクされた各ワークスペースには、メタストア内のデータの同じビューがあり、データアクセス制御はワークスペース間で管理できます。他のメタストアのデータにアクセスするには、Delta Sharingを使用します。

メタストアレベルのストレージを作成することを選択した場合、メタストアは前のステップで作成した S3 バケットと IAMロールを使用します。

メタストアを作成するには、次の手順を実行します。

次のステップ

マネージドストレージを既存のメタストアに追加する

メタストアレベルの管理ストレージはオプションであり、自動的に作成されたメタストアには含まれません。複数のワークスペースのデータを一元的に格納するデータ分離モデルを使用する場合は、メタストアレベルのストレージをメタストアに追加できます。 Delta Sharing を使用してノートブックを共有する場合、または個人用ステージング場所を使用する Databricks パートナーの場合は、メタストアレベルのストレージが必要です。

「管理ストレージ」も参照してください。

要件

少なくとも 1 つのワークスペースが Unity Catalog メタストアに接続されている必要があります。
必要な Databricks アクセス許可:
- 外部ロケーションを作成するには、メタストア管理者であるか、 CREATE EXTERNAL LOCATION 特権と CREATE STORAGE CREDENTIAL 特権を持つユーザーである必要があります。
- メタストア定義にストレージの場所を追加するには、アカウント管理者である必要があります。
必要なAWS権限:S3バケット、IAMロール、IAMポリシー、およびクロスアカウントの信頼関係を作成する機能。

ステップ 1: 保存場所を作成する

「ステップ 1 (オプション): AWS でメタストアレベルのマネージドストレージ用の S3 バケットを作成する」の手順に従って、メタストアと同じリージョンの AWS アカウントに専用の S3 バケットを作成します。

ステップ 2: Unity Catalog で外部ロケーションを作成する

この手順では、先ほど作成したバケットを表す外部ロケーションを Unity Catalog に作成します。

ステップ 3: メタストアに格納場所を追加する

メタストアストレージバケットを表す外部ロケーションを作成したら、それをメタストアに追加できます。

アカウント管理者として、アカウントコンソールにログインします。
「 カタログ」をクリックします 。
メタストア名をクリックします。
自分がメタストア管理者であることを確認します。

そうでない場合は、[ 編集 ] をクリックし、自分自身をメタストア管理者として割り当てます。この手順が完了したら、自分自身の割り当てを解除できます。
( 設定 ) タブで、[S3 bucket path] (S3 バケットパス) の横にある [ Set] をクリックします。
( メタストアルートの設定 ) ダイアログで、外部ロケーションの作成に使用した S3 バケットパスを入力し、[ Update] をクリックします。

このパスは、一度設定すると変更できません。

メタストアを削除する

Databricks アカウントを閉鎖する場合、または Unity Catalog メタストアによって管理されるデータへのアクセスを削除する別の理由がある場合は、メタストアを削除できます。

警告

メタストアによって管理されるすべてのオブジェクトは、Databricks ワークスペースを使用してアクセスできなくなります。この操作は元に戻せません。

マネージドテーブルのデータとメタデータは、30 日後に自動的に削除されます。クラウドストレージ内の外部テーブルデータは、メタストアの削除の影響を受けません。

メタストアを削除するには:

メタストア管理者として、アカウントコンソールにログインします。
「 カタログ」をクリックします 。
メタストア名をクリックします。
[ 構成 ] タブで、右上にある 3 つのボタンメニューをクリックし 、[削除] を選択します。
確認ダイアログで、メタストアの名前を入力し、[ 削除] をクリックします。