DBFSルート内のデータの外部ロケーションの作成

この記事では、Unity Catalog DBFSルートストレージの場所へのアクセスを制御するために、で外部ロケーションを構成する方法について説明します。Databricks では DBFSルートストレージにデータを格納しないことをお勧めしますが、従来のプラクティスにより、ワークスペースが格納する場合もあります。

外部ロケーションは、ストレージ資格情報をクラウドオブジェクトストレージコンテナーに関連付ける Unity Catalog セキュリティ保護可能なオブジェクトです。外部ロケーションは、マネージドテーブルとボリュームの管理ストレージロケーションを定義し、外部テーブルと外部ボリュームを含むストレージロケーションへのアクセスを管理するために使用されます。

ワークスペースローカルのレガシがDatabricksHive metastore DBFSルートにデータを格納し、レガシHive metastore をフェデレーションして、チームがを使用してテーブルを操作できるようにする場合は、外部ロケーションを作成する必要があります。Hive metastoreUnity CatalogHive metastore フェデレーション: Unity Catalogを有効にしてHive metastoreに登録されたテーブルを管理する」および「レガシーワークスペースHive metastoreのHive metastoreフェデレーションを有効にする」を参照してください。

始める前に

DBFSルートの外部ロケーションを作成するには、Unity Catalog S3DBFSルートを含むバケットへのアクセスを許可するストレージ認証情報にアクセスできる必要があります。ARNIAMそうでない場合は、外部ロケーションの作成時に、そのバケットへのアクセス権を付与するロールのを指定できます。このプロセスについては、次の手順で説明します。 IAMからクラウドストレージの場所へのアクセスを許可するDatabricks ロールの作成に関する情報については、「ステップ 1: ロールを作成するIAM 」を参照してください。

ルートを含む S3 バケットにはオブジェクト所有権が必要である DBFSバケット 所有者が強制されている必要があります。オブジェクトの所有権が Object Writer に設定されている場合、Unity Catalog ストレージ資格情報は S3 バケット内のデータを読み取ることができません。

注：

S3DBFSルートを含むバケットを暗号化するために顧客管理のキーを使用する場合、同じキーを使用して新しい外部ロケーションの暗号化を有効にすることができます。以下の手順と KMS を使用した S3 の暗号化の設定を参照してください。

権限の要件:

メタストアに対する CREATE STORAGE CREDENTIAL 権限と CREATE EXTERNAL LOCATION 権限が必要です。メタストア管理者は、デフォルトによってこれらの特権を持っています。

注：

DBFSルートのストレージ場所のストレージ資格情報が既に存在する場合、外部ロケーションを作成するユーザーはCREATE STORAGE CREDENTIAL必要はありませんが、ストレージ資格情報とメタストアの両方でCREATE EXTERNAL LOCATIONする必要があります。
外部ロケーションの作成時にシステムにストレージ資格情報を作成させるには、ワークスペース管理者である必要があります。

DBFSルートのストレージの場所へのアクセスを許可するストレージ資格情報が既に存在し、ストレージ資格情報とメタストアの両方にCREATE EXTERNAL LOCATIONがある場合は、ワークスペース管理者である必要はありません。

外部ロケーションの作成

Catalog Explorer を使用して、 DBFSルートの外部ロケーションを作成できます。

サイドバーで、「 カタログ 」をクリックします。
「 外部データ 」をクリックし>「 外部ロケーションの作成」をクリックします。
「手動」をクリックし、「次へ」をクリックします。

AWS Quickstart オプションを使用して、DBFSルートの外部ロケーションを作成することはできません。
外部ロケーション名を入力します。
「URL」で、「DBFSマウントからコピー」をクリックし、「DBFSルートからコピー」を選択します。

URL フィールドと subpath フィールドには、 DBFSルートへのクラウドストレージパスが入力されます。

重要

DBFSルートの外部ロケーションを作成する場合は、バケット全体へのパスではなく、DBFSルートロケーションへのサブパスを使用する必要があります。URL とサブパスには、 Hive metastore テーブルのデフォルトストレージの場所である user/hive/warehouse が事前に入力されています。 DBFSルート内のデータに対するより詳細なアクセス制御が必要な場合は、ルート内のサブパスに対して個別の外部ロケーションを作成できますDBFS。
DBFSRouteクラウドストレージの場所へのアクセスを許可するストレージ認証情報を選択するか、何も定義されていない場合は、[+新しいストレージ認証情報を作成]をクリックします。

ストレージ認証情報を作成するには、 [ Credential Type] AWSIAMで [ ロール]ARN IAMを選択し、バケットのワークスペースレベルのDBFS ルートプレフィックスへのアクセスを許可するロールのS3 を入力します。IAMからクラウドストレージの場所へのアクセスを許可するDatabricks ロールの作成に関する情報については、「ステップ 1: ロールを作成するIAM 」を参照してください。

警告

AWS IAMロールポリシーは、DBFSルートサブパス (s3://<bucket>/<shard-name>/<workspace-id>/ など) へのアクセスを特に制限する必要があります。サブパスを使用して DBFSルートの場所へのアクセスを制限しないと、ワークスペースの内部ストレージの場所が公開され、ワークスペースレベルのアクセス制御が損なわれたり、バケットが共有されている場合は別のワークスペースのデータが失われたりする可能性があります。
（オプション）コメントを追加します。
(オプション) [詳細オプション ] をクリックし、 フォールバックモードを有効にします。

フォールバックモードは、レガシーワークロードの移行シナリオを対象としています。「外部ロケーションでフォールバックモードを有効にする」を参照してください。
(オプション)S3 バケットで SSE 暗号化が必要な場合は、Unity Catalog の外部テーブルとボリュームが S3 バケット内のデータにアクセスできるように、暗号化アルゴリズムを構成できます。

DBFSルートを含むワークスペースストレージバケットがDatabricks暗号化キー設定を使用して暗号化されている場合は、同じキーを使用して新しい外部ロケーションの暗号化を有効にできます。手順については、「外部ロケーションでの暗号化アルゴリズムの構成」を参照してください。
作成をクリックします。
[ 権限 ]タブに移動して、外部ロケーションの使用権限を付与します。
1. 付与をクリックします。
2. [プリンシパル] フィールドで users、group、または serviceプリンシパルを選択し、付与する権限を選択します。
3. 付与をクリックします。
(オプション)この外部ロケーションにアクセスできるワークスペースを設定します。

デフォルトを使用すると、この Unity Catalog メタストアを使用するワークスペースのユーザーに、この場所のデータへのアクセス権を付与できます。そのアクセスを特定のワークスペースに制限できます。 Databricks では、 DBFSルートがあるワークスペースへのアクセスを制限することをお勧めします。

「外部ロケーションを 1 つ以上のワークスペースにバインドする」を参照してください。