外部ロケーションの管理

このページでは、外部ロケーションの一覧表示、表示、更新、権限の付与、ファイルイベントの有効化、および削除の方法について説明します。

注記

Databricks では、ボリュームを使用してファイルアクセスを管理することをお勧めします。 Unity Catalogボリュームとはを参照してください。

外部ロケーションを説明する

権限やワークスペースへのアクセスなど、外部ロケーションのプロパティを表示するには、カタログエクスプローラまたは SQL コマンドを使用できます。

Catalog Explorer
SQL

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションの名前をクリックすると、そのプロパティが表示されます。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。 <location-name> を外部ロケーションの名前に置き換えます。

SQL
DESCRIBE EXTERNAL LOCATION <location-name>;

外部ロケーションに対する権限を表示する

外部ロケーションの付与を表示するには、Catalog Explorer または SQL コマンドを使用できます。

Catalog Explorer
SQL

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションの名前をクリックします。
[ アクセス許可 ]をクリックします。

外部ロケーションに対する権限を表示するには、次のようなコマンドを使用します。オプションで、結果をフィルタリングして、指定したプリンシパルの権限のみを表示できます。

SQL
SHOW GRANTS [<principal>] ON EXTERNAL LOCATION <location-name>;

プレースホルダーの値を置き換えます。

<location-name>: クラウドテナント内のバケットの読み取りとバケットへの書き込みを許可する外部ロケーションの名前。
<principal>: アカウントレベルのユーザーのEメールアドレスまたはアカウントレベルのグループの名前。グループまたはユーザー名にスペースまたは @ 記号が含まれている場合は、アポストロフィではなくバッククォート( )を使用します。

外部ロケーションに対するアクセス許可の付与

このセクションでは、ノートブックまたはSQLクエリでカタログエクスプローラと SQL コマンドを使用して、外部ロケーションに対するアクセス許可を付与および取り消す方法について説明します。代わりに Databricks CLI または Terraform を使用する方法については、 Databricks Terraform のドキュメントと Databricks CLIとは？をご覧ください。

必要なアクセス許可 : メタストアと外部ロケーションで参照されるストレージ資格情報の両方に対する CREATE EXTERNAL LOCATION 特権、または外部ロケーションに対する MANAGE 特権。メタストア管理者は、デフォルトでメタストアに CREATE EXTERNAL LOCATION を持っています。

外部ロケーションの使用を許可するには:

Catalog Explorer
SQL

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションの名前をクリックして、そのプロパティを開きます。
[ アクセス許可 ]をクリックします。
ユーザーまたはグループにアクセス許可を付与するには、各 ID を選択し、[ 付与 ]をクリックします。
ユーザーまたはグループから権限を取り消すには、各 ID を選択してから 取り消し をクリックします。

ノートブックまたは SQL クエリエディターで次の SQL コマンドを実行します。この例では、外部ロケーションを参照する外部テーブルを作成する権限を付与します。

SQL
GRANT CREATE EXTERNAL TABLE ON EXTERNAL LOCATION <location-name> TO <principal>;

プレースホルダーの値を置き換えます。

<location-name>: クラウドテナント内のバケットの読み取りとバケットへの書き込みを許可する外部ロケーションの名前。
<principal>：アカウントレベルのユーザーのメールアドレスまたはアカウントレベルのグループの名前。

特定のワークスペースへの外部ロケーションの割り当て

デフォルトでは、外部ロケーションメタストア内のすべてのワークスペースからアクセスできます。つまり、ユーザーにその外部ロケーションに対する権限 ( READ FILESなど) が付与されている場合、メタストアに接続されている任意のワークスペースからその権限を行使できます。ワークスペースを使用してユーザーデータアクセスを分離する場合は、特定のワークスペースからのみ外部ロケーションへのアクセスを許可することができます。この機能は、ワークスペースバインディングまたは外部ロケーション分離と呼ばれます。

外部ロケーションを特定のワークスペースにバインドする一般的なユースケースは次のとおりです。

本番運用データを含む外部ロケーションに対する CREATE EXTERNAL TABLE 権限を持つデータエンジニアが、本番運用ワークスペースでのみそのロケーションに外部テーブルを作成できるようにします。
機密データを含む外部ロケーションに対する READ FILES 権限を持つデータエンジニアが、特定のワークスペースのみを使用してそのデータにアクセスできるようにする。

詳細については、情報他のタイプのデータアクセスを制限する方法ワークスペースについては、「特定のワークスペースへのカタログアクセスの制限」を参照してください。

important

ワークスペースバインディングは、外部ロケーションに対する権限が行使された時点で参照されます。たとえば、ユーザーが myWorkspace ワークスペースからステートメント CREATE TABLE myCat.mySch.myTable LOCATION 's3://bucket/path/to/table' を発行して外部テーブルを作成すると、通常のユーザー権限チェックに加えて、次のワークスペースバインディングチェックが実行されます。

外部ロケーションを覆う's3://bucket/path/to/table'``myWorkspaceに縛られていますか?
カタログmyCatは、アクセスレベルRead & WriteのmyWorkspaceにバインドされていますか?

その後、外部ロケーションが myWorkspaceからバインド解除された場合、外部テーブルは引き続き機能します。

この機能を使用すると、中央からカタログにデータを入力し、カタログバインディングを使用して他のワークスペースで使用できるようにすることもできます外部ロケーション他のワークスペースで使用可能にする必要はありません。

外部ロケーションを 1 つ以上のワークスペースにバインドする

外部ロケーションを特定のワークスペースに割り当てるには、カタログエクスプローラまたは Databricks CLIを使用します。

必要な権限 : メタストア管理者、外部ロケーション所有者、または外部ロケーションの MANAGE 。

注記

メタストアの管理者は、カタログエクスプローラを使用してメタストア内のすべての外部ロケーションを表示でき、外部ロケーションの所有者は、外部ロケーションが現在のワークスペースに割り当てられているかどうかに関係なく、メタストア内で所有するすべての外部ロケーションを表示できます。ワークスペースに割り当てられていない外部ロケーションはグレー表示されます。

Catalog Explorer
CLI

メタストアにリンクされているワークスペースにログインします。
サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションを選択し、 ワークスペース タブに移動します。
[ ワークスペース ] タブで、[ すべてのワークスペースがアクセス可能] チェックボックスをオフにします。

外部ロケーションがすでに 1 つ以上のワークスペースにバインドされている場合、このチェックボックスはすでにオフになっています。
[ ワークスペースに割り当てる ] をクリックし、割り当てるワークスペースを入力または検索します。

アクセス権を取り消すには、[ ワークスペース ] タブに移動し、ワークスペースを選択して、[ 取り消し ] をクリックします。すべてのワークスペースからのアクセスを許可するには、[ すべてのワークスペースがアクセス可能 ] チェックボックスをオンにします。

外部ロケーションをワークスペースに割り当てるには、2 つのDatabricks CLIコマンドグループと 2 つのステップが必要です。

次の例では、 <profile-name> を Databricks 認証構成プロファイルの名前に置き換えます。これには、personal アクセストークンを生成したワークスペースのワークスペースインスタンス名とワークスペース ID に加えて、personal アクセストークンの値を含める必要があります。個人用アクセストークン認証 (非推奨)を参照してください。

external-locations コマンドグループの update コマンドを使用して、外部ロケーションのisolation modeを ISOLATEDに設定します。
Bash
```
databricks external-locations update <my-location> \
--isolation-mode ISOLATED \
--profile <profile-name>
```
デフォルトのisolation-modeは、メタストアにアタッチされているすべてのワークスペースに対してOPENです。
workspace-bindingsコマンドグループのupdate-bindingsコマンドを使用して、ワークスペースを外部ロケーションに割り当てます。
Bash
```
databricks workspace-bindings update-bindings external-location <my-location> \
--json '{
  "add": [{"workspace_id": <workspace-id>}...],
  "remove": [{"workspace_id": <workspace-id>}...]
}' --profile <profile-name>
```
ワークスペースのバインドを追加または削除するには、"add"プロパティと"remove"プロパティを使用します。

注記

読み取り専用バインディング (BINDING_TYPE_READ_ONLY) は、外部ロケーションでは使用できません。したがって、外部ロケーションのバインディングに binding_type を設定する理由はありません。

外部ロケーションのすべてのワークスペース割り当てを一覧表示するには、 workspace-bindings コマンドグループの get-bindings コマンドを使用します。

Bash
databricks workspace-bindings get-bindings external-location <my-location> \
--profile <profile-name>

REST APIリファレンスのワークスペースバインディングも参照してください。

ワークスペースから外部ロケーションのバインドを解除する

カタログエクスプローラまたは workspace-bindings CLI コマンドグループを使用して、ワークスペースから外部ロケーションへのアクセスを取り消す手順については、「外部ロケーションを 1 つ以上のワークスペースにバインドする」を参照してください。

外部ロケーションの所有者を変更する

外部ロケーションの作成者は、その最初の所有者です。所有者を別のアカウントレベルのユーザーまたはグループに変更するには、Catalog Explorer または SQL コマンドを使用できます。

必要な権限 : 外部ロケーションの所有者または MANAGE 権限を持つユーザー。

Catalog Explorer
SQL

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションの名前をクリックします。
[所有者] の横にある [] をクリックします。
入力してプリンシパルを検索し、それを選択します。
保存をクリックします。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。プレースホルダーの値を置き換えます。

<location-name>：資格情報の名前。
<principal>：アカウントレベルのユーザーのメールアドレスまたはアカウントレベルのグループの名前。グループまたはユーザー名にスペースまたは @ 記号が含まれている場合は、アポストロフィではなくバッククォートで囲みます。たとえば、`finance team`。

SQL
ALTER EXTERNAL LOCATION <location-name> OWNER TO <principal>

外部ロケーションを読み取り専用としてマークする

ユーザーに外部ロケーションへの読み取り専用アクセスを許可する場合は、カタログエクスプローラーを使用して外部ロケーションを読み取り専用としてマークできます。

外部ロケーションを読み取り専用にする:

ストレージ認証情報の基になる IAMロールによって付与された書き込み権限や、その外部ロケーションに付与された Unity Catalog 権限に関係なく、ユーザーがこれらの外部ロケーションのファイルに書き込むことを防止します。
ユーザーがそれらの外部ロケーションにマネージドテーブルまたはボリュームを作成できないようにします。
読み取り専用の外部ロケーションを使用してカタログの作成をブロックします。
作成時にシステムが外部ロケーションを適切に検証できるようにします。

外部ロケーションは、作成時に読み取り専用にすることができます。

カタログエクスプローラーを使用して、外部ロケーションの作成後に読み取り専用ステータスを変更することもできます。

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションを選択し、 接続のテスト ボタンの横にあるメニューをクリックして、編集を選択します。
編集ダイアログで、 詳細オプション をクリックし、 読み取り専用使用に制限 オプションを選択します。
更新をクリックします。

外部ロケーションでの暗号化アルゴリズムの設定 (AWS S3 のみ)

AWS は、S3 のデータを保護するために、Amazon S3 マネージドキー (SSE-S3) または AWS KMS キー (SSE-KMS) を使用したサーバー側の暗号化 (SSE) をサポートしています。 S3バケットで SSE 暗号化が必要な場合は、外部ロケーションで暗号化アルゴリズムを設定して、外部テーブルとUnity Catalog内のボリュームが S3 バケット内のデータにアクセスできるようにすることができます。SSE は、Delta Sharing を使用して共有される外部テーブルではサポートされていません。詳細については、「 S3 with KMSの暗号化の設定」を参照してください。

サイドバーで、「 カタログ 」をクリックします。
カタログ ウィンドウの上部にある歯車アイコンをクリックし、 外部ロケーション を選択します。
外部ロケーションを選択します。外部ロケーションは、ストレージ資格情報に IAMロールを使用する必要があります。
接続のテスト ボタンの横にあるケバブメニューをクリックし、編集を選択します。
編集ダイアログで、[ 詳細オプション ] をクリックします。
暗号化アルゴリズム で、暗号化キーに応じて SSE-SE または SSE-KMS を選択します。

SSE-KMS の場合は、[ Encryption KMS key arn ] の下に、S3 ロケーションにアクセスするときにクライアントが参照する KMS キーの ARN を貼り付けます。
更新をクリックします。

(推奨)外部ロケーションのファイルイベントを有効にする

クラウド・プロバイダーによってプッシュされる変更通知を取り込む場合、外部ロケーションのファイル・イベントを有効にすると、以下の利点があります。

Auto Loaderのファイル通知の設定が簡単になります。具体的には、 cloudFiles.useManagedFileEvents を trueに設定することで、Auto Loader で通知のようなパフォーマンスでインクリメンタルファイル検出が可能になります。ファイル通知モードでのAuto Loaderストリームの構成を参照してください。
ジョブのファイル到着トリガーの効率と容量を改善します。新しいファイルの到着時にジョブをトリガーするを参照してください。

始める前に

Databricks がユーザーに代わって SQS キューを構成する場合は、外部ロケーションが、そのための適切なアクセス許可を付与するストレージ資格情報を参照する必要があります。手順については、次の手順を参照してください。

独自の SQS キューを作成する場合は、ストレージ認証情報で表される ID に、それらの SQS キューに対する次のアクセス許可が必要です。

sqs:ReceiveMessage
sqs:DeleteMessage
sqs:PurgeQueue

手順 1: Databricks が S3 のファイルイベントにアクセスできることを確認する

外部ロケーションセキュリティ保護可能なオブジェクトのファイルイベントを有効にする前に、 S3 アカウントが、発行するファイルイベントへのアクセス権を Databricks に付与するように構成されていることを確認する必要があります。 Databricks で S3 のファイルイベントを設定する場合は、Databricks に適切なアクセス権があることも確認する必要があります。

このアクセス権の割り当ては、ストレージの資格情報を構成するときに推奨される手順です。

Databricks がバケットのイベント通知を設定およびサブスクライブできることを確認するには、次のようにします。

IAMロールを取得します。
1. サイドバーで、「 カタログ 」をクリックします。
2. クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
3. 外部ロケーションを選択します。
4. [ 概要 ] タブで、 資格情報 の名前をクリックします。
5. ストレージ認証情報の [ 概要 ] タブで、 IAMロール (ARN) をコピーします。
  
  これは次の手順で使用します。
AWSアカウントにログインします。
IAM に移動し、ステップ 1 でコピーしたロールを検索します。
権限ポリシー で、IAMロールに関連付けられている IAM ポリシーまたはポリシーを見つけて開きます。

ポリシーまたはポリシーを開き、次のプロパティを含むものがあることを確認します。

このポリシーにより、Databricks アカウントは、バケットのイベント通知設定の更新、SNS トピックの作成、SQS キューの作成、および SQS キューの SNS トピックへのサブスクライブを行うことができます。

<BUCKET> を S3 バケットの名前に置き換えます。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ManagedFileEventsSetupStatement",
      "Effect": "Allow",
      "Action": [
        "s3:GetBucketNotification",
        "s3:PutBucketNotification",
        "sns:ListSubscriptionsByTopic",
        "sns:GetTopicAttributes",
        "sns:SetTopicAttributes",
        "sns:CreateTopic",
        "sns:TagResource",
        "sns:Publish",
        "sns:Subscribe",
        "sqs:CreateQueue",
        "sqs:DeleteMessage",
        "sqs:ReceiveMessage",
        "sqs:SendMessage",
        "sqs:GetQueueUrl",
        "sqs:GetQueueAttributes",
        "sqs:SetQueueAttributes",
        "sqs:TagQueue",
        "sqs:ChangeMessageVisibility",
        "sqs:PurgeQueue"
      ],
      "Resource": ["arn:aws:s3:::<BUCKET>", "arn:aws:sqs:*:*:csms-*", "arn:aws:sns:*:*:csms-*"]
    },
    {
      "Sid": "ManagedFileEventsListStatement",
      "Effect": "Allow",
      "Action": ["sqs:ListQueues", "sqs:ListQueueTags", "sns:ListTopics"],
      "Resource": ["arn:aws:sqs:*:*:csms-*", "arn:aws:sns:*:*:csms-*"]
    },
    {
      "Sid": "ManagedFileEventsTeardownStatement",
      "Effect": "Allow",
      "Action": ["sns:Unsubscribe", "sns:DeleteTopic", "sqs:DeleteQueue"],
      "Resource": ["arn:aws:sqs:*:*:csms-*", "arn:aws:sns:*:*:csms-*"]
    }
  ]
}

「 AWS S3 バケットにアクセスするストレージ認証情報の作成」も参照してください。

このポリシーが見つからない場合は、 IAMロールに追加します。

ステップ 2: カタログエクスプローラを使用して外部ロケーションのファイルイベントを有効にする

ファイルイベントを有効にするには:

サイドバーで、「 カタログ 」をクリックします。
クイックアクセス ページで、 外部データ > ボタンをクリックして外部 ロケーション タブに移動します。
外部ロケーションを選択します。
接続のテスト ボタンの横にあるケバブメニューをクリックし、編集を選択します。
編集ダイアログで、[ 詳細オプション ] をクリックします。
ファイルイベントを有効にする を選択します。
ファイルイベント・タイプ を選択します。

自動 : (推奨) Databricks でサブスクリプションとイベントを設定する場合は、これを選択します。

提供 : SQS キューを自分で設定済みの場合は、これを選択します。
提供ファイルイベントタイプを選択した場合は、既存の SQS キューの キュー URL に [ https://sqs.<region>.amazonaws.com/<account-ID>/<queue-name>] を入力します。
更新をクリックします。
数秒待ってから、メインの外部ロケーション編集ページで 接続のテスト をクリックして、ファイルイベントが正常に有効化されたことを確認します。

ファイルイベントの制限

外部ロケーションのファイルイベントには、次の制限があります。

イベントスループットは、1 秒あたりに取り込まれる 2000 ファイルに制限されています。
resourceTagsオプションを使用してクラウドリソースにタグを付けることはできません。代わりに、Auto Loader サービスによってキューとサブスクリプションリソースが作成された後に、クラウドコンソールを使用してリソースにタグを付けます。
Unity Catalogメタストアのルートストレージの場所に対して外部ロケーションが定義されていない場合、そのストレージの場所に対してファイルイベントを設定することはできません。

Unity Catalogで外部ロケーションオブジェクトが定義されていないストレージロケーションにファイルイベントを設定することはできません。Unity Catalog の実装には、外部ロケーションに関連付けられていないメタストアルートストレージの場所が含まれる場合があります。これがメタストアのルート保存場所に当てはまるかどうかを判断するには、次のようにします。
1. アカウント管理者として、アカウントコンソールにログインします。
2. [カタログ] をクリックします。
3. メタストア名をクリックします。
4. 構成タブに移動します。
5. S3 バケットパス の値がある場合、メタストアルートには外部ロケーションオブジェクトが定義されていません。
  
  メタストアのルートストレージを更新して外部ロケーションを使用するには、[ 削除 ] ボタンをクリックします。外部ロケーションが作成されます。詳細については、「メタストアレベルのストレージを削除する」を参照してください。

外部ロケーションの変更

外部ロケーションの所有者または MANAGE 権限を持つユーザーは、外部ロケーションの名前変更、URI の変更、およびストレージ資格情報の変更を行うことができます。

外部ロケーションの名前を変更するには、次の操作を行います。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。プレースホルダーの値を置き換えます。

<location-name>：ロケーションの名前。
<new-location-name>：ロケーションの新しい名前。

SQL
ALTER EXTERNAL LOCATION <location-name> RENAME TO <new-location-name>;

クラウドテナント内の外部ロケーションが指すURIを変更するには、次の手順を実行します。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。プレースホルダーの値を置き換えます。

<location-name>：外部ロケーションの名前。
<url>：場所がクラウドテナント内のアクセスを承認する必要がある新しいストレージURL。

SQL
ALTER EXTERNAL LOCATION location_name SET URL '<url>' [FORCE];

FORCEオプションは、外部テーブルが外部ロケーショに依存している場合でも、URLを変更します。

外部ロケーションが使用するストレージ資格情報を変更するには、次の手順を実行します。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。プレースホルダーの値を置き換えます。

<location-name>：外部ロケーションの名前。
<credential-name>: クラウドテナント内の場所の URL へのアクセスを許可するストレージ資格情報の名前。

SQL
ALTER EXTERNAL LOCATION <location-name> SET STORAGE CREDENTIAL <credential-name>;

外部ロケーションの削除

外部ロケーションを削除 (ドロップ) するには、その所有者であるか、外部ロケーションに対する MANAGE 権限を持っている必要があります。外部ロケーションを削除するには、次の操作を行います。

ノートブックまたは Databricks SQL エディターで次のコマンドを実行します。括弧内の項目はオプションです。<location-name> を外部ロケーションの名前に置き換えます。

SQL
DROP EXTERNAL LOCATION [IF EXISTS] <location-name>;

外部ロケーションを説明する​

外部ロケーションに対する権限を表示する​

外部ロケーションに対するアクセス許可の付与​

特定のワークスペースへの外部ロケーションの割り当て​

外部ロケーションを 1 つ以上のワークスペースにバインドする​

ワークスペースから外部ロケーションのバインドを解除する​

外部ロケーションの所有者を変更する​

外部ロケーションを読み取り専用としてマークする​

外部ロケーションでの暗号化アルゴリズムの設定 (AWS S3 のみ)​

(推奨)外部ロケーションのファイルイベントを有効にする​

始める前に​

手順 1: Databricks が S3 のファイル イベントにアクセスできることを確認する​

ステップ 2: カタログエクスプローラ を使用して外部ロケーションのファイル イベントを有効にする​

ファイルイベントの制限​

外部ロケーションの変更​

外部ロケーションの削除​

外部ロケーションを説明する

外部ロケーションに対する権限を表示する

外部ロケーションに対するアクセス許可の付与

特定のワークスペースへの外部ロケーションの割り当て

外部ロケーションを 1 つ以上のワークスペースにバインドする

ワークスペースから外部ロケーションのバインドを解除する

外部ロケーションの所有者を変更する

外部ロケーションを読み取り専用としてマークする

外部ロケーションでの暗号化アルゴリズムの設定 (AWS S3 のみ)

(推奨)外部ロケーションのファイルイベントを有効にする

始める前に

手順 1: Databricks が S3 のファイルイベントにアクセスできることを確認する

ステップ 2: カタログエクスプローラを使用して外部ロケーションのファイルイベントを有効にする

ファイルイベントの制限

外部ロケーションの変更

外部ロケーションの削除