AWS ストレージの設定 (レガシー)

重要

このドキュメントは廃止されており、更新されない可能性があります。このコンテンツに記載されている製品、サービス、またはテクノロジはサポートされなくなりました。現在の管理者向けドキュメントを表示するには、「 Databricks アカウントの管理」を参照してください。

注記

この記事は、従来のアカウント所有者にのみ適用されます。すべての新しい Databricks アカウントとほとんどの既存アカウントでは、ストレージ構成の作成を使用する必要があります。

Databricks は、ライブラリなどのアカウント全体のアセットを Amazon Web サービス S3 バケットに格納します。この記事では、Databricks のデプロイを完了するためにバケットを構成する手順について説明します。

重要

アカウントコンソールを使用して AWS ストレージ設定を行うことができるのは、アカウントを最初に設定したときだけです。後で設定を変更するには、 help@databricks.com にお問い合わせください。

ステップ 1: S3 バケットポリシーを生成する

レガシーアカウントのAWSストレージを設定するには:

Databricks アカウントコンソールで、[ AWS Storage ] タブをクリックします。
[S3 bucket in <region> フィールドに、S3 バケットの名前を入力します。S3 バケットの作成については、AWS ドキュメントの「バケットの作成」を参照してください。

重要

S3 バケットは、Databricks デプロイと同じリージョンに存在する必要があります。
Databricks では、ベストプラクティスとして、Databricks 固有の S3 バケットを使用することをお勧めします。
従来のワークスペースからバケットを再利用しないでください。たとえば、E2 に移行する場合は、E2 セットアップ用に新しい AWS バケットを作成します。

「 ポリシーの生成 」をクリックします。

生成されたポリシーをコピーします。次の形式である必要があります ( 414351767826 は Databricks アカウント ID、 <s3-bucket-name> は最初の画面で指定した S3 バケットです。

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "Grant Databricks Access",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::414351767826:root"
      },
      "Action": [
        "s3:GetObject",
        "s3:GetObjectVersion",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:ListBucket",
        "s3:GetBucketLocation"
      ],
      "Resource": ["arn:aws:s3:::<s3-bucket-name>/*", "arn:aws:s3:::<s3-bucket-name>"]
    }
  ]
}

ステップ 2: S3 バケットを設定する

S3 バケットを構成するには、Databricks アカウントコンソールで生成されたバケットポリシーを適用し、必要に応じて S3 オブジェクトレベルのログ記録を設定します (強く推奨)。

AWSコンソールで、S3サービスに移動します。
バケット名をクリックします。

バケットポリシーを適用する

「 アクセス許可 」タブをクリックします。
「 バケットポリシー 」ボタンをクリックします。
ステップ 1 でコピーしたポリシーを貼り付け、[ 保存 ] をクリックします。

S3 オブジェクトレベルのログ記録を有効にする (推奨)

Databricksでは、ルートストレージバケットについて、S3オブジェクトレベルのロギングを有効にすることを強くお勧めしています。これにより、発生する可能性のある問題を迅速に調査できます。 S3オブジェクトレベルのロギングにより、AWSの使用コストが増加する可能性があることに注意してください。

手順については、S3バケットとオブジェクトのCloudTrailイベントロギングに関するAWSのドキュメントを参照してください。

手順 3: Databricks アカウントに変更を適用する

Databricks アカウントコンソールで、[ AWS Storage ] タブに移動します。
[ Apply Change ] をクリックします。

検証エラーの解決

バケットポリシーのアクセス許可は、反映されるまでに数分かかる場合があります。アクセス許可が原因で検証が失敗した場合は、再試行する必要があります。

ステップ 1: S3 バケットポリシーを生成する​

ステップ 2: S3 バケットを設定する​

バケットポリシーを適用する​

S3 オブジェクトレベルのログ記録を有効にする (推奨)​

手順 3: Databricks アカウントに変更を適用する​

検証エラーの解決​