メインコンテンツまでスキップ

AWS ストレージの設定 (レガシー)

important

このドキュメントは廃止されており、更新されない可能性があります。 このコンテンツに記載されている製品、サービス、またはテクノロジはサポートされなくなりました。 現在の管理者向けドキュメントを表示するには、「 Databricks アカウントの管理」を参照してください。

注記

この記事は、従来のアカウントをお持ちの方にのみ適用されます。 すべての新しい Databricks アカウントとほとんどの既存のアカウントでは、 ワークスペースのデプロイに S3 バケットを作成するを使用する必要があります。

Databricks は、ライブラリなどのアカウント全体のアセットを Amazon Web サービス S3 バケットに格納します。 この記事では、Databricks のデプロイを完了するためにバケットを構成する手順について説明します。

important

アカウントコンソールを使用して AWS ストレージ設定を行うことができるのは、アカウントを最初に設定したときだけです。 後で設定を変更するには、 help@databricks.com にお問い合わせください。

ステップ 1: S3 バケットポリシーを生成する​

レガシーアカウントのAWSストレージを設定するには:

  1. Databricks アカウント コンソールで、[ AWS Storage ] タブをクリックします。

    AWSストレージタブ

  2. [S3 bucket in <region> フィールドに、S3 バケットの名前を入力します。S3 バケットの作成については、AWS ドキュメントの 「バケットの作成 」を参照してください。

important

  • S3 バケットは、Databricks デプロイと同じリージョンに存在する必要があります。

  • Databricks では、ベスト プラクティスとして、Databricks 固有の S3 バケットを使用することをお勧めします。

  • 従来のワークスペースからバケットを再利用しないでください。 たとえば、E2 に移行する場合は、E2 セットアップ用に新しい AWS バケットを作成します。

  1. 「 ポリシーの生成 」をクリックします。

  2. 生成されたポリシーをコピーします。 次の形式である必要があります ( 414351767826 は Databricks アカウント ID、 <s3-bucket-name> は最初の画面で指定した S3 バケットです。

    JSON
    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Sid": "Grant Databricks Access",
          "Effect": "Allow",
          "Principal": {
            "AWS": "arn:aws:iam::414351767826:root"
          },
          "Action": [
            "s3:GetObject",
            "s3:GetObjectVersion",
            "s3:PutObject",
            "s3:DeleteObject",
            "s3:ListBucket",
            "s3:GetBucketLocation"
          ],
          "Resource": ["arn:aws:s3:::<s3-bucket-name>/*", "arn:aws:s3:::<s3-bucket-name>"]
        }
      ]
    }

ステップ 2: S3 バケットを設定する​

S3 バケットを構成するには、Databricks アカウント コンソールで生成されたバケット ポリシーを適用し、必要に応じて S3 オブジェクト レベルのログ記録を設定します (強く推奨)。

  1. AWSコンソールで、S3サービスに移動します。
  2. バケット名をクリックします。

バケットポリシーを適用する​

  1. 「 権限 」タブをクリックします。

  2. 「 バケットポリシー 」ボタンをクリックします。

    バケットポ�リシーボタン

  3. ステップ 1 でコピーしたポリシーを貼り付け、[ 保存 ] をクリックします。

S3 オブジェクトレベルのログ記録を有効にする (推奨)​

Databricksでは、ルートストレージバケットについて、S3オブジェクトレベルのロギングを有効にすることを強くお勧めしています。これにより、発生する可能性のある問題を迅速に調査できます。 S3オブジェクトレベルのロギングにより、AWSの使用コストが増加する可能性があることに注意してください。

手順については、S3バケットとオブジェクトのCloudTrailイベントロギングに関するAWSのドキュメントを参照してください。

手順 3: Databricks アカウントに変更を適用する​

  1. Databricks アカウント コンソールで、[ AWS Storage ] タブに移動します。
  2. [ Apply Change ] をクリックします。

検証エラーの解決​

バケットポリシーのアクセス許可は、反映されるまでに数分かかる場合があります。 アクセス許可が原因で検証が失敗した場合は、再試行する必要があります。

に最終更新