インジェスト 用のデータ アクセスを構成する

この記事では、Databricks ユーザーが S3 から Databricks のテーブルにデータをロードできるように、管理者ユーザーが Amazon S3 (S3) のバケット内のデータへのアクセスを設定する方法について説明します。

この記事では、ソース データへのセキュリティで保護されたアクセスを構成する次の方法について説明します。

  • (推奨) Unity Catalog ボリュームを作成します。

  • ストレージ資格情報を使用して Unity Catalog 外部ロケーションを作成します。

  • AWS インスタンスプロファイルを使用するコンピュートリソースを起動します。

  • 一時的な認証情報 (AWS アクセスキー ID、シークレットキー、セッショントークン) を生成します。

始める前に

S3 でデータへのアクセスを設定する前に、次のものがあることを確認してください。

  • AWS アカウントの S3 バケット内のデータ。 バケットを作成するには、AWS ドキュメントの「 バケットの作成 」を参照してください。

  • AWS インスタンスプロファイルでコンピュートリソースを使用してデータにアクセスするには、Databricks ワークスペースの管理者権限。

クラウドストレージへのアクセスを構成する

次のいずれかの方法を使用して、S3 へのアクセスを設定します。

クリーンアップ

クラウド アカウントと Databricks 内の関連リソースを保持する必要がなくなった場合は、それらをクリーンアップできます。

AWS CLI 名前付きプロファイル を削除する

Unix、Linux、および macOS の場合は ~/.aws/credentials ファイル、または Windows の場合は %USERPROFILE%\.aws\credentials ファイルで、ファイルの次の部分を削除し、ファイルを保存します。

[<named-profile>]
aws_access_key_id = <access-key-id>
aws_secret_access_key = <secret-access-key>

IAM ユーザーを削除する

  1. AWS アカウントで IAM コンソールを開きます (通常は https://console.aws.amazon.com/iam)。

  2. サイドバーで、[ ユーザー] をクリックします。

  3. ユーザーの横にあるボックスを選択し、[ 削除] をクリックします。

  4. ユーザーの名前を入力し、[ 削除] をクリックします。

IAM ポリシーを削除する

  1. AWS アカウントで IAM コンソールを開きます (まだ開いていない場合は、通常は https://console.aws.amazon.com/iam)。

  2. サイドバーで、[ ポリシー]をクリックします。

  3. ポリシーの横にあるオプションを選択し、[ アクション] > [削除] をクリックします。

  4. ポリシーの名前を入力し、[ 削除] をクリックします。

S3 バケット を削除する

  1. AWS アカウントで Amazon S3 コンソールを開きます (通常は https://console.aws.amazon.com/s3)。

  2. バケットの横にあるオプションを選択し、[ 空] をクリックします。

  3. 「 permanently delete」と入力し、[ 空にする] をクリックします。

  4. サイドバーで、[ バケット] をクリックします。

  5. バケットの横にあるオプションを選択し、[ 削除] をクリックします。

  6. バケットの名前を入力し、[ バケットの削除] をクリックします。

SQLウェアハウス を停止する

他のタスクに SQLウェアハウスを使用していない場合は、追加コストを回避するために SQLウェアハウスを停止する必要があります。

  1. SQL ペル ソナのサイドバーで、[SQLウェアハウス] をクリックします。

  2. SQLウェアハウスの名前の横にある [停止] をクリックします。

  3. メッセージが表示されたら、もう一度 [ 停止 ] をクリックします。

次のステップ

この記事の ステップ を完了すると、ユーザーは COPY INTO コマンドを実行して、S3 バケットから Databricks ワークスペースにデータを読み込むことができます。