Delta ストレージの資格情報を構成する

注記

Delta ストレージの資格情報を構成するには、「 Databricks のクラウド オブジェクト ストレージへのアクセスを構成する」を参照してください。 Databricks では、この記事で説明されているように、データフレーム オプションを使用してストレージ資格情報を渡すことは推奨されなくなりました。

Databricks は、Delta Lake テーブルのデータをクラウド オブジェクト ストレージに格納します。 クラウド・オブジェクト・ストレージへのアクセスを構成するには、ストレージ・アカウントを含むクラウド・アカウント内の権限が必要です。

ストレージ資格情報を データフレーム オプションとして渡す

Delta Lake では、データフレームReader と データフレームWriter のオプションとしてストレージ資格情報を指定できます。 これは、異なるアクセス キーによって管理される複数のストレージ アカウントのデータを操作する必要がある場合に使用できます。

注記

この機能は、Databricks Runtime 10.4 LTS 以降で使用できます。

たとえば、データフレーム オプションを使用してストレージの資格情報を渡すことができます。

Python

Python

df1 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")
)

df2 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")
)

(df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")
)

Scala

Scala

val df1 = spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")

val df2 = spark.read
  .option("fs.s3a.access.key", "<access-key-2>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")

df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")