Configurar as credenciais de armazenamento Delta

nota

Para configurar as credenciais de armazenamento Delta, consulte Configurar o acesso ao armazenamento de objetos na nuvem para Databricks. Databricks não recomenda mais a transmissão de credenciais de armazenamento por meio das opções do site DataFrame, conforme descrito neste artigo.

A Databricks armazena os dados das tabelas do Delta Lake no armazenamento de objetos na nuvem. A configuração do acesso ao armazenamento de objetos na nuvem requer permissões na nuvem account que contém seu armazenamento account.

Passar credenciais de armazenamento como opções de DataFrame

O Delta Lake suporta a especificação de credenciais de armazenamento como opções para DataFrameReader e DataFrameWriter. O senhor pode usar isso se precisar interagir com dados em várias contas de armazenamento regidas por diferentes chaves de acesso.

nota

Esse recurso está disponível em Databricks Runtime 10.4 LTS e acima.

Por exemplo, o senhor pode passar suas credenciais de armazenamento por meio das opções do DataFrame:

Python

Python

df1 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")
)

df2 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")
)

(df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")
)

Scala

Scala

val df1 = spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")

val df2 = spark.read
  .option("fs.s3a.access.key", "<access-key-2>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")

df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")