Configurer les identifiants de stockage Delta

remarque

Pour configurer les informations d'identification de stockage Delta, consultez Configurer l'accès au stockage d'objets cloud pour Databricks à l'aide de modèles hérités. Databricks ne recommande plus de transmettre les informations d'identification de stockage via les options DataFrame, comme décrit dans cet article.

Databricks stocke les données des tables Delta Lake dans le stockage d'objets cloud. La configuration de l'accès au stockage d'objets cloud nécessite des autorisations au sein du compte cloud qui contient votre compte de stockage.

Transmettre les identifiants de stockage en tant qu'options de DataFrame

Delta Lake prend en charge la spécification des identifiants de stockage comme options pour DataFrameReader et DataFrameWriter. Vous pouvez utiliser cela si vous devez interagir avec des données dans plusieurs comptes de stockage régis par des clés d’accès différentes.

remarque

Cette fonctionnalité est disponible dans Databricks Runtime 10.4 LTS et versions ultérieures.

Par exemple, vous pouvez transmettre vos identifiants de stockage via les options du DataFrame :

Python

Python

df1 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")
)

df2 = (spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")
)

(df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")
)

Scala

Scala

val df1 = spark.read
  .option("fs.s3a.access.key", "<access-key-1>")
  .option("fs.s3a.secret.key", "<secret-key-1>")
  .read("...")

val df2 = spark.read
  .option("fs.s3a.access.key", "<access-key-2>")
  .option("fs.s3a.secret.key", "<secret-key-2>")
  .read("...")

df1.union(df2).write
  .mode("overwrite")
  .option("fs.s3a.access.key", "<access-key-3>")
  .option("fs.s3a.secret.key", "<secret-key-3>")
  .save("...")