Enrichir les tables avec des métadonnées personnalisées

Databricks vous recommande de toujours créer des commentaires pour les tables et leurs colonnes. Vous pouvez générer ces commentaires à l'aide de l'IA. Voir Ajouter des commentaires générés par l'IA aux objets Unity Catalog.

Unity Catalog a également la capacité de taguer les données. Consultez Appliquer des tags aux objets sécurisables d'Unity Catalog.

Messages de log pour les commits individuels aux tables dans un champ du log de transaction.

Définir les métadonnées de commit définies par l'utilisateur

Spécifiez les chaînes définies par l'utilisateur comme métadonnées dans les commits à l'aide de l'option DataFrameWriter userMetadata. Vous pouvez utiliser cette option avec n'importe quel mode d'écriture, y compris append et overwrite. Ces métadonnées définies par l'utilisateur sont lisibles dans l'opération DESCRIBE HISTORY. Pour plus d'informations, consultez Travailler avec l'historique des tables.

SQL

Pour les tables Delta :

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Pour les tables Iceberg :

SQL

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata fonctionne avec tout mode d'écriture, y compris overwrite et append.

Scala

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata fonctionne avec tout mode d'écriture, y compris overwrite et append.

Notes sur les types de compute

Sur classic compute, vous pouvez également spécifier des métadonnées de commit définies par l'utilisateur à l'aide des clés de configuration SparkSession spark.databricks.delta.commitInfo.userMetadata (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Si l'option DataFrameWriter userMetadata et la configuration SparkSession sont toutes deux spécifiées, l'option DataFrameWriter a la priorité.

Sur le compute serverless, utilisez l'option DataFrameWriter userMetadata directement. Les clés de configuration SparkSession pour les métadonnées de commit ne sont pas prises en charge sur le compute serverless.