Enriqueça as tabelas com metadados personalizados

A Databricks recomenda que você sempre crie comentários para tabelas e colunas dentro das tabelas. É possível gerar estes comentários usando AI. Consulte Adicionar comentários gerados por AI aos objetos do Unity Catalog.

O Unity Catalog também tem a capacidade de tag dados. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.

Mensagens de log para commit individual feito em tabelas em um campo do log de transações.

Definir metadados de commit definidos pelo usuário

Especifique strings definidas pelo usuário como metadados em commits usando a opção userMetadata do DataFrameWriter. Você pode usar esta opção com qualquer modo de gravação, incluindo append e overwrite. Esses metadados definidos pelo usuário são legíveis na operação DESCRIBE HISTORY. Para obter mais informações, consulte Trabalhar com o histórico da tabela.

SQL

Para tabelas Delta:

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Para tabelas Iceberg:

SQL

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata funciona com qualquer modo de gravação, incluindo overwrite e append.

Scala

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata funciona com qualquer modo de gravação, incluindo overwrite e append.

Notas sobre tipos de compute

No compute clássico, também é possível especificar metadados de commit definidos pelo usuário usando as chaves de configuração do SparkSession spark.databricks.delta.commitInfo.userMetadata (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Se tanto a opção DataFrameWriter userMetadata quanto a configuração SparkSession forem especificadas, a opção DataFrameWriter tem precedência.

No compute serverless, use a opção DataFrameWriter userMetadata diretamente. As chaves de configuração do SparkSession para metadados de commit não são compatíveis com compute serverless.