Enriqueça as tabelas com metadados personalizados

O Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. É possível gerar estes comentários usando AI. Consulte Adicionar comentários gerados por AI aos objetos do Unity Catalog.

O Unity Catalog também fornece a capacidade de aplicar tags aos dados. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.

Mensagens de log para commit individual feito em tabelas em um campo do log de transações.

Definir metadados de commit definidos pelo usuário

Especifique strings definidas pelo usuário como metadados em commits usando a opção userMetadata do DataFrameWriter. Você pode usar esta opção com qualquer modo de gravação, incluindo append e overwrite. Esses metadados definidos pelo usuário são legíveis na operação DESCRIBE HISTORY. Para obter mais informações, consulte Trabalhar com o histórico da tabela.

SQL — Delta

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

SQL — Iceberg

SQL

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

Notas sobre tipos de compute

No compute clássico, também é possível especificar metadados de commit definidos pelo usuário usando as chaves de configuração do SparkSession spark.databricks.delta.commitInfo.userMetadata (Delta) ou spark.databricks.iceberg.commitInfo.userMetadata (Iceberg). Se tanto a opção DataFrameWriter userMetadata quanto a configuração SparkSession forem especificadas, a opção DataFrameWriter tem precedência.

No compute serverless, use a opção DataFrameWriter userMetadata diretamente. As chaves de configuração do SparkSession para metadados de commit não são compatíveis com compute serverless.