Enriqueça as tabelas do Delta Lake com metadados personalizados

A Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. O senhor pode gerar esses comentários usando o site AI. Consulte Adicionar AIcomentários gerados pelo Unity Catalog site aos objetos.

O Unity Catalog também oferece a capacidade de marcar dados. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.

O senhor também pode acessar log mensagens de confirmação individual para tabelas em um campo na transação Delta Lake log.

Definir metadados de commit definidos pelo usuário

O senhor pode especificar strings definido pelo usuário como metadados no commit, usando a opção DataFrameWriter userMetadata ou a configuração SparkSession spark.databricks.delta.commitInfo.userMetadata. Se ambos tiverem sido especificados, a opção terá preferência. Esses metadados definidos pelo usuário podem ser lidos no site DESCRIBE HISTORY operações. Consulte Work with Delta Lake table história.

SQL

SQL

SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")