Enriqueça as tabelas do Delta Lake com metadados personalizados
A Databricks recomenda sempre fornecer comentários para tabelas e colunas em tabelas. O senhor pode gerar esses comentários usando IA. Consulte Adicionar comentários gerados por IA aos objetos do Unity Catalog.
Unity Catalog também oferece a capacidade de tag dados. Consulte Aplicar tags a objetos protegíveis do Unity Catalog.
O senhor também pode registrar mensagens de confirmação individual para tabelas em um campo nos logs de transação do Delta Lake.
Definir metadados de confirmação definidos pelo usuário
É possível especificar strings definido pelo usuário como metadados no commit, usando a opção DataFrameWriter userMetadata
ou a configuração SparkSession spark.databricks.delta.commitInfo.userMetadata
. Se ambas tiverem sido especificadas, a opção terá preferência. Esses metadados definidos pelo usuário podem ser lidos nas DESCRIBE HISTORY
operações. Consulte a história da tabela Work with Delta Lake.
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")