テーブルをカスタムメタデータでエンリッチする

Databricks では、テーブルとテーブル内の列に常にコメントを提供することをお勧めします。 これらのコメントは、AI を使用して生成できます。 AI で生成されたコメントを Unity Catalog オブジェクトに追加するを参照してください。

Unity Catalog では、データのタグ付け機能も提供しています。Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用するを参照してください。

トランザクションログ内のフィールドにあるテーブルへの個々のコミットのログメッセージです。

ユーザー定義のコミットメタデータの設定

DataFrameWriter オプション userMetadata を使用して、コミットのメタデータとしてユーザー定義文字列を指定します。このオプションは、append および overwrite を含む任意の書き込みモードで使用できます。このユーザー定義メタデータは、DESCRIBE HISTORY 操作で読み取ることができます。詳細については、テーブル履歴の操作を参照してください。

SQL — Delta

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

SQL — Iceberg

SQL

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

# userMetadata works with any write mode, including overwrite and append
df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

Scala

Scala

// userMetadata works with any write mode, including overwrite and append
df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

コンピュートの種類に関する注意事項

従来のコンピュートでは、SparkSession 構成キー spark.databricks.delta.commitInfo.userMetadata (Delta) または spark.databricks.iceberg.commitInfo.userMetadata (Iceberg) を使用して、ユーザー定義のコミットメタデータを指定することもできます。DataFrameWriter オプション userMetadata と SparkSession 設定の両方が指定されている場合、DataFrameWriter オプションが優先されます。

サーバレス コンピュートでは、DataFrameWriterオプションuserMetadataを直接使用します。サーバレス コンピュートでは、コミットメタデータ用の SparkSession 設定キーはサポートされていません。