テーブルをカスタムメタデータでエンリッチする

Databricksは、テーブルやテーブル内の列に対して常にコメントを作成することを推奨しています。これらのコメントはAIを使って生成できます。「 Unity CatalogオブジェクトにAI生成コメントを追加する」をご覧ください。

Unity Catalog には、データをタグ付けする機能もあります。Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用するを参照してください。

トランザクションログ内のフィールドにあるテーブルへの個々のコミットのログメッセージです。

ユーザー定義のコミットメタデータの設定

DataFrameWriter オプション userMetadata を使用して、コミットのメタデータとしてユーザー定義文字列を指定します。このオプションは、append および overwrite を含む任意の書き込みモードで使用できます。このユーザー定義メタデータは、DESCRIBE HISTORY 操作で読み取ることができます。詳細については、テーブル履歴の操作を参照してください。

SQL

For Delta tables:

SQL

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Iceberg テーブルの場合:

SQL

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata overwriteおよびappendを含む、あらゆる書き込みモードで動作します。

Scala

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata overwriteおよびappendを含む、あらゆる書き込みモードで動作します。

コンピュートの種類に関する注意事項

従来のコンピュートでは、SparkSession 構成キー spark.databricks.delta.commitInfo.userMetadata (Delta) または spark.databricks.iceberg.commitInfo.userMetadata (Iceberg) を使用して、ユーザー定義のコミットメタデータを指定することもできます。DataFrameWriter オプション userMetadata と SparkSession 設定の両方が指定されている場合、DataFrameWriter オプションが優先されます。

サーバレス コンピュートでは、DataFrameWriterオプションuserMetadataを直接使用します。サーバレス コンピュートでは、コミットメタデータ用の SparkSession 設定キーはサポートされていません。