カスタムメタデータでテーブルを充実させる
Databricks では、テーブルとテーブル内の列に常にコメントを提供することをお勧めします。 これらのコメントは、AI を使用して生成できます。 AI で生成されたコメントを Unity Catalog オブジェクトに追加するを参照してください。
Unity Catalog には、データにタグを付ける機能もあります。 「 Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。
トランザクション ログのフィールドに、テーブルへの個々のコミットのメッセージを記録します。
ユーザー定義のコミット メタデータを設定する
DataFrameWriter オプションuserMetadataを使用して、コミットのメタデータとしてユーザー定義文字列を指定します。このオプションは、 appendおよびoverwriteを含む、どの書き込みモードでも使用できます。このユーザー定義メタデータは、 DESCRIBE HISTORY操作で読み取り可能です。詳細については、 「テーブル履歴の操作」を参照してください。
- SQL
- Python
- Scala
-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
# userMetadata works with any write mode, including overwrite and append
df.write \
.mode("overwrite") \
.option("userMetadata", "overwrite-comment") \
.saveAsTable("target_table")
df.write \
.mode("append") \
.option("userMetadata", "append-comment") \
.saveAsTable("target_table")
// userMetadata works with any write mode, including overwrite and append
df.write
.mode("overwrite")
.option("userMetadata", "overwrite-comment")
.saveAsTable("target_table")
df.write
.mode("append")
.option("userMetadata", "append-comment")
.saveAsTable("target_table")
コンピュートタイプに関する注意事項
クラシック コンピュートでは、 SparkSession構成キーspark.databricks.delta.commitInfo.userMetadata ( Delta ) またはspark.databricks.iceberg.commitInfo.userMetadata ( Iceberg ) を使用してユーザー定義のコミット メタデータを指定することもできます。 DataFrameWriter オプションuserMetadataと SparkSession 構成の両方が指定されている場合、DataFrameWriter オプションが優先されます。
サーバレス コンピュートでは、DataFrameWriter オプションuserMetadataを直接使用します。 コミット メタデータのSparkSession構成キーは、サーバレス コンピュートではサポートされていません。