カスタム メタデータによる Delta Lake テーブルの強化
Databricks では、テーブルとテーブル内の列に常にコメントを提供することをお勧めします。 これらのコメントは、AI を使用して生成できます。 「AI で生成されたコメントを Unity Catalog オブジェクトに追加する」を参照してください。
Unity Catalog には、データにタグを付ける機能もあります。 「 Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。
また、Delta Lake トランザクションログのフィールド内のテーブルに対する個々のコミットのメッセージをログに記録することもできます。
ユーザー定義のコミット メタデータを設定する
データフレームWriter オプション userMetadata または SparkSession 構成 spark.databricks.delta.commitInfo.userMetadataを使用して、コミットのメタデータとしてユーザー定義文字列を指定できます。 両方が指定されている場合は、オプションが優先されます。 このユーザー定義のメタデータは、 DESCRIBE HISTORY 操作で読み取ることができます。 「Delta Lake テーブル履歴の操作」を参照してください。
- SQL
- Python
- Scala
SQL
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
Python
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
Scala
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")