通过

使用自定义元数据扩充表

Databricks 建议始终为表和表中的列提供注释。 可以使用 AI 生成这些注释。

Unity Catalog 还提供了标记数据的功能。 请参阅“将标记应用于 Unity Catalog 安全对象”。

记录在事务日志的某个字段中对表单独提交的日志消息。

设置用户定义的提交元数据

使用 DataFrameWriter 选项 userMetadata 或 SparkSession 配置 spark.databricks.delta.commitInfo.userMetadata （Delta） 或 spark.databricks.iceberg.commitInfo.userMetadata （Iceberg） 将用户定义的字符串指定为提交中的元数据。 如果两者都已指定，则此选项优先。 此用户定义的元数据在 DESCRIBE HISTORY 操作中可读。 请参阅 “使用表历史记录”。

SQL

-- For Delta tables
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

-- For Iceberg tables
SET spark.databricks.iceberg.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "some-comment") \
  .table("target_table")

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "some-comment")
  .table("target_table")
  • Last updated on