使用自定义元数据扩充 Delta Lake 表
Databricks 建议始终为表和表中的列提供注释。 可以使用 AI 生成这些注释。
Unity Catalog 还提供了标记数据的功能。 请参阅“将标记应用于 Unity Catalog 安全对象”。
你还可以为 Delta Lake 事务日志中某个字段中表的单个提交记录消息。
设置用户定义的提交元数据
你可以使用 DataFrameWriter 选项 userMetadata
或 SparkSession 配置 spark.databricks.delta.commitInfo.userMetadata
来将用户定义的字符串指定为提交中的元数据。 如果同时指定了两个参数,则此选项将优先。 此用户定义的元数据在 DESCRIBE HISTORY
操作中可读。 请参阅使用 Delta Lake 表历史记录。
SQL
SET spark.databricks.delta.commitInfo.userMetadata=some-comment
INSERT OVERWRITE target_table SELECT * FROM data_source
Python
df.write \
.mode("overwrite") \
.option("userMetadata", "some-comment") \
.table("target_table")
Scala
df.write
.mode("overwrite")
.option("userMetadata", "some-comment")
.table("target_table")