Lakeflow 声明性管道版本 2025.29

2025 年 7 月 16 日至 18 日

这些功能和改进已在声明性管道的 2025.29 版本中发布。

此版本使用的 Databricks Runtime 版本

渠道:

  • 当前版本(默认):Databricks Runtime 16.1
  • 预览:Databricks Runtime 16.4

注释

由于 Lakeflow 声明性管道通道版本遵循滚动升级过程,因此通道升级在不同时间部署到不同的区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找某个管道的 Databricks Runtime 版本,请参阅运行时信息

新功能和改进

  • Lakeflow 声明性管道间的表移动特性目前已普遍可用 (GA)。 这使用户可以使用 SQL 命令和次要代码调整将具体化视图和流式处理表从一个管道移到另一个管道。 请参阅 在 Lakeflow 声明性管道之间移动表格

  • ALTER 命令现在可以在 ETL 管道为表注释、列注释和 RLS/CLM 创建的 MV/ST 上运行。 作为此功能的一部分,管道更新将保留(按列名键)可由用户替代的字段的值,而不是覆盖这些字段。 我们将继续遵循源代码中的显式定义,并且未显式定义的任何内容都会保留。 下表显示了此行为:

列级元数据:

行为 表/ST/MV 上的现有状态 管道源代码或“创建和替换”命令上定义的内容 管道刷新或执行“创建和替换”命令后的最终状态
Merge 在应用管道源代码中定义的内容或“创建和替换”命令之前,我们不会删除表/ST/MV 上的现有元数据。 带注释 1 的列 X 带注释 2 的列 Y X列,附注释1;Y列,附注释2。
带注释 1 的列 X 带有注释 3 的列 X 和带有注释 2 的列 Y 带有注释 3 的列 X 和带有注释 2 的列 Y

表级元数据:

行为 表/ST/MV 上的现有状态 管道源代码或“创建和替换”命令上定义的内容 管道刷新或执行“创建和替换”命令后的最终状态
Merge 在应用管道源代码中定义的内容或“创建和替换”命令之前,我们不会删除表/ST/MV 上的现有元数据。 行筛选器 1 行筛选器 2 行筛选器 2
行筛选器 1 None 行筛选器 1

可以像以前一样继续修改源代码。 此合并方法保留对表进行的外部 ALTER。

这种新的合并行为引入了重要的更改。 在过去,如果管道定义中不包含它们,则管道更新会删除现有的行筛选器或列掩码。 现在,必须使用目录资源管理器或 ALTER 命令显式删除现有注释、行筛选器或列掩码。

有关如何使用 SQL 命令,请参阅 ALTER MATERIALIZED VIEWALTER STREAMING TABLE