Lakeflow 声明式管道版本 2025.30

2025 年 7 月 23 日至 30 日

这些功能和改进随 2025.30 版本的 Lakeflow 声明性管道一起发布。

此版本使用的 Databricks Runtime 版本

渠道:

  • 当前版本(默认):Databricks Runtime 16.1
  • 预览:Databricks Runtime 16.4

注释

由于 Lakeflow 声明性管道通道版本遵循滚动升级过程,因此通道升级在不同时间部署到不同的区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找某个管道的 Databricks Runtime 版本,请参阅运行时信息

新功能和改进

  • 我们在 Lakeflow 声明性管道中向 AUTO CDC API 添加了以下新功能。

    • 每个目标有多个流:create_auto_cdc_flow命令现在支持名称参数,允许多个独立的 AUTO CDC 流写入到同一目标表中。 这允许将增量更新和更正流应用到单个表等方案。

    • 一次性回填:新的 once 参数支持一次性回填操作(例如初始填充)。 当设置为一次 = true时,数据流将仅引入一次快照,并忽略未来到达的文件。

    • SQL 支持:全新的 CREATE FLOW SQL 语法允许您直接在 SQL 中使用 AUTO CDC INTO,并同时支持设置名称和执行一次。

  • Lakeflow 编辑器现在支持按需集群连接 + 由用户活动触发的集群保持连接。