2025 年 7 月 23 日至 30 日
这些功能和改进随 2025.30 版本的 Lakeflow 声明性管道一起发布。
此版本使用的 Databricks Runtime 版本
渠道:
- 当前版本(默认):Databricks Runtime 16.1
- 预览:Databricks Runtime 16.4
注释
由于 Lakeflow 声明性管道通道版本遵循滚动升级过程,因此通道升级在不同时间部署到不同的区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找某个管道的 Databricks Runtime 版本,请参阅运行时信息。
新功能和改进
我们在 Lakeflow 声明性管道中向 AUTO CDC API 添加了以下新功能。
每个目标有多个流:create_auto_cdc_flow命令现在支持名称参数,允许多个独立的 AUTO CDC 流写入到同一目标表中。 这允许将增量更新和更正流应用到单个表等方案。
一次性回填:新的 once 参数支持一次性回填操作(例如初始填充)。 当设置为一次 = true时,数据流将仅引入一次快照,并忽略未来到达的文件。
SQL 支持:全新的 CREATE FLOW SQL 语法允许您直接在 SQL 中使用 AUTO CDC INTO,并同时支持设置名称和执行一次。
Lakeflow 编辑器现在支持按需集群连接 + 由用户活动触发的集群保持连接。