2023 年 12 月 18 日至 22 日
这些功能和改进随 2023.50 版本的 Lakeflow 声明性流水线一起发布。
注释
发布过程分阶段进行。 Lakeflow 声明性管道版本(包括 Databricks Runtime 版本)可能直到初始发布日期一周或之后才会更新。
此版本使用的 Databricks Runtime 版本
渠道:
- CURRENT (默认值):Databricks Runtime 12.2.18
- 预览版:Databricks Runtime 14.1.3
此版本中的漏洞修复
此版本修复了一个导致流式处理表血统记录不正确的错误。
在此版本中,所有依赖项完成处理后,都会启动流式处理。 以前,流式处理流可能在依赖项完成之前开始处理,从而导致在某些情况下数据丢失。
此版本包括修复导致某些管道维护作业失败的 bug 的更改。 在持续的管道中,对于未指定 Z 顺序列的
AUTO CDC ... INTO
目标,当执行维护任务时将跳过该OPTIMIZE
操作,并且自动压缩功能已启用。