2022 年 9 月 28 日 - 10 月 5 日
在 2022.40 版本的 DLT 中发布了这些功能和改进。
此版本使用的 Databricks Runtime 版本
渠道:
- 当前(默认):Databricks Runtime 11.0.7
- 预览:Databricks Runtime 11.0.7
此版本中的新功能和改进
在管道设置中使用
default
或maintenance
以外的群集标签会在创建或编辑管道的过程中导致失败。 有关 Lakeflow 声明性管道的群集配置的详细信息,请参阅 配置 Lakeflow 声明性管道的经典计算。现在可以直接从 Lakeflow 声明性管道笔记本打开或运行管道。 请参阅 在 Lakeflow 声明性管道中使用笔记本开发和调试 ETL 管道。
此版本包括 DLT API 请求返回的管道设置数据结构中的中断性变更。 此更改以大写形式返回
edition
字段的值。 此值之前以混合大小写的形式返回。 必须更新在 API 响应中读取edition
值的客户端,以确保正确处理返回值。 但是,API 请求中的edition
值不区分大小写;提交包含此字段的请求的客户不需要进行更新。
此版本中的 Bug 修复
此版本修复了一个导致 DLT UI 即使在更新失败后仍将管道显示为
RUNNING
状态的 bug。此更新修复了 APPLY_CHANGES 接口中的一个 bug,重新处理输入数据时,数据会包含在
DELETE
列中具有相同值的重复SEQUENCE
操作。 这种情况会导致目标表中出现NULL
值,并删除DeleteVersion
值。 这相当于将记录标记为NOT-DELETED
。 进行此更改后,将以幂等形式处理重复的DELETE
操作,并始终将记录标记为DELETED
。此版本修复了以下 bug:删除的上一个历史记录包含与下一个历史记录相同的列时,在 SCD 类型 2 处理期间行被隐藏。
此更新修复了以下 bug:即使
expect_or_fail
预期失败,具有该预期的视图仍处于RUNNING
状态。 此修复导致管道失败,并转换为FAILED
状态。