Delta Live Tables 版本 2022.40
2022 年 9 月 28 日 - 10 月 5 日
这些功能和改进随增量实时表版本 2022.40 一起发布。
此版本使用的 Databricks Runtime 版本
频道:
- 当前(默认):Databricks Runtime 11.0.7
- 预览:Databricks Runtime 11.0.7
此版本中的新功能和改进
在管道设置中使用
default
或maintenance
以外的群集标签会在创建或编辑管道的过程中导致失败。 若要详细了解 Delta Live Tables 管道的群集配置,请参阅配置计算设置。现在可以直接从增量实时表笔记本打开或运行管道。 请参阅从笔记本打开或运行增量实时表管道。
此版本包括增量实时表 API 请求返回的管道设置数据结构的中断性变更。 此更改将
edition
字段的值用大写形式返回。 此值之前以混合大小写的形式返回。 必须更新在 API 响应中读取edition
值的客户端,以确保正确处理返回值。 但是,API 请求中的edition
值不区分大小写;提交包含此字段的请求的客户不需要进行更新。
此版本中的 bug 修复
此版本修复了以下 bug:增量实时表 UI 即使在更新失败后仍会显示处于
RUNNING
状态的管道。此更新修复了重新处理输入数据时 APPLY_CHANGES 接口中的 bug,即数据包含重复的
DELETE
操作,在SEQUENCE
列中具有相同的值。 这种情况会导致目标表中出现NULL
值,并删除DeleteVersion
值。 这相当于将记录标记为NOT-DELETED
。 进行此更改后,将以幂等形式处理重复的DELETE
操作,并始终将记录标记为DELETED
。此版本修复了以下 bug:删除的上一个历史记录包含与下一个历史记录相同的列时,在 SCD 类型 2 处理期间行被隐藏。
此更新修复了以下 bug:即使
expect_or_fail
预期失败,具有该预期的视图仍处于RUNNING
状态。 通过此修复,管道将失败并转换为FAILED
状态。