通过

Delta Live Tables 版本 2022.40

  • 项目

2022 年 9 月 28 日 - 10 月 5 日

这些功能和改进随增量实时表版本 2022.40 一起发布。

此版本使用的 Databricks Runtime 版本

频道：

  • 当前（默认）：Databricks Runtime 11.0.7
  • 预览：Databricks Runtime 11.0.7

此版本中的新功能和改进

  • 在管道设置中使用 default 或 maintenance 以外的群集标签会在创建或编辑管道的过程中导致失败。 若要详细了解增量实时表管道的群集配置，请参阅配置增量实时表管道的计算。

  • 现在可以直接从增量实时表笔记本打开或运行管道。 请参阅在笔记本中开发和调试增量实时表管道。

  • 此版本包括增量实时表 API 请求返回的管道设置数据结构的中断性变更。 此更改将 edition 字段的值用大写形式返回。 此值之前以混合大小写的形式返回。 必须更新在 API 响应中读取 edition 值的客户端，以确保正确处理返回值。 但是，API 请求中的 edition 值不区分大小写；提交包含此字段的请求的客户不需要进行更新。

此版本中的 bug 修复

  • 此版本修复了以下 bug：增量实时表 UI 即使在更新失败后仍会显示处于 RUNNING 状态的管道。

  • 此更新修复了重新处理输入数据时 APPLY_CHANGES 接口中的 bug，即数据包含重复的 DELETE 操作，在 SEQUENCE 列中具有相同的值。 这种情况会导致目标表中出现 NULL 值，并删除 DeleteVersion 值。 这相当于将记录标记为 NOT-DELETED。 进行此更改后，将以幂等形式处理重复的 DELETE 操作，并始终将记录标记为 DELETED。

  • 此版本修复了以下 bug：删除的上一个历史记录包含与下一个历史记录相同的列时，在 SCD 类型 2 处理期间行被隐藏。

  • 此更新修复了以下 bug：即使 expect_or_fail 预期失败，具有该预期的视图仍处于 RUNNING 状态。 通过此修复，管道将失败并转换为 FAILED 状态。