共用方式為

DLT 版本 2022.40

2022 年 9 月 28 日 - 10 月 5 日

在 2022.40 版本的 DLT 中发布了这些功能和改进。

此版本使用的 Databricks Runtime 版本

渠道:

  • 当前(默认):Databricks Runtime 11.0.7
  • 预览:Databricks Runtime 11.0.7

此版本中的新功能和改进

  • 在管道设置中使用 defaultmaintenance 以外的群集标签会在创建或编辑管道的过程中导致失败。 有关 Lakeflow 声明性管道的群集配置的详细信息,请参阅 配置 Lakeflow 声明性管道的经典计算

  • 现在可以直接从 Lakeflow 声明性管道笔记本打开或运行管道。 请参阅 在 Lakeflow 声明性管道中使用笔记本开发和调试 ETL 管道

  • 此版本包括 DLT API 请求返回的管道设置数据结构中的中断性变更。 此更改以大写形式返回 edition 字段的值。 此值之前以混合大小写的形式返回。 必须更新在 API 响应中读取 edition 值的客户端,以确保正确处理返回值。 但是,API 请求中的 edition 值不区分大小写;提交包含此字段的请求的客户不需要进行更新。

此版本中的 Bug 修复

  • 此版本修复了一个导致 DLT UI 即使在更新失败后仍将管道显示为 RUNNING 状态的 bug。

  • 此更新修复了 APPLY_CHANGES 接口中的一个 bug,重新处理输入数据时,数据会包含在 DELETE 列中具有相同值的重复 SEQUENCE 操作。 这种情况会导致目标表中出现 NULL 值,并删除 DeleteVersion 值。 这相当于将记录标记为 NOT-DELETED。 进行此更改后,将以幂等形式处理重复的 DELETE 操作,并始终将记录标记为 DELETED

  • 此版本修复了以下 bug:删除的上一个历史记录包含与下一个历史记录相同的列时,在 SCD 类型 2 处理期间行被隐藏。

  • 此更新修复了以下 bug:即使 expect_or_fail 预期失败,具有该预期的视图仍处于 RUNNING 状态。 此修复导致管道失败,并转换为 FAILED 状态。