Lakeflow 声明性管道版本 2023.16

2023 年 4 月 24 - 28 日

这些功能和改进已随 2023.16 版的 Lakeflow Declarative Pipelines 发布。

此版本使用的 Databricks Runtime 版本

渠道：

• 当前版本（默认）：Databricks Runtime 11.3.10
• 预览：Databricks Runtime 12.2.3

此版本中的新功能和改进

• Lakeflow 声明性管道对 Unity Catalog 的支持处于公测阶段。 可以将 Unity 目录与 Lakeflow 声明性管道配合使用，以便：

  • 在 Unity Catalog 中定义一个目录，管道将在其中持久保存表。
  • 从 Unity Catalog 表读取数据。

  请参阅 将 Unity 目录与 Lakeflow 声明性管道配合使用。

• 默认情况下，流式处理表需要“仅追加”源。 此版本引入了 skipChangeCommits 标志，该标志可以在目标流式处理表上设置，以在源表需要进行更新或删除时忽略源流式处理表中的更改。 请参阅将流式处理表配置为忽略源流式处理表中的更改

• 在此版本中，工作区中的并发更新限制提高到 100。 以前的并发更新限制为 20。

• 现在，世纪互联运营的 Azure 支持 Lakeflow 声明性管道。

• 从管道笔记本运行 Lakeflow 声明性管道时，现在可以在笔记本边栏中查看事件日志。 请参阅 在 Lakeflow 声明性管道中使用笔记本开发和调试 ETL 管道。

此版本中的漏洞修复

• 此版本修复了在搜索框中输入“%”字符时导致管道列表页崩溃的 bug。