2023 年 11 月 13 日至 30 日
这些功能和改进与 2023.45 版本的 Lakeflow 声明式管道一起发布。
注释
发布过程分阶段进行。 Lakeflow 声明性管道版本(包括 Databricks Runtime 版本)可能直到初始发布日期一周或之后才会更新。
此版本使用的 Databricks Runtime 版本
渠道:
- 当前版本(默认):Databricks Runtime 12.2.16
- 预览:Databricks Runtime 13.3.5
此版本中的新功能和改进
(公共预览版)使用新功能
Validate
,可以快速检查管道源代码中是否存在语法和分析错误等问题。 由于Validate
不会更新任何表,因此在开发和测试管道时可以节省时间和资源。 请参阅 检查管道是否存在错误,而无需等待表更新。现在,可以从显示可用方案的下拉菜单中为流水线选择一个 Unity Catalog 模式。 请参阅 将 Unity 目录与 Lakeflow 声明性管道配合使用。
现在可以选择性地刷新管道,即使最新更新未生成有效的 DAG,也允许你节省执行管道完全刷新所需的时间和资源。 请参阅为所选表启动管道更新。