2024 年 12 月 9 日至 12 日
这些功能和改进随 2024.49 版本的 DLT 一起发布。
此版本使用的 Databricks Runtime 版本
通道:
- CURRENT: Databricks Runtime 15.4(默认值)
- 预览版:Databricks Runtime 15.4
注释
由于 DLT 通道版本遵循滚动升级过程,因此通道升级在不同时间部署到不同的区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找某个管道的 Databricks Runtime 版本,请参阅运行时信息。
新功能和改进
现在,您可以为启用了 Unity Catalog 的管道配置单节点计算资源。 配置单节点计算时,通过在 Spark 驱动程序所在的同一节点上运行 Spark 作业,将运行管道所需的最小节点数从两个节点减少到一个节点。 若要配置单个节点群集,请将
min_workers
和max_workers
设置为 0。 请参阅 创建单节点群集。此版本包括删除具体化视图或流式处理表时发生的以下更改。 从管道中或者在目录资源管理器中移除具体化视图或流式处理表的定义时,可能会删除具体化视图或流式处理表:
- 恢复物化视图或流式表定义的时间缩短至7天。 这是与 Unity Catalog 管理的表相同的时间段。 7 天后,以相同的名称声明具体化视图或流式处理表将创建新的具体化视图或流式处理表。
- 删除的具体化视图或流式处理表中的基础数据在 30 天后被删除。
故障修复
- 此版本修复了以下 bug:在尝试创建具体化视图时,名称中如果包含连字符,即使将名称用反单引号括起来,也会导致错误。 例如,如果不进行此修复,以下语句将生成错误:
CREATE MATERIALIZED VIEW my_catalog.my_schema.`mv-hyphen` AS...
。