2021 年 7 月
这些功能和 Azure Databricks 平台的改进已于 2021 年 7 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
使用 Databricks REST API 管理 MLflow 试验权限
2021 年 7 月 29 日 - 8 月 2 日:版本 3.51
现在可以使用 Databricks REST API 的权限 API 来管理哪些用户可以读取、编辑或管理 MLflow 试验。 请参阅权限 API。
Azure Databricks Web 界面已本地化为葡萄牙语和法语(公共预览版)
2021 年 7 月 29 日
现在可以使用法语和葡萄牙语的 Azure Databricks,接下来的几个季度将计划开放更多语言。 转到 Web UI 右上角菜单中的“设置”,然后单击“首选项”选项卡以更改语言。
对机器学习的 Databricks Runtime 5.5 LTS 支持结束,取而代之的是外延支持版本
2021 年 7 月 27
Databricks Runtime 5.5 ML LTS 支持已于 2021 年 7 月 27 日结束,但新的 Databricks Runtime 5.5 ML 外延支持 (EoS) 的支持期截至 2021 年底。 Databricks Runtime 5.5 ML 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 ML LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 若要详细了解 Databricks Runtime 5.5 外延支持与 Databricks Runtime 5.5 LTS 之间的差别,请参阅 Databricks Runtime 5.5 ML 外延支持 (EoS)。
Databricks Light 2.4 支持于 9 月 5 日结束,取而代之的是外延支持版本
2021 年 7 月 27
对原始 Databricks Light 2.4 的支持将于 2021 年 9 月 5 日结束, 2021,但新的 Databricks Light 2.4 外延支持 (EoS) 的支持期截至 2022 年 7 月 27 日。 Databricks Light 2.4 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Light 2.4 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 Databricks 建议你尽快将 Light 工作负荷迁移到外延支持版本。
新的 Azure 区域:德国中西部
2021 年 7 月 27
Azure Databricks 现已在“德国中西部”区域提供。
Databricks 功能存储 UI 中提供的功能新鲜度信息(公共预览版)
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
Databricks 功能存储 UI 现在会显示上次将数据写入功能表的时间。 它还显示功能表是否由某个计划作业更新,如果是,则会显示作业的计划和状态。
最多显示 10,000 个结果行
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
以前,笔记本中最多显示 1000 行。 现在,如果表返回的行超过 1000 行,则你可以选择重新执行查询并显示最多 10,000 行。 需要 Databricks Runtime 8.4 或更高版本。 有关详细信息,请参阅下载结果。
以源文件的形式批量导入和导出文件夹中的笔记本
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
现在可以将工作区文件夹中所有笔记本的源导出为 ZIP 存档。 可以将 ZIP 存档导入到另一工作区或导入到同一工作区中的其他文件夹,以重新创建所有导出的笔记本。 笔记本的源文件采用的是笔记本的默认语言。 例如,Python 笔记本的源是 Python 文件。
笔记本源文件不包括笔记本命令结果,适合在 CI/CD 管道中使用。 以前,从笔记本编辑器中一次可以仅导出一个笔记本的源,也可以将文件夹中的所有笔记本导出为 HTML 文件或 Databricks 存档(扩展名为 .dbc
),这将包括笔记本命令结果,除非在导出之前清除了笔记本。
有关导入和导出笔记本的详细信息,请参阅管理笔记本。
现在,SQL 笔记本中的自动完成功能对 SQL 关键字使用全大写
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
在笔记本中使用 TAB
自动完成 SQL 关键字时,自动完成的结果现在采用大写。 例如,将显示 SELECT
而非 select
。 这不会影响查询,因为 SQL 关键字不区分大小写。
笔记本中可重排序且可调整大小的小组件
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
现在,可以通过单击笔记本的小组件栏中的 来更改笔记本中 Databricks 小组件的顺序和大小。 请参阅配置小组件设置。
Azure Databricks UI 可用性修复
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
此版本解决了阻止使用 ESC
键关闭 Azure Databricks UI 中的某些对话框的问题,其中包括:
- 作业 UI 中的“查看 JSON”对话框。
- 作业 UI 中的“编辑计划”对话框。
- 管理 UI 中的“单一注销配置”对话框。
- “创建笔记本”对话框。
创建新的 增量实时表管道时快速定义管道设置
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
现在,你可以在创建新管道时直接在增量实时表 user-interface 的“创建管道”对话框中定义设置。
Databricks Runtime 8.4 和 8.4 ML 现已正式发布;8.4 Photon 现在是公共预览版
2021 年 7 月 20 日
Databricks Runtime 8.4 和 8.4 ML 现已正式发布。 8.4 Photon 处于公共预览版。
有关信息,请参阅 Databricks Runtime 8.4 (EoS) 和 Databricks Runtime 8.4 for ML (EoS) 中的完整发行说明。
将 Spark SQL 与增量实时表 Python API 结合使用
2021 年 7 月 12-19 日:版本 3.50
现在可以将以下函数与增量实时表 Python API 一起使用:
spark.table
函数,用于对管道中定义的数据集执行批量读取。spark.sql
函数,用于使用 SQL 查询来定义数据集。 SQL 查询可以使用增量实时表特定功能,包括使用LIVE
关键字引用内部数据集和使用STREAM
关键字进行增量读取。
有关更多详细信息,请参阅 Python 语言参考。
通过 Azure Databricks 作业增强数据处理和分析(公共预览版)
2021 年 7 月 12-19 日:版本 3.50
Databricks 很高兴地宣布 Azure Databricks 作业进行了更新,现在允许你安排并运行包含多个任务的作业。 你可以使用它定义任务依赖项的有向无环图 (DAG),从而更轻松地构建和监视可靠的数据和机器学习工作流。 此功能目前为公共预览版,默认处于禁用状态。
重要
启用此功能后,无法禁用它。
请参阅计划和协调工作流了解详细信息。
降低了增量实时表默认群集的成本(公共预览版)
2021 年 7 月 12-19 日:版本 3.50
为了控制成本,对增量实时表默认群集进行了以下更改:
- 将默认实例类型更改为
Standard_F8s
。 - 默认启用自动缩放,最小工作器数等于 1,最大工作器数等于 5。
在增量实时表 UI 中按名称排列管道(公共预览版)
2021 年 7 月 12-19 日:版本 3.50
现在,你可以在增量实时表用户界面中单击“名称”列标题,按名称以升序 (A -> Z) 或降序 (Z -> A) 对管道进行排序。
对“计算”页的更改
2021 年 7 月 12-19 日:版本 3.50
“库”、“作业运行”、“Spark UI”和“日志”链接已从“计算”页中删除。 若要查看有关库的信息或查看 Spark UI 和日志,请使用群集详细信息页上的相应选项卡。 若要查看有关作业运行的信息,请在该页面上单击“转到作业运行”。
Databricks Runtime 5.5 LTS 支持终止,到 2021 年底均由 Databricks Runtime 5.5 外延支持替代
2021 年 7 月 9 日
对用于机器学习的 Databricks Runtime 5.5 LTS 和 Databricks Runtime 5.5 LTS 的支持于 7 月 10 日终止。 请参阅 Databricks 支持生命周期。
对 Databricks Runtime 5.5 外延支持的支持截止到 2021 年底。 Databricks Runtime 5.5 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 若要详细了解 Databricks Runtime 5.5 外延支持与 Databricks Runtime 5.5 LTS 之间的差别,请参阅 Databricks Runtime 5.5 外延支持 (EoS)。
Repos API(公共预览版)
2021 年 7 月 6 日
现在,可以使用新的 Repos API 以编程方式将 Azure Databricks 存储库更新到特定 Git 分支的最新版本或更新到某个标记。 有关详细信息,请参阅 Repos API。
Databricks Runtime 8.4(Beta 版本)
2021 年 7 月 1 日
Databricks Runtime 8.4 和 Databricks Runtime 8.4 ML 现已作为 Beta 版本发布。
有关信息,请参阅 Databricks Runtime 8.4 (EoS) 和 Databricks Runtime 8.4 for ML (EoS) 中的完整发行说明。