这些功能和 Azure Databricks 平台的改进已于 2021 年 7 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
使用 Databricks REST API 管理 MLflow 试验权限
2021 年 7 月 29 日 - 8 月 2 日:版本 3.51
现在可以使用 Databricks REST API 的权限 API 来管理哪些用户可以读取、编辑或管理 MLflow 试验。 请参阅 权限 API。
Azure Databricks Web 界面已本地化为葡萄牙语和法语(公共预览版)
2021 年 7 月 29 日
现在可以使用法语和葡萄牙语的 Azure Databricks,接下来的几个季度将计划开放更多语言。 转到 Web UI 右上角菜单中的“设置”,然后单击“首选项”选项卡以更改语言。
Databricks Runtime 5.5 LTS 的机器学习支持结束,将由扩展支持版本取代。
2021 年 7 月 27 日
Databricks Runtime 5.5 ML LTS 支持于 2021 年 7 月 27 日结束,但 2021 年底将支持新的 Databricks Runtime 5.5 ML 扩展支持(EoS)。 Databricks Runtime 5.5 ML 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 ML LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 有关 Databricks Runtime 5.5 扩展支持与 Databricks Runtime 5.5 LTS 之间的差异的详细信息,请参阅 Databricks Runtime 5.5 ML 扩展支持(EoS)。
Databricks Light 2.4 支持于 9 月 5 日结束,取而代之的是外延支持版本
2021 年 7 月 27 日
对原始 Databricks Light 2.4 的支持将于 9 月 5 日结束。 2021 年,但新的 Databricks Light 2.4 扩展支持(EoS) 将支持持续至 2022 年 7 月 27 日。 Databricks Light 2.4 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Light 2.4 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 Databricks 建议你尽快将 Light 工作负荷迁移到外延支持版本。
新的 Azure 区域:德国中西部
2021 年 7 月 27 日
Azure Databricks 现已在“德国中西部”区域提供。
Databricks 特征存储 UI 中提供的特征新鲜度信息(公共预览版)
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
Databricks 功能存储 UI 现在会显示上次将数据写入功能表的时间。 它还显示功能表是否由某个计划作业更新,如果是,则会显示作业的计划和状态。
最多显示 10,000 个结果行
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
以前,笔记本中最多显示 1000 行。 现在,如果表返回的行超过 1000 行,则你可以选择重新执行查询并显示最多 10,000 行。 需要 Databricks Runtime 8.4 或更高版本。 有关详细信息,请参阅 下载结果。
以源文件的形式批量导入和导出文件夹中的笔记本
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
现在可以将工作区文件夹中所有笔记本的源导出为 ZIP 存档。 可以将 ZIP 存档导入到另一工作区或导入到同一工作区中的其他文件夹,以重新创建所有导出的笔记本。 笔记本的源文件采用的是笔记本的默认语言。 例如,Python 笔记本的源是 Python 文件。
笔记本源文件不包括笔记本命令结果,适合在 CI/CD 管道中使用。 以前,从笔记本编辑器中一次可以仅导出一个笔记本的源,也可以将文件夹中的所有笔记本导出为 HTML 文件或 Databricks 存档(扩展名为 .dbc
),这将包括笔记本命令结果,除非在导出之前清除了笔记本。
有关导入和导出笔记本的详细信息,请参阅 “管理笔记本”。
现在,SQL 笔记本中的自动完成功能对 SQL 关键字使用全大写
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
在笔记本中使用 TAB
自动完成 SQL 关键字时,自动完成的结果现已改为大写。 例如,将显示 SELECT
而非 select
。 这不会影响查询,因为 SQL 关键字不区分大小写。
笔记本中可重排序且可调整大小的小组件
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
现在,可以通过单击笔记本小组件栏中的 来更改 Databricks 小组件的顺序和大小。 请参阅配置小组件设置。
Azure Databricks UI 可用性修复
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
此版本解决了阻止使用 ESC
键关闭 Azure Databricks UI 中的某些对话框的问题,其中包括:
- 作业 UI 中的“查看 JSON”对话框。
- 作业 UI 中的“编辑计划”对话框。
- 管理 UI 中的“单一注销配置”对话框。
- “创建笔记本”对话框。
创建新的 Lakeflow 声明式管道时,快速定义管道设置
2021 年 7 月 26 日 - 8 月 2 日:版本 3.51
创建新管道时,现在可以直接在 Lakeflow 声明性管道用户界面的 “创建管道 ”对话框中定义设置。
Databricks Runtime 8.4 和 8.4 ML 已正式发布;8.4 Photon 目前为公共预览版
2021 年 7 月 20 日
Databricks Runtime 8.4 和 8.4 ML 现已正式发布。 8.4 Photon 目前为公共预览版。
有关信息,请参阅 Databricks Runtime 8.4(EoS) 和 Databricks Runtime 8.4 for ML (EoS)的完整发行说明。
将 Spark SQL 与 Lakeflow 声明性管道 Python API 配合使用
2021 年 7 月 12 日至 19 日:版本 3.50
现在,可以将以下函数与 Lakeflow 声明性管道 Python API 配合使用:
-
spark.table
函数,用于对管道中定义的数据集执行批量读取。 -
spark.sql
函数,用于使用 SQL 查询来定义数据集。 SQL 查询可以使用 Lakeflow 声明性管道特定功能,包括使用LIVE
关键字引用内部数据集,并使用STREAM
关键字进行增量读取。
有关详细信息,请参阅 Python 语言参考。
通过 Azure Databricks 任务增强数据处理和分析(公共预览版)
2021 年 7 月 12 日至 19 日:版本 3.50
Databricks 很高兴地宣布 Azure Databricks 作业进行了更新,现在允许你安排并运行包含多个任务的作业。 你可以使用它定义任务依赖项的有向无环图 (DAG),从而更轻松地构建和监视可靠的数据和机器学习工作流。 此功能目前为公共预览版,默认处于禁用状态。
重要
启用此功能后,无法禁用它。
有关详细信息,请参阅 Lakeflow 职位 。
降低 Lakeflow 声明性管道默认群集的成本(公共预览版)
2021 年 7 月 12 日至 19 日:版本 3.50
若要控制成本,对 Lakeflow 声明性管道默认群集进行了以下更改:
- 将默认实例类型更改为
Standard_F8s
。 - 默认启用自动缩放,最小工作器数等于 1,最大工作器数等于 5。
在 Lakeflow 声明性管道 UI 中按名称对管道进行排序(公共预览版)
2021 年 7 月 12 日至 19 日:版本 3.50
现在,可以单击 Lakeflow 声明性管道用户界面中的 “名称 ”列标题,以升序(A -> Z)或降序(Z-> A)按名称对管道进行排序。
对“计算”页的更改
2021 年 7 月 12 日至 19 日:版本 3.50
“ 计算”页 中的“库”、“作业运行”、“Spark UI”和“日志”链接已删除。 若要查看有关库的信息或查看 Spark UI 和日志,请使用 群集详细信息页上的相应选项卡。 若要查看有关作业运行的信息,请在该页面上单击“转到作业运行”。
Databricks Runtime 5.5 LTS 支持终止,到 2021 年底均由 Databricks Runtime 5.5 外延支持替代
2021 年 7 月 9 日
对用于机器学习的 Databricks Runtime 5.5 LTS 和 Databricks Runtime 5.5 LTS 的支持于 7 月 10 日终止。 请参阅 Databricks 支持生命周期。
对 Databricks Runtime 5.5 外延支持的支持截止到 2021 年底。 Databricks Runtime 5.5 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 有关 Databricks Runtime 5.5 扩展支持与 Databricks Runtime 5.5 LTS 之间的差异的详细信息,请参阅 Databricks Runtime 5.5 扩展支持(EoS)。
Repos API(公共预览版)
2021 年 7 月 6 日
现在,可以使用新的 Repos API 以编程方式将 Azure Databricks 存储库更新到特定 Git 分支的最新版本或更新到某个标记。 有关详细信息,请参阅 Repos API。
Databricks Runtime 8.4(Beta 版本)
2021 年 7 月 1 日
Databricks Runtime 8.4 和 Databricks Runtime 8.4 ML 现已作为 Beta 版本发布。
有关信息,请参阅 Databricks Runtime 8.4(EoS) 和 Databricks Runtime 8.4 for ML (EoS)的完整发行说明。