2021 年 7 月

这些功能和 Azure Databricks 平台的改进已于 2021 年 7 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

使用 Databricks REST API 管理 MLflow 试验权限

2021 年 7 月 29 日 - 8 月 2 日:版本 3.51

现在可以使用 Databricks REST API 的权限 API 来管理哪些用户可以读取、编辑或管理 MLflow 试验。 请参阅 权限 API

Azure Databricks Web 界面已本地化为葡萄牙语和法语(公共预览版)

2021 年 7 月 29 日

现在可以使用法语和葡萄牙语的 Azure Databricks,接下来的几个季度将计划开放更多语言。 转到 Web UI 右上角菜单中的“设置”,然后单击“首选项”选项卡以更改语言。

Databricks Runtime 5.5 LTS 的机器学习支持结束,将由扩展支持版本取代。

2021 年 7 月 27 日

Databricks Runtime 5.5 ML LTS 支持于 2021 年 7 月 27 日结束,但 2021 年底将支持新的 Databricks Runtime 5.5 ML 扩展支持(EoS)。 Databricks Runtime 5.5 ML 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 ML LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 有关 Databricks Runtime 5.5 扩展支持与 Databricks Runtime 5.5 LTS 之间的差异的详细信息,请参阅 Databricks Runtime 5.5 ML 扩展支持(EoS)。

Databricks Light 2.4 支持于 9 月 5 日结束,取而代之的是外延支持版本

2021 年 7 月 27 日

对原始 Databricks Light 2.4 的支持将于 9 月 5 日结束。 2021 年,但新的 Databricks Light 2.4 扩展支持(EoS) 将支持持续至 2022 年 7 月 27 日。 Databricks Light 2.4 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Light 2.4 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 Databricks 建议你尽快将 Light 工作负荷迁移到外延支持版本。

新的 Azure 区域:德国中西部

2021 年 7 月 27 日

Azure Databricks 现已在“德国中西部”区域提供。

Databricks 特征存储 UI 中提供的特征新鲜度信息(公共预览版)

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

Databricks 功能存储 UI 现在会显示上次将数据写入功能表的时间。 它还显示功能表是否由某个计划作业更新,如果是,则会显示作业的计划和状态。

最多显示 10,000 个结果行

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

以前,笔记本中最多显示 1000 行。 现在,如果表返回的行超过 1000 行,则你可以选择重新执行查询并显示最多 10,000 行。 需要 Databricks Runtime 8.4 或更高版本。 有关详细信息,请参阅 下载结果

以源文件的形式批量导入和导出文件夹中的笔记本

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

现在可以将工作区文件夹中所有笔记本的源导出为 ZIP 存档。 可以将 ZIP 存档导入到另一工作区或导入到同一工作区中的其他文件夹,以重新创建所有导出的笔记本。 笔记本的源文件采用的是笔记本的默认语言。 例如,Python 笔记本的源是 Python 文件。

笔记本源文件不包括笔记本命令结果,适合在 CI/CD 管道中使用。 以前,从笔记本编辑器中一次可以仅导出一个笔记本的源,也可以将文件夹中的所有笔记本导出为 HTML 文件或 Databricks 存档(扩展名为 .dbc),这将包括笔记本命令结果,除非在导出之前清除了笔记本。

有关导入和导出笔记本的详细信息,请参阅 “管理笔记本”。

现在,SQL 笔记本中的自动完成功能对 SQL 关键字使用全大写

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

在笔记本中使用 TAB 自动完成 SQL 关键字时,自动完成的结果现已改为大写。 例如,将显示 SELECT 而非 select。 这不会影响查询,因为 SQL 关键字不区分大小写。

笔记本中可重排序且可调整大小的小组件

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

现在,可以通过单击笔记本小组件栏中的 编辑图标 来更改 Databricks 小组件的顺序和大小。 请参阅配置小组件设置

Azure Databricks UI 可用性修复

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

此版本解决了阻止使用 ESC 键关闭 Azure Databricks UI 中的某些对话框的问题,其中包括:

  • 作业 UI 中的“查看 JSON”对话框。
  • 作业 UI 中的“编辑计划”对话框。
  • 管理 UI 中的“单一注销配置”对话框。
  • “创建笔记本”对话框。

创建新的 Lakeflow 声明式管道时,快速定义管道设置

2021 年 7 月 26 日 - 8 月 2 日:版本 3.51

创建新管道时,现在可以直接在 Lakeflow 声明性管道用户界面的 “创建管道 ”对话框中定义设置。

Databricks Runtime 8.4 和 8.4 ML 已正式发布;8.4 Photon 目前为公共预览版

2021 年 7 月 20 日

Databricks Runtime 8.4 和 8.4 ML 现已正式发布。 8.4 Photon 目前为公共预览版。

有关信息,请参阅 Databricks Runtime 8.4(EoS)Databricks Runtime 8.4 for ML (EoS)的完整发行说明。

将 Spark SQL 与 Lakeflow 声明性管道 Python API 配合使用

2021 年 7 月 12 日至 19 日:版本 3.50

现在,可以将以下函数与 Lakeflow 声明性管道 Python API 配合使用:

  • spark.table 函数,用于对管道中定义的数据集执行批量读取。
  • spark.sql 函数,用于使用 SQL 查询来定义数据集。 SQL 查询可以使用 Lakeflow 声明性管道特定功能,包括使用 LIVE 关键字引用内部数据集,并使用 STREAM 关键字进行增量读取。

有关详细信息,请参阅 Python 语言参考

通过 Azure Databricks 任务增强数据处理和分析(公共预览版)

2021 年 7 月 12 日至 19 日:版本 3.50

Databricks 很高兴地宣布 Azure Databricks 作业进行了更新,现在允许你安排并运行包含多个任务的作业。 你可以使用它定义任务依赖项的有向无环图 (DAG),从而更轻松地构建和监视可靠的数据和机器学习工作流。 此功能目前为公共预览版,默认处于禁用状态。

重要

启用此功能后,无法禁用它。

有关详细信息,请参阅 Lakeflow 职位

降低 Lakeflow 声明性管道默认群集的成本(公共预览版)

2021 年 7 月 12 日至 19 日:版本 3.50

若要控制成本,对 Lakeflow 声明性管道默认群集进行了以下更改:

  • 将默认实例类型更改为 Standard_F8s
  • 默认启用自动缩放,最小工作器数等于 1,最大工作器数等于 5。

在 Lakeflow 声明性管道 UI 中按名称对管道进行排序(公共预览版)

2021 年 7 月 12 日至 19 日:版本 3.50

现在,可以单击 Lakeflow 声明性管道用户界面中的 “名称 ”列标题,以升序(A -> Z)或降序(Z-> A)按名称对管道进行排序。

对“计算”页的更改

2021 年 7 月 12 日至 19 日:版本 3.50

计算”页 中的“库”、“作业运行”、“Spark UI”和“日志”链接已删除。 若要查看有关库的信息或查看 Spark UI 和日志,请使用 群集详细信息页上的相应选项卡。 若要查看有关作业运行的信息,请在该页面上单击“转到作业运行”。

Databricks Runtime 5.5 LTS 支持终止,到 2021 年底均由 Databricks Runtime 5.5 外延支持替代

2021 年 7 月 9 日

对用于机器学习的 Databricks Runtime 5.5 LTS 和 Databricks Runtime 5.5 LTS 的支持于 7 月 10 日终止。 请参阅 Databricks 支持生命周期

对 Databricks Runtime 5.5 外延支持的支持截止到 2021 年底。 Databricks Runtime 5.5 外延支持使用 Ubuntu 18.04.5 LTS,而不是原始 Databricks Runtime 5.5 LTS 中使用的 Ubuntu 16.04.6 LTS 发行版(已弃用)。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日结束。 有关 Databricks Runtime 5.5 扩展支持与 Databricks Runtime 5.5 LTS 之间的差异的详细信息,请参阅 Databricks Runtime 5.5 扩展支持(EoS)。

Repos API(公共预览版)

2021 年 7 月 6 日

现在,可以使用新的 Repos API 以编程方式将 Azure Databricks 存储库更新到特定 Git 分支的最新版本或更新到某个标记。 有关详细信息,请参阅 Repos API

Databricks Runtime 8.4(Beta 版本)

2021 年 7 月 1 日

Databricks Runtime 8.4 和 Databricks Runtime 8.4 ML 现已作为 Beta 版本发布。

有关信息,请参阅 Databricks Runtime 8.4(EoS)Databricks Runtime 8.4 for ML (EoS)的完整发行说明。