2021 年 8 月
这些功能和 Azure Databricks 平台的改进功能已于 2021 年 8 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Repos GA
2021 年 8 月 31 日
Databricks Repos 现已正式发布。 借助 Repos,你可在 Azure Databricks 中创建新的 Git 存储库,也可以克隆现有存储库,在这些存储库中使用笔记本,遵循基于 Git 的开发和协作最佳做法,还可将 CI/CD 工作流与 Repos API 进行集成。 Databricks 存储库可与 GitHub、Bitbucket、GitLab 和 Azure DevOps 集成。 有关详细信息,请参阅 Databricks Git 文件夹的 Git 集成和 Repos API。
增加长时间运行的笔记本作业的超时时间
2021 年 8 月 23 日至 30 日:版本 3.53
现在可以运行最多需要 30 天才能完成的笔记本工作流作业。 以前,仅支持最多需要 48 小时才能完成的笔记本工作流作业。 有关详细信息,请参阅从一个 Databricks 笔记本运行另一个笔记本。
作业服务稳定性和可扩展性改进
2021 年 8 月 23 日至 30 日:版本 3.53
以下更改提高了作业服务的稳定性和可伸缩性:
- 每个新作业和运行都分配有一个较长的、唯一的、数字的、非连续的标识符。 使用作业 API 并依赖于固定标识符长度或连续的或单调递增标识符的客户端必须修改为接受较长、非连续和无序的标识符。
int64
的标识符类型保持不变,并为使用 IEEE 754 64 位浮点数的客户端(例如 JavaScript 客户端)保留兼容性。 number_in_job
字段的值(包含在对某些作业 API 请求的响应中)现在设置为与run_id
相同的值。
注意
此功能已延迟到 2022 年 2 月。
组成员身份授予的用户权利显示在管理控制台中
2021 年 8 月 23 日至 30 日:版本 3.53
现在会在管理控制台的“用户”选项卡上为每个用户显示由组成员资格授予的用户权利。
管理 MLflow 试验权限(公共预览版)
2021 年 8 月 23 日至 30 日:版本 3.53
现在可以从“试验”页管理 MLflow 试验的权限。 有关详细信息,请参阅更改试验权限。
从笔记本创建作业得到改进
2021 年 8 月 23 日至 30 日:版本 3.53
现在可以编辑和克隆与笔记本关联的作业。 有关详细信息,请参阅创建和管理计划的笔记本作业。
Ddsv4 系列 VM(公共预览版)
2021 年 8 月 23 日至 30 日:版本 3.53
Azure Databricks 现在支持 Ddsv4 系列 VM。 有关这些 VM 的详细信息,请参阅 Ddv4 和 Ddsv4 系列。
改进了对折叠笔记本标题的支持
2021 年 8 月 23 日至 30 日:版本 3.53
现在可以折叠或展开笔记本中的所有可折叠标题。 以前,一次只能折叠或展开一个标题。 有关详细信息,请参阅可折叠的标题。
Databricks Runtime 9.0 和 9.0 ML 现已正式发布;9.0 Photon 现在是公共预览版
2021 年 8 月 17 日
Databricks Runtime 9.0 和 9.0 ML 现已正式发布。 9.0 Photon 处于公共预览版。
有关信息,请参阅 Databricks Runtime 9.0 (EoS) 和用于 ML 的 Databricks Runtime 9.0 (EoS) 中的完整发行说明。
Databricks Runtime 9.0(beta 版本)
2021 年 8 月 10 日
Databricks Runtime 9.0 和 Databricks Runtime 9.0 ML 现已作为 Beta 版本发布。
有关信息,请参阅 Databricks Runtime 9.0 (EoS) 和用于 ML 的 Databricks Runtime 9.0 (EoS) 中的完整发行说明。
使用 Databricks CLI 以编程方式管理存储库(公共预览版)
2021 年 8 月 9 日至 16 日:版本 3.52
现在可以使用 Databricks 命令行界面 (CLI) 管理远程 Git 存储库。 请参阅 Databricks CLI (旧版)。
使用 Databricks REST API 以编程方式管理存储库(公共预览版)
2021 年 8 月 9 日至 16 日:版本 3.52
现在可以使用 Databricks REST API 管理远程 Git 存储库。 请参阅存储库 API。
Databricks Runtime 7.6 系列支持结束
2021 年 8 月 8 日
对 Databricks Runtime 7.6、用于机器学习的 Databricks Runtime 7.6 以及用于基因组学的 Databricks Runtime 7.6 的支持已于 8 月 8 日结束。 请参阅 Databricks 支持生命周期。
在与 Databricks 存储库交互时记录审核事件
2021 年 8 月 9 日至 13 日:版本 3.52
启用审核日志记录后,现在当你创建、更新或删除 Databricks 存储库时、列出与工作区关联的所有 Databricks 存储库以及同步 Databricks 存储库和远程存储库之间的更改时,会记录审核事件。 有关详细信息,请参阅 Git 文件夹事件。
改进了作业创建和管理工作流
2021 年 8 月 9 日至 13 日:版本 3.52
现在可以查看和管理与笔记本关联的作业。 具体而言,你可以启动作业运行、查看当前的或最近的运行、暂停或恢复作业的计划,以及删除作业。
已修改笔记本作业创建 UI 并添加了新的配置选项。 有关详细信息,请参阅创建和管理计划的笔记本作业。
现已提供 Photon 运行时(公共预览版)
2021 年 8 月 9 日至 13 日:版本 3.52
Photon 是 Azure Databricks 上新的原生矢量化引擎,直接与 Apache Spark API 兼容。 若要使用 Photon 预配集群,必须使用 Photon 映像。
简化了用于设置 Git 凭据的指令(公共预览版)
2021 年 8 月 9 日至 13 日:版本 3.52
“用户设置”页面的“Git 集成”选项卡上的说明已经过简化。
导入多个 .html
格式的笔记本
2021 年 8 月 9 日至 13 日:版本 3.52
现在可以在 .zip
文件中以 .html
格式导入多个笔记本。 以前,一次只能导入一个 .html
格式的笔记本。
该 .zip
文件可以包含 .html
格式或源文件格式(Python、Scala、SQL 或 R)的文件夹和笔记本。 .zip
文件不能同时包含两种格式。
针对增量实时表的可用性改进
2021 年 8 月 9 日至 13 日:版本 3.52
此版本包含对增量实时表运行时和 UI 的以下增强功能:
- 创建管道时,现在可以指定目标数据库来发布“增量实时表”和元数据。 请参阅将数据从 Delta Live Tables 发布到 Hive 元存储,详细了解如何发布数据集。
- 笔记本现在支持对 SQL 数据集定义中的关键字进行语法突出显示。 可以使用此语法突出显示来确保增量实时表 SQL 语句的正确性。 有关增量实时表 SQL 语法的详细信息,请参阅 SQL 语言参考。
- 增量实时表运行时现在会在运行管道之前发出管道图,从而使你可以更快在 UI 中查看图形。
- 现在,在运行任何 Python 代码之前,会安装笔记本中配置的所有 Python 库,确保管道中的任何 Python 笔记本都可以全局访问这些库。 请参阅 [_]](../../../delta-live-tables/external-dependencies.md)。