2023 年 3 月
这些功能和 Azure Databricks 平台改进已于 2023 年 3 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Terraform 提供程序已更新到版本 1.14.0
2023 年 3 月 31 日
版本 1.14.0 添加了一个示例,用于自动轮换访问令牌、run_if
条件以及 databricks_job
资源的文件到达触发器,等等。 有关更多详细信息,请参阅版本 1.14.0 的更改日志。
Databricks Runtime 7.3 LTS ML 支持结束
2023 年 3 月 31 日
对用于机器学习的 Databricks Runtime 7.3 LTS 的支持已于 3 月 31 日结束。 请参阅 Databricks 支持生命周期。
使用 TorchDistributor 进行分布式训练
2023 年 3 月 27 日
使用 Databricks Runtime 13.0 ML 及更高版本,可以通过 TorchDistributor 在 PyTorch ML 模型上进行分布式训练。 请参阅使用 TorchDistributor 进行分布式训练。
TorchDistributor 是 PySpark 中的一个开源模块,可帮助用户在其 Spark 群集上使用 PyTorch 进行分布式训练,因此它允许你将 PyTorch 训练作业作为 Spark 作业启动。
Databricks Runtime 13.0(Beta 版本)
2023 年 3 月 24 日
Databricks Runtime 13.0 和 Databricks Runtime 13.0 ML 现已作为 Beta 版本发布。
请参阅 Databricks Runtime 13.0 (EoS) 和用于机器学习的 Databricks Runtime 13.0 (EoS)。
改进了文件编辑器
2023 年 3 月 24 日
文件编辑器已更新,为你的文件编辑体验带来许多笔记本功能。 此外,你现在可以直接从文件编辑器执行 Python、SQL、R 和 Scala 文件。 有关详细信息,请参阅使用 Databricks 笔记本和文件编辑器。
更改现有 Azure Databricks 工作区的 DBFS 根存储冗余
2023 年 3 月 23 日
用户现在可以选择更改其 DBFS 根存储帐户的冗余。 请参阅更改工作区存储冗余选项。
Repos 中的 .ipynb (Jupyter) 笔记本支持(预览版)
2023 年 3 月 22 日
Repos 中提供了对 Jupyter 笔记本(.ipynb 文件)的支持。 可以使用 .ipynb 笔记本来克隆存储库,在 Databricks UI 中工作,然后将其作为 .ipynb 笔记本提交和推送。 保留笔记本仪表板之类的元数据。 管理员可以对是否可以提交输出进行控制。
也可执行以下操作:
- 创建新的 .ipynb 笔记本。
- 将笔记本转换为 .ipynb 文件格式。
- 将差异视为“代码差异”(单元格中的代码更改)或“原始差异”(JSON 中的代码更改,包括元数据)。
支持 reload4j
2023 年 3 月 21 日
Reload4j 1.2.19 正在替换 Databricks Runtime 10.4 及更低版本中的 log4j。
中国东部 2 区域的新 IP 地址
2023 年 3 月 15 日
Azure Databricks 为 chinaeast2
区域添加了一个新的专用控制平面。 在“中国东部 2”区域,如果在自己的 VNet 中托管 Azure Databricks 工作区(也称为 VNet 注入),可能会使用自定义路由 (UDR) 管理工作区的网络流量。 如果是这样,则必须使用 Azure Databricks 服务和资产的 IP 地址和域中列出的其他 IP 地址和域更新这些路由。
并行执行笔记本中的 SQL 单元格
2023 年 3 月 15 日
现在可以在附加到交互式群集时并行运行 Azure Databricks 笔记本中的 SQL 单元格。 请参阅并行执行 SQL 单元格。
使用存储在 Git 存储库中的 Python 代码创建作业任务
2023 年 3 月 14 日
你现在可以在将 Python 任务添加到 Azure Databricks 作业时从 Git 提供程序检索 Python 代码,从而简化作业与 CI/CD 工作流的集成。 请参阅将 Git 与作业配合使用。
Databricks Terraform 提供程序已更新到版本 1.13.0
2023 年 3 月 14 日
版本 1.13.0 添加了 databricks_sql_alert
资源等内容。 有关更多详细信息,请参阅版本 1.13.0 的更改日志。
Databricks Terraform 提供程序已更新到版本 1.12.0
2023 年 3 月 9 日
版本 1.12.0 添加了 databricks_model_serving
资源,弃用了 databricks_sql_query
资源中的 schedule
块,等等。 有关更多详细信息,请参阅版本 1.12.0 的更改日志。
SQL 管理控制台与工作区管理控制台合并
2023 年 3 月 9 日
SQL 管理控制台已与常规管理设置合并,以便为管理员用户创建统一的体验。 现在可从管理控制台访问所有 SQL 管理员设置。
模型服务已正式发布
2023 年 3 月 7 日
模型服务(以前称为无服务器实时推理)现已正式发布。
模型服务提供高度可用的低延迟服务来部署模型。 该服务可自动纵向扩展或缩减,以满足所选并发范围内的需求变化。
自动功能查找已正式发布
2023 年 3 月 7 日
模型服务自动特征查找功能现已正式发布。
对于使用 UDR 的新工作区,Azure 存储 IP 需要额外的 UDR
2023 年 3 月 6 日
由于新工作区的 DBFS 根存储发生变化,使用 VNet 注入并通过 IP 地址(而不是建议的服务标记)定义用户定义的路由 (UDR) 的新工作区必须为每个 VNet 添加额外的 Azure UDR。 若要配置两个 UDR,请参阅 DBFS 根存储 IP 地址。 此项更改不会影响现有工作区。
Azure Databricks DBFS 根存储为新工作区使用 Azure Data Lake Storage Gen2
2023 年 3 月 6 日
新的 Azure Databricks 工作区使用 Azure Data Lake Storage Gen2 存储帐户作为 DBFS 根。 现有的 Azure Databricks 工作区继续使用 Blob 存储作为 DBFS 根。 请参阅 Azure Data Lake Storage Gen2 简介。
推出新的目录资源管理器
2023 年 3 月 6 日
现在,所有使用 Databricks Runtime 7.3 或更高版本的受支持版本的工作区中都提供了新版本的目录资源管理器。
使用“见解”选项卡查看表的活跃查询和用户
2023 年 3 月 6 日
现在,可以使用目录资源管理器中的“见解”选项卡查看 Unity Catalog 中注册的任何表的最活跃查询和用户。 必须对表拥有 SELECT
特权才能查看此数据,并且你只会看到自己有权查看的查询。 请参阅查看表的频繁查询和用户。
全局搜索中提供完全匹配搜索
2023 年 3 月 3 日
现在可以在全局搜索中使用引号搜索确切短语。 请参阅搜索工作区项目。
查看 Azure Databricks 作业的世系信息
2023 年 3 月 3 日
如果在工作区中启用了 Unity Catalog,则可以在 Azure Databricks 作业 UI 中查看作业的世系信息,包括供作业从中读取数据的上游表,以及供作业将数据写入其中的下游表。 请参阅查看作业的世系信息。
Databricks Runtime 12.2 LTS 和 Databricks Runtime 12.2 LTS ML 已推出正式版
2023 年 3 月 2 日
Databricks Runtime 12.2 LTS 和 Databricks Runtime 12.2 LTS ML 现已推出正式版。
请参阅 Databricks Runtime 12.2 LTS 和用于机器学习的 Databricks Runtime 12.2 LTS。
工作区文件现已推出公共预览版
2023 年 3 月 6 日
现在可以在 Azure Databricks 中使用非笔记本文件。 工作区文件默认已在所有工作区中启用。 请参阅什么是工作区文件?。