2021 年 9 月
这些功能和 Azure Databricks 平台的改进已于 2021 年 9 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
Databricks Runtime 10.0 (beta 版本)
2021 年 9 月 29 日
Databricks Runtime 10.0、10.0 Photon 和 10.0 ML 现已作为 Beta 版本发布。
请参阅 Databricks Runtime 10.0 (EoS) 和用于 ML 的 Databricks Runtime 10.0 (EoS) 中的完整发行说明。
Databricks ODBC 驱动程序 2.6.18
2021 年 9 月 28 日
已发布 Databricks ODBC 驱动程序版本 2.6.18(下载)。 此版本为使用 Unity Catalog 做好准备,具体方法是整合三级命名空间支持,并实现了跨多个目录进行管理。
通过现有工作区使用客户管理的密钥进行加密
2021 年 9 月 24 日
现在,你可以更新现有工作区以使用客户管理的密钥进行加密。 以前,只能在新工作区中使用客户管理的密钥来启用加密。 这有助于满足业务和安全要求,并使你能够更好地控制工作区对象。 有关详细信息,请参阅为托管服务启用客户管理的密钥。
Databricks Runtime 9.1 LTS 和 9.1 LTS ML 现已正式发布;9.1 LTS Photon 目前为公共预览版
2021 年 9 月 23 日
Databricks Runtime 9.1 LTS 和 9.1 LTS ML 现已正式发布。 9.1 LTS Photon 处于公共预览版。 对这些映像的支持将持续至 2023 年 9 月。
注意
LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期。
有关信息,请参阅 Databricks Runtime 9.1 LTS 和用于机器学习的 Databricks Runtime 9.1 LTS 提供的完整发行说明。
对 Databricks Runtime 8.1 系列的支持结束
2021 年 9 月 22 日
对 Databricks Runtime 8.1 和用于机器学习的 Databricks Runtime 8.1 的支持已于 9 月 22 日结束。 请参阅 Databricks 支持生命周期。
Databricks JDBC 驱动程序 2.6.19
2021 年 9 月 22 日
已发布 Databricks JDBC 驱动程序版本 2.6.19(下载)。 此版本添加了对 Cloud Fetch 的支持,它是一种通过云存储并行提取数据的机制,可以更快地将数据提供给 BI 工具。 此版本还通过删除客户端与 Databricks Runtime 之间不必要的往返来减少延迟。 请参阅如何通过 BI 工具实现高带宽连接。
跨工作区共享功能表
2021 年 9 月 20 日至 27 日:版本 3.55
特征存储现在支持在多个工作区之间共享特征表。 例如,可以从自己的工作区创建、写入或读取集中式特征存储中的特征表。 多个团队共享对特征表的访问权限或组织有多个工作区来处理不同的开发阶段时,这非常有用。
有关详细信息,请参阅跨工作区共享特征表(旧版)。
正式发布多个 Azure GPU 实例类型
2021 年 9 月 20 日至 27 日:版本 3.55
对使用以下 Azure GPU 实例类型的群集的支持现已正式发布:
- Azure NC v2 实例:Standard_NC6s_v2、Standard_NC12s_v2、Standard_NC24s_v2、Standard_NC24rs_v2
- Azure NC T4 v3 实例:Standard_NC4as_T4_v3、Standard_NC8as_T4_v3、Standard_NC16as_T4_v3、Standard_NC64as_T4_v3
有关支持的 Azure GPU 实例类型的完整列表,请参阅已启用 GPU 的计算。
Repos 现在支持
2021 年 9 月 20 日至 27 日:版本 3.55
Databricks 存储库现在支持 .gitignore
,可用于指定 Git 不跟踪某些文件。 如果将某个文件添加到存储库,并且不希望 Git 跟踪该文件,请创建一个 .gitignore
文件或使用从远程存储库克隆的文件,并添加文件名(包括文件扩展名)。
.gitignore
仅适用于 Git 未跟踪的文件。 如果将 Git 已跟踪的文件添加到 .gitignore
文件,则该文件仍将由 Git 跟踪。
有关 Databricks 存储库的详细信息,请参阅 Databricks Git 文件夹的 Git 集成。
增强的作业 UI 现已成为所有工作区的标准
2021 年 9 月 20 日至 27 日:版本 3.55
增强的作业 UI 采用了“作业详细信息”侧面板,可用于访问常用作业设置,现在是所有工作区的标准配置。 不再支持经典 UI,并且从所有工作区中删除了“切换回经典 UI”按钮。 有关使用新作业 UI 的更多信息,请参阅计划和编排工作流。
Databricks Runtime 9.1(beta 版本)
2021 年 9 月 14 日
Databricks Runtime 9.1、9.1 Photon 和 9.1 ML 现已作为 Beta 版本发布。
有关信息,请参阅 Databricks Runtime 9.1 LTS 和用于机器学习的 Databricks Runtime 9.1 LTS 提供的完整发行说明。
简化 Azure Databricks 作业设置的管理
2021 年 9 月 8 日
在作业 UI 新的“作业详细信息”侧边面板中,现在可以管理 Azure Databricks 作业的常见设置,如作业计划、群集设置、最大并发运行数和作业警报。
Databricks SQL 公共预览版在所有工作区中可用
2021 年 9 月 7 日
Databricks SQL(一个直观的环境,可用于运行临时查询和基于数据湖中存储的数据创建仪表板)已开始向所有工作区推出公共预览版。 有关详细信息,请参阅 Databricks SQL 发行说明。
从特征存储中删除特征表
2021 年 9 月 7 日至 13 日:版本 3.54
现在可以从 Databricks 特征存储中删除特征表。
在增量实时表 UI 中授予查看管道权限(公共预览版)
2021 年 9 月 7 日至 13 日:版本 3.54
现在可以使用增量实时表 UI 中的“编辑权限”按钮授予用户查看管道的权限。
使用增量实时表减少群集资源使用(公共预览版)
2021 年 9 月 7 日至 13 日:版本 3.54
现在,你可以使用单个工作器节点为增量实时表管道创建群集,从而更好地控制管道使用的群集资源。 若要使用单个工作器节点创建群集,请在创建新管道时将“最小工作器数目”设置为 0,将“最大工作器数目”设置为 1。
增量实时表的开发优化(公共预览版)
2021 年 9 月 7 日至 13 日:版本 3.54
默认情况下,在增量实时表中创建的新管道现在以开发模式运行。 开发模式通过重复使用群集并禁用自动重试来优化管道的执行。 以前,新管道默认采用生产模式。
在增量实时表管道中使用 MLflow 模型(公共预览版)
2021 年 9 月 7 日至 13 日:版本 3.54
你现在可以从 MLflow 模型注册表提取模型,并在增量实时表管道中将这些模型用于推理。 有关在 Azure Databricks 中使用 MLFlow 模型注册表的详细信息,请参阅使用 MLflow 进行 ML 生命周期管理。
按名称查找增量实时表管道(公共预览版)
2021 年 9 月 7 日至 13 日:版本 3.54
你现在可以在“管道”页上筛选管道列表,从而可以更轻松地查找特定管道。 可以按管道名称或与一个或多个管道名称匹配的部分文本进行筛选。
Azure Databricks 作业现支持 PyTorch TorchScript 和其他第三方库
2021 年 9 月 7 日至 13 日:版本 3.54
已修复导致 Python 任务中某些第三方库(例如 PyTorch TorchScript)失败的问题。
对 Databricks Runtime 8.0 系列的支持结束
2021 年 9 月 2 日
对 Databricks Runtime 8.0 和用于机器学习的 Databricks Runtime 8.0 的支持已于 9 月 2 日结束。 请参阅 Databricks 支持生命周期。