2021 年 5 月

  • 项目

这些功能和 Azure Databricks 平台改进已于 2021 年 5 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上 Azure Databricks 服务的演进历史供参考，这些内容可能不适合 Azure 中国云。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks 机器学习：适用于整个 ML 生命周期的数据原生协作解决方案

2021 年 5 月 27 日

可以在 Azure Databricks UI 的边栏中选择新的机器学习角色，以便轻松访问有针对性地构建的、用于 ML 的新环境，包括模型注册表和四个公共预览版的新功能：

  • 一个新的仪表板页，其中提供了方便的资源、最近使用项目和入门链接。
  • 一个新的试验页，它将试验发现和管理功能集中到了一起。
  • 通过 AutoML 可根据数据自动生成 ML 模型，并更快投入生产环境。
  • 通过特征存储可对 ML 特征进行分类，并使其可用于训练和传送，从而提高重用性。 通过基于数据世系的特征搜索来利用自动记录的数据源，可使用无需对客户端应用程序进行更改的简化模型部署来提供特征用于训练和传送。

有关详细信息，请参阅 Databricks 上的 AI 和机器学习。

SQL Analytics 已重命名为 Databricks SQL

2021 年 5 月 27 日

SQL 分析已重命名为 Databricks SQL。 有关更多详细信息，请参阅 Databricks SQL 发行说明。

使用增量实时表创建和管理 ETL 管道（公共预览版）

2021 年 5 月 26 日

Databricks 很高兴地宣布推出增量实时表：可使提取、转换和加载 (ETL) 开发变得简单、可靠且可缩放的云服务。 增量实时表：

  • 提供直观且熟悉的声明性接口用于生成管道。
  • 可让你在不同的环境中监视数据处理管道，可视化依赖项，以及管理管道和依赖项。
  • 实现测试驱动开发，强制实施数据质量约束，以及应用统一的数据错误处理策略
  • 自动部署数据处理管道，使你可以轻松升级、回滚和以增量方式重新处理数据。

有关详细信息，请参阅什么是 Delta Live Tables？

Azure 现成 VM 现已正式发布

2021 年 5 月 24 日

使用 Azure 现成虚拟机创建 Azure Databricks 群集的功能现已推出正式版。 你现在可从成本显著降低的 Azure 现成实例中受益，并降低 Azure Databricks 的总拥有成本 (TCO)。 对于以下情况，可以选择使用 Azure 现成实例：

  • 使用 UI 创建群集，并选中“现成实例”复选框。

    注意

    Azure 现成 VM 功能目前在由世纪互联运营的 Azure 上不可用。

  • 使用 API 创建群集，并在请求的群集属性中指定 azure_attributes 字段。

  • 使用 UI 创建实例池，并选择“所有现成”选项。

  • 使用 API 创建实例池，并在创建实例池请求中指定 azure_attributes 字段。

使用自己的密钥对 Databricks SQL 查询和查询历史记录进行加密（公共预览版）

2021 年 5 月 20 日

有关详细信息，请参阅 Databricks SQL 发行说明。

增加了对已终止的通用群集数量的限制

2021 年 5 月 18 日：版本 3.46

目前，Azure Databricks 工作区中最多可包含 150 个已终止的通用群集。 以前的限制数量为 120 个。 有关详细信息，请参阅终止计算。 群集 API 请求返回的已终止通用群集的数量限制现在也是 150 个。

增加了对已固定的群集数量的限制

2021 年 5 月 18 日：版本 3.46

目前，Azure Databricks 工作区中最多可包含 70 个已固定的群集。 以前的限制数量为 50 个。 有关详细信息，请参阅固定计算

管理存储笔记本结果的位置（公共预览版）

2021 年 5 月 18 日：版本 3.46

现在，无论大小或运行类型如何，都可以选择将所有笔记本结果存储在根 Azure 存储实例中。 默认情况下，交互式笔记本的某些结果会存储在 Azure Databricks 中。 你可以使用新配置将这些结果存储在自己帐户中的根 Azure 存储实例中。 有关详细信息，请参阅配置笔记本结果存储位置。

此功能不会影响以作业形式运行的笔记本，这些笔记本的结果始终存储在根 Azure 存储实例中。

使用自己的密钥加密控制平面中的笔记本和机密数据（公共预览版）

2021 年 5 月 10 日

Azure Databricks 工作区包含一个托管在 Azure Databricks 托管订阅中的控制平面和一个部署在 Azure 订阅中的计算平面。 控制平面存储托管服务数据，其中包括笔记本命令、机密和其他工作区配置数据。 默认情况下，此数据使用 Azure Databricks 托管密钥进行加密，但你现在可以从 Azure Key Vault 实例添加密钥来加密此数据。 请参阅为托管服务启用客户管理的密钥。

Databricks Runtime 7.4 系列支持结束

2021 年 5 月 3 日

对 Databricks Runtime 7.4、用于机器学习的 Databricks Runtime 7.4 以及用于基因组学的 Databricks Runtime 7.4 的支持已于 5 月 3 日结束。 请参阅 Databricks runtime 支持生命周期。

存储库用户现在可以使用个人访问令牌与 Azure DevOps 集成

2021 年 5 月 3 日至 10 日：版本 3.45

除了 Microsoft Entra ID 访问令牌外，你现在还可以使用个人访问令牌通过 Azure DevOps 进行身份验证。 有关详细信息，请参阅设置 Databricks Git 文件夹 (Repos)。