2022 年 8 月

  • 项目

这些功能和 Azure Databricks 平台的改进功能已于 2022 年 8 月发布。

注意

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

它提供 Azure 公有云上 Azure Databricks 服务的演进历史供参考，这些内容可能不适合 Azure 中国云。

注意

发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

帐户用户可以访问帐户控制台

2022 年 8 月 1 日至 31 日

帐户用户可以访问 Azure Databricks 帐户控制台以查看其工作区列表。 帐户用户只能查看其有权访问的工作区。 请参阅管理 Azure Databricks 帐户。

帐户用户

工作区中的用户将作为帐户用户自动同步到帐户。 请参阅管理员如何将用户分配到帐户？。

Databricks ODBC 驱动程序 2.6.26

2022 年 8 月 29 日

已发布 Databricks ODBC 驱动程序版本 2.6.26（下载）。 此版本更新了查询支持。 现在，可以根据 API 请求以异步方式取消对 HTTP 连接的查询。

此版本还解决了以下问题：

  • 在 Spotfire 中使用自定义查询时，连接器无响应。

Databricks JDBC 驱动程序 2.6.29

2022 年 8 月 29 日

已发布 Databricks JDBC 驱动程序版本 2.6.29（下载）。 此版本解决了以下问题：

  • 在启用 Cloud Fetch 的情况下使用 HTTP 代理时，连接器不会返回大型数据集结果。
  • Databricks 许可文本中的小文本问题。 缺少文档链接。
  • JAR 文件名不正确。 它应是 DatabricksJDBC41.jar，而不是 SparkJDBC41.jar。 它应是 DatabricksJDBC42.jar，而不是 SparkJDBC42.jar。

Databricks 功能存储客户端现在可在 PyPI 上使用

2022 年 8 月 26 日

功能存储客户端现在可在 PyPI 上使用。 客户端需要 Databricks Runtime 9.1 LTS 或更高版本，并且可以使用以下方式安装：

%pip install databricks-feature-store

客户端已与用于机器学习的 Databricks Runtime 9.1 LTS 及更高版本打包在一起。

客户端不能在 Databricks 外部运行；但是，可以在本地安装它，以帮助进行单元测试和获得额外的 IDE 支持（例如，自动完成）。 有关详细信息，请参阅 Databricks 功能存储 Python 客户端

Unity Catalog 已正式发布

2022 年 8 月 25 日

Unity Catalog 已正式发布。 有关详细的功能公告和限制，请参阅 Unity Catalog GA 版本说明。

Delta Sharing 已正式发布

2022 年 8 月 25 日

Delta Sharing 现已正式发布（从 Databricks Runtime 11.1 开始）。 有关详细信息，请参阅使用 Delta Sharing 安全共享数据和 AI 资产。

  • Databricks 到 Databricks Delta Sharing 是完全托管的，无需交换令牌。
  • 通过易于使用的 UI 创建和管理提供者、接收者和共享。
  • 使用具有完整 CLI 和 Terraform 支持的 SQL 和 REST API 创建和管理提供者、接收者和共享。
  • 查询对数据的更改，或使用更改数据馈送共享增量版本。
  • 限制接收者对下载凭据文件或使用 IP 访问列表和区域限制查询数据的访问权限。
  • 默认情况下，启用使用 Delta Sharing 在同一个 Azure Databricks 帐户中共享数据。
  • 通过将 Delta Sharing 的管理委托给非管理员来强制分离职责。

Databricks Runtime 11.2（beta 版本）

2022 年 8 月 23 日

Databricks Runtime 11.2、11.2 Photon 和 11.2 ML 现已作为 beta 版本提供。

如需查看完整发行说明，请访问 Databricks Runtime 11.2（不受支持）和适用于机器学习的 Databricks Runtime 11.2（不受支持）。

减少连续管道的增量实时表 UI 中的消息量

2022 年 8 月 22 日至 29 日：版本 3.79

在此版本中，增量实时表连续管道中的实时表的状态转换仅在表进入正在运行状态之前显示在 UI 中。 与成功重新计算表相关的任何转换都不会显示在 UI 中，但在 METRICS 级别的增量实时表事件日志中可用。 UI 中仍会显示任何到失败状态的转换。 以前，所有状态转换都显示在实时表的 UI 中。 此更改可减少 UI 中显示的管道事件量，并使查找管道的重要消息变得更加容易。 若要详细了解如何查询事件日志，请参阅什么是增量实时表事件日志？。

更轻松地为增量实时表管道配置群集

2022 年 8 月 22 日至 29 日：版本 3.79

现在，可以在创建管道时直接在增量实时表 UI 中选择群集模式（自动缩放或固定大小）。 以前，配置自动缩放群集需要更改管道的 JSON 设置。 有关创建管道和新的“群集模式”设置的详细信息，请参阅对增量实时表管道运行更新。

联合身份验证已正式发布

2022 年 8 月 25 日

通过允许将帐户级用户、服务主体和组分配到经过联合身份验证的工作区，联合身份验证简化了 Azure Databricks 管理。 现在，可以在帐户控制台中一次性配置和管理所有用户、服务主体和组，而不是在每个工作区中单独重复配置。 若要了解有关联合身份验证的详细信息，请参阅管理员如何将用户分配到工作区？。 若要开始使用，请参阅管理员如何在工作区上启用联合身份验证？。

针对 Databricks 特征存储自动特征查找的其他数据类型支持

2022 年 8 月 22 日至 29 日：版本 3.79

现在，Databricks 功能存储支持自动功能查找的 BooleanType。 请参阅使用 Databricks 上的 MLflow 模型自动进行特征查找。

自带密钥：加密 Git 凭据

2022 年 8 月 23-29 日

可以对 Databricks Repos 的 Git 凭据使用加密密钥。

请参阅自带密钥：加密 Git 凭据。

群集 UI 预览和访问模式取代安全模式

2022 年 8 月 19 日

新的“创建群集”UI 处于预览状态。 请参阅计算配置参考。

Unity Catalog 限制（公共预览版）

2022 年 8 月 16 日

  • Scala、R 和使用机器学习运行时的工作负载仅在使用单用户访问模式的群集上受支持。 这些语言的工作负载不支持使用动态视图（出于行级或列级安全性考虑）。
  • 将 Unity Catalog 用作克隆的源或目标时，不支持浅表克隆。
  • Unity Catalog 表不支持 Bucket。 尝试在 Unity Catalog 中创建 Bucket 表的命令将引发异常。
  • 仅 Delta 表支持将 DataFrame 写入 Unity Catalog 的覆盖模式，不支持其他文件格式。 用户必须具有对父架构的 CREATE 特权，并且必须是现有对象的所有者。
  • 流式处理目前具有以下限制：
    • 使用共享访问模式的群集中不支持流式处理。 对于流式处理工作负载，必须使用单用户访问模式。
    • 尚不支持异步检查点。
    • 在所有用途或作业群集上持续超过 30 天的流式处理查询将引发异常。 对于长期运行的流式处理查询，请配置自动作业重试。
  • 当前不支持从增量实时表管道引用 Unity Catalog 表。
  • 以前在工作区中创建的组不能用于 Unity Catalog GRANT 语句。 这是为了确保跨工作区的组视图保持一致。 若要在 GRANT 语句中使用组，请在帐户控制台中创建组，并更新主体或组管理的任何自动化（例如 SCIM、Okta 和 Microsoft Entra ID 连接器以及 Terraform），用于引用帐户终结点而不是工作区终结点。

改进的工作区搜索现已正式发布

2022 年 8 月 9 日

现在可按名称搜索笔记本、库、文件夹、文件和存储库。 还可搜索笔记本中的内容并查看匹配内容的预览。 可以按类型筛选搜索结果。 请参阅搜索工作区对象。

在创建增量实时表数据集时使用生成的列

2022 年 8 月 8 日至 15 日：版本 3.78

现在，在增量实时表管道中定义表时，可以使用生成的列。 增量实时表 Python 和 SQL 接口支持生成的列。

通过基于摩纳哥的编辑器改进了对笔记本的编辑（实验性）

2022 年 8 月 8 日至 15 日

一种基于摩纳哥的新代码编辑器可用于 Python 笔记本。 若要启用此编辑器，请在用户设置页上的“编辑器设置”选项卡上选中“启用新的笔记本编辑器”选项。

新编辑器包括参数类型提示、悬停时的对象检查、代码折叠、多光标支持、列（框）选择以及笔记本修订历史记录中的并排比较。

对 Databricks Runtime 10.3 系列的支持已终止

2022 年 8 月 2日

对 Databricks Runtime 10.3 和用于机器学习的 Databricks Runtime 10.3 的支持已于 8 月 2 日结束。 请参阅 Databricks 运行时支持生命周期。

2022 年 8 月 2日

Azure Databricks 现在支持启用 Azure 专用链接连接，以实现用户与 Azure Databricks 工作区之间的专用连接，以及 Databricks 工作区基础结构中计算平面上的群集和控制平面上的核心服务之间的专用连接。 Azure 专用链接直接连接到服务，而无需向公共网络公开流量。 此功能目前以公共预览版提供。 请参阅启用 Azure 专用链接后端和前端连接。

Delta Live Tables 现支持仅刷新管道更新中的选定表

2022 年 8 月 2-24 日

现在可以仅对 Delta Live Tables 管道中的选定表启动更新。 此功能允许启动仅刷新选定表的管道更新，从而加速管道测试和错误解决步伐。 若要了解如何仅对选定的表开始更新，请参阅对增量实时表管道运行更新。

作业执行现在等待群集库完成安装

2022 年 8 月 1 日

群集启动时，Databricks 作业现在等待群集库完成安装，然后再执行。 以前，作业运行将等待库安装在所有用途群集上，前提是这些库被指定为作业的依赖库。 有关为作业配置依赖库的详细信息，请参阅配置依赖库。