2025 年 2 月

这些功能和 Azure Databricks 平台改进于 2025 年 2 月发布。

注释

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注释

发布过程分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

Databricks ODBC 驱动程序 2.9.1

2025 年 2 月 28 日

Databricks ODBC 驱动程序版本 2.9.1 现在可从 ODBC 驱动程序下载页下载。

此版本包括以下增强功能和新功能:

  • 添加了对令牌直通 OAuth 流的令牌续订支持。
  • 为空闲语句添加了驱动程序端超时选项。 可以配置超时,以防止应用程序干扰结果提取操作,并在查询执行期间挂起。

此版本解决了以下问题:

  • 如果未设置初始目录,驱动程序现在将默认使用 hive_metastore 目录。
  • 驱动程序将 HTTP 用户代理从 thrift/0.9.0 更新为 thrift/0.17.0

此版本包含针对多个第三方库的升级功能:

  • OpenSSL 3.0.15(以前为 3.0.13)
  • libcURL 8.10.1(以前为 8.7.1)
  • ICU 74.2(以前为 71.1)
  • 适用于 OSX 和 Linux 的 Arrow 15.0.0(以前为 9.0.0)(在 Windows 中为 15.0.0)
  • lz4 1.10.0(以前为 1.9.4)
  • Expat 2.6.3(以前为 2.6.2)
  • Kerberos 1.21.3(以前为 1.21.2)

有关完整配置信息,请参阅随驱动程序下载包一起安装的 Databricks ODBC 驱动程序指南

将管道事件日志发布为 Unity Catalog 表

2025 年 2 月 28 日

现在可以将 DLT 管道的事件日志作为表发布到 Unity Catalog 中。 请参阅查询事件日志

Databricks 助手提供表见解和世系

2025 年 2 月 27 日

在已启用 Unity Catalog 的 Azure Databricks 工作区中,当你使用简单提示时,Databricks 助手可以提供表世系和见解。

请参阅使用 Databricks 助手获取表世系

使用“导入提供程序”对话框将开放的 Delta Sharing 共享直接导入 Azure Databricks

2025 年 2 月 26 日

已启用 Unity Catalog 的 Azure Databricks 工作区包括一个“导入提供程序”对话框,可用于使用 Open-to-Databricks (O2D) 共享将共享从非 Databricks Delta Sharing 服务器导入到 Unity Catalog 中。 此功能于 2024 年 7 月发布,但当时未公布。 使用此功能来导入提供程序时,用户的接收体验与使用“Databricks 到 Databricks”共享时基本相同:单击“创建目录”可创建共享目录,使用 Unity Catalog 访问控制可授予对共享表的访问权限,使用标准的 Unity Catalog 语法可查询这些共享,无需存储凭据文件,也无需在查询共享数据时指定凭据文件。 请参阅 Azure Databricks:使用开放共享连接器读取共享数据。

使用 OAuth 进行的从开放的共享提供程序到 Azure Databricks 的 Delta Sharing

2025 年 2 月 26 日

现在,Azure Databricks 支持用于开放到 Databricks (O2D) 共享的 OAuth 客户端凭据,即从非 Databricks Delta Sharing 服务器到已为 Unity Catalog 启用的 Azure Databricks 工作区。 这样,就可以更方便地从使用 OAuth 客户端凭据的 Delta Sharing 提供商网络(例如 Oracle Delta Share)导入共享。 此支持增加了在 O2D 模型中使用 Unity Catalog 作为接收方的显著优势,包括用于导入共享的“导入提供程序”用户界面,以及使用标准 Unity Catalog 语法查询这些共享的功能,无需存储凭据文件,也无需在查询共享数据时指定凭据文件。 请参阅 Azure Databricks:使用开放共享连接器读取共享数据。

对 Unity Catalog 视图进行流式读取的功能已正式发布

2025 年 2 月 25 日

从针对 Delta 表注册的 Unity Catalog 视图进行流式读取的功能现已正式发布。 请参阅将 Unity Catalog 视图作为流进行读取

初始快照流处理的事件时间排序功能已正式发布

2025 年 2 月 25 日

从 Delta 表处理结构化流式处理查询的 withEventTimeOrder 选项现已正式发布。 请参阅处理初始快照而不删除数据

异步进度跟踪功能已正式发布

2025 年 2 月 25 日

针对结构化流式处理的异步进度跟踪功能现已正式发布。 请参阅什么是异步进度跟踪?

现在,可计费使用量系统表已纳入专用终结点网络费用

2025 年 2 月 25 日

现在,可计费使用量系统表现包含的字段有助于监视通过专用终结点将无服务器计算连接到资源而产生的成本。

MLflow 跟踪功能已正式发布

2025 年 2 月 25 日

MLflow 跟踪功能现已正式发布。 通过跟踪功能,可以跟踪与模型或代理请求的每个步骤相关的输入、输出和其他元数据。

跟踪功能可用于查明错误和意外行为的来源,比较不同模型或代理的性能,以及构建新的数据集以提高质量。 请参阅使用 MLflow 跟踪观测代理

Databricks 市场中的“新建筛选器”面板

2025 年 2 月 25 日

Databricks 市场现在包括一个改进的筛选面板,旨在简化搜索和浏览过程。 此更新增强了可发现性,便于用户按产品、提供商、价格等进行搜索。

OAuth 机密生存期现在可配置

2025 年 2 月 24 日

服务主体的 OAuth 机密现在具有可配置的生存期。 新创建的 OAuth 机密默认的最长生存期为两年,而以前,它们不会过期。 请参阅通过服务主体使用 OAuth 授权对 Azure Databricks 资源进行无须人工干预的访问

预览卷中的文件

2025 年 2 月 18 日

现在,卷会在目录资源管理器中显示常见文件格式的预览,包括图像、文本文件、JSON、yaml 和 CSV。 请参阅预览卷中的文件

模型服务计费记录现在每五分钟记录一次

2025 年 2 月 18 日

为了提高成本可观测性,现在每五分钟记录一次模型服务和预配吞吐量使用情况的计费记录。 以前,记录是按一小时间隔记录的。

自动 liquid 聚类分析(公共预览版)

2025 年 2 月 18 日

现在可以在 Unity Catalog 管理的表上启用自动 liquid 聚类分析。 自动 liquid 聚类分析可智能选择聚类分析键,以优化查询的数据布局。 请参阅 自动液体聚类

Databricks Runtime 16.2 已正式发布

2025 年 2 月 10 日

Databricks Runtime 16.2 和 Databricks Runtime 16.2 ML 现已推出正式版。

请参阅 Databricks Runtime 16.2Databricks Runtime 16.2 for Machine Learning

支持在标准访问模式计算(以前称为共享访问模式)上对 foreachforeachBatchflatMapGroupsWithState 进行 Scala 流式处理

2025 年 2 月 7 日

在 Databricks Runtime 16.1 及更高版本上,标准访问模式计算现在支持 Scala 流式处理函数 DataStreamWriter.foreach。 在 Databricks Runtime 16.2 及更高版本上,支持函数 DataStreamWriter.foreachBatchKeyValueGroupedDataset.flatMapGroupsWithState

Unity Catalog 治理的使用服务凭据对外部云服务的访问现已正式发布

2025 年 2 月 7 日

服务凭据通过 Azure Databricks 的云租户服务实现简单且安全的身份验证。 服务凭据已推出正式版,现在,除了公共预览版支持的 Python SDK 之外,还支持 Scala SDK。 完全正式版功能需要 Databricks Runtime 16.2 或更高版本的计算支持。 请参阅 “创建服务凭据”。

现在,连接到 SQL 仓库的笔记本支持以 Excel 格式下载

2025 年 2 月 6 日

对于连接到 SQL 仓库的笔记本,现在可以下载包含表格数据的单元格结果作为 Excel 文件。 请参阅下载结果

使用 DLT 接收器将数据从管道写入外部服务(公共预览版)

2025 年 2 月 5 日

DLT sink API 目前为公共预览版。 使用 DLT 接收器,可以将管道转换的数据写入目标(例如 Apache Kafka 或 Azure 事件中心等事件流式处理服务)以及由 Unity Catalog 或 Hive 元存储管理的外部表。 请参阅使用接收器,通过 DLT 将记录流式传输到外部服务

自动标识管理(公共预览版)

2025 年 2 月 5 日

现在可以将用户、服务主体和组从 Microsoft Entra ID 添加到 Azure Databricks,而无需使用自动标识管理在 Microsoft Entra ID 中配置应用程序。 启用自动标识管理后,可以直接在标识联合工作区中搜索Microsoft Entra ID 用户、服务主体和组,并将其添加到工作区。 Databricks 将 Microsoft Entra ID 用作记录源,因此 Azure Databricks 会采用对组成员身份所做的任何更改。 自动标识管理还支持嵌套组。

请参阅从 Microsoft Entra ID 自动同步用户和组