这些功能和 Azure Databricks 平台改进于 2025 年 7 月发布。
注释
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注释
发布过程分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
同步表现在按流量计费并计费
2025 年 7 月 31 日
同步表现在会自动按流量计费和计费。 同步表使用 Lakeflow 声明性管道将数据从 Unity 目录表同步到 Lakebase 数据库实例。 跟踪并报告 system.billing.usage
所有使用情况。
新的计算策略表单 (公共预览版)
2025 年 7 月 31 日
新的计算策略表单使用 UI 元素来帮助配置策略定义,使在 UI 中编写计算策略更简单。
新窗体包括以下更改:
- 新的定义下拉菜单允许你配置规则,而无需引用策略语法。
- 每个用户的最大计算资源数、每小时的最大 DBU 数和群集类型设置已在 “高级选项 ”部分下移动。
- 标记定义现在有自己的独立部分。
- 策略权限设置已移出策略窗体,现在使用策略概述页中的权限模式进行设置。
请参阅 使用新策略窗体(公共预览版)配置策略定义。
Delta 共享支持共享受 ABAC 策略保护的表和模式(Beta 版)
2025 年 7 月 31 日
Delta Sharing 提供程序现在可以将受基于属性的访问控制(ABAC)保护的表和模式添加到 Delta 分享中。 策略不控制收件人的访问权限,因此收件人具有对共享资产的完全访问权限。 收件人可以应用自己的 ABAC 策略。
请参阅将由 ABAC 策略保护的表和架构添加到共享中以及读取由 ABAC 策略保护的数据资产。
共享流式处理表和具体化视图已正式发布
2025 年 7 月 30 日
利用 Delta Sharing 共享流式处理表和具体化视图现已普遍可用。 在共享流式处理表和物化视图时,接收者和提供者的限制更少。
请参阅 将流式处理表添加到共享、 向共享添加具体化视图以及 读取共享流式处理表和具体化视图。
作业和管道列表现在包括“Databricks SQL 管道”
2025 年 7 月 29 日
作业和管道列表现在包括使用 Databricks SQL 创建的物化视图和流式表的管道。
在元存储上启用增量共享所需的组织名称
2025 年 7 月 29 日
在元存储上启用增量共享时,如果要与不在帐户中的 Azure Databricks 收件人共享数据,则必须指定组织名称。 如果可能,不带组织名称的现有提供商名称会自动更新,以包含帐户详细信息,目的是使它们更易于阅读。 可读组织名称可帮助收件人识别其共享提供商。
请参阅在元存储上启用增量共享和查看提供程序。
单次任务现在在usage
系统表中正确记录了任务名称。
2025 年 7 月 28 日
usage_metadata.job_name
表中的system.billing.usage
值现在包含通过一次性运行API触发的运行项目名称。 如果在请求正文中未提供运行名称,则 job_name
字段将记录为 Untitled
。
无服务器计算运行时已更新为 17.0
2025 年 7 月 28 日
笔记本和任务的无服务器计算现在使用升级后的运行环境,大致相当于 Databricks Runtime 17.0。 请参阅无服务器计算发布说明。
禁用 DBFS 根目录和装载功能现已进入公共预览阶段
2025 年 7 月 28 日
现在可以在现有的 Azure Databricks 工作区中禁用对 Databricks 文件系统 (DBFS) 根目录 和 挂载点 的访问权限。 请参阅 禁用对现有 Azure Databricks 工作区中 DBFS 根目录和挂载点的访问。
对笔记本编辑体验的改进
2025 年 7 月 25 日
对笔记本编辑体验进行了以下改进:
- 添加拆分视图以并排编辑笔记本。 请参阅并排编辑笔记本。
- 现在,在笔记本中按
Cmd + F
(Mac) 或Ctrl + F
(Windows) 会打开原生 Databricks 查找和替换工具。 这样,就可以在整个笔记本中快速搜索和替换文本,包括当前视区外的内容。 请参阅查找和替换文本。 - 使用编辑器左上角的
、
和
图标,可基于创作上下文在选项卡组之间快速切换。 请参阅 创作上下文之间的切换。
查询历史系统表中新增的列
2025 年 7 月 24 日
现在,查询历史记录系统表中提供了新的列,提供了额外的查询洞察。
-
cache_origin_statement_id
:对于从缓存中提取的查询结果,此字段包含最初将结果插入缓存的查询的语句 ID。 -
query_parameters
:包含参数化查询中使用的命名参数和位置参数的结构。 -
written_rows
:写入到云对象存储的持久性数据的行数。 -
written_files
:写入云对象存储的永久性数据的文件数。
Lakeflow 声明性管道之间的表移动功能现已正式发布
2025 年 7 月 24 日
在 Unity Catalog ETL 管道中,由 Lakeflow 声明性管道创建的表格可以从一个管道移动到另一个管道。 请参阅在 Lakeflow 声明性管道之间移动表。
使用 INSERT REPLACE 使用动态分区覆盖(公共预览版)
2025 年 7 月 23 日
INSERT REPLACE USING
已进入 Databricks Runtime 16.3 的公开预览阶段。 此 SQL 命令将表的一部分替换为查询结果。 当列中的所有项与USING
运算符一致时,将替换整行。
对于公共预览版,子句中的 USING
列必须是表分区列的完整集合。
请参阅 SQL 语言参考中的 INSERT ,并使用 Delta Lake 选择性地覆盖数据。
选择性地将数据替换为 INSERT REPLACE ON(公共预览)
2025 年 7 月 23 日
INSERT REPLACE ON
现已推出 Databricks Runtime 17.1 的公共预览版。 此 SQL 命令将表的一部分替换为查询结果。 当行与用户定义的条件匹配时,将替换这些行。
请参阅 SQL 语言参考中的 INSERT 。
在 Power Apps 中从 Azure Databricks 表创建 Dataverse 虚拟表(公共预览版)
2025 年 7 月 23 日
可以使用 Power Apps 中的 Azure Databricks 连接器创建 Dataverse 虚拟表,以访问 Azure Databricks 数据,就像它是本机 Dataverse 数据一样。
请参阅 使用 Azure Databricks 数据创建 Dataverse 虚拟表。
将 Power Platform 中的 Azure Databricks 连接器添加到数据策略(公共预览版)
2025 年 7 月 23 日
可以将 Azure Databricks 连接器添加到数据策略的业务数据组。 使用数据策略来管理和保护数据。
Agent Bricks:多代理管理器处于 Beta 阶段
2025 年 7 月 22 日
Agent Bricks 提供了一种简单的方法来构建和优化特定于域的高质量 AI 代理系统,用于常见 AI 用例。 在 Beta 版中,Agent Bricks:多代理主管提供对设计多代理 AI 系统的支持,该系统结合了 Genie 空间和知识助手代理端点,以便共同处理需要不同专业技能的复杂任务。 Agent Bricks:多代理管理器与 Review App 集成,因此你可以使用来自主题专家的自然语言反馈来提高管理器代理的质量。
结构化流中的实时模式(公共预览版)
2025 年 7 月 22 日
现在,你可以使用实时模式(结构化流的一种触发器类型),该模式支持亚秒级延迟的数据处理。 此模式专为需要立即响应流数据的作工作负荷而设计。 请参阅 结构化流式处理中的实时模式。
Databricks 文档发行说明源
2025 年 7 月 16 日
Databricks 文档网站现在提供了一个 RSS 源,其中包含产品更新说明和其他的功能发行说明。 这个订阅源可以被任何能处理 RSS 的阅读器或客户端使用,从而您可以利用订阅源阅读器的功能,比如获取 Databricks 产品发布的电子邮件通知。 请参阅 Databricks 发行说明源。
已为 Azure 托管磁盘禁用公用网络访问
2025 年 7 月 16 日
Azure Databricks 工作区使用的对 Azure 托管磁盘的公共网络访问现在默认处于禁用状态。 此更改通过确保磁盘只能通过专用网络终结点访问来增强数据安全性。
参阅数据安全与加密。
使用 LLM 探索表格数据(Beta 版)
2025 年 7 月 16 日
现在可以使用目录资源管理器询问有关示例数据的自然语言问题。 助手基于元数据上下文和表使用模式生成 SQL。 生成查询后,可以验证查询,然后针对基础表运行该查询。 请参阅使用 LLM 浏览表数据。
Databricks Runtime 17.1 和 Databricks Runtime 17.1 ML 处于 Beta 阶段
2025 年 7 月 15 日
Databricks Runtime 17.1 和 Databricks Runtime 17.1 ML 现已推出 Beta 版。 这些版本包括对流式处理、SQL 函数和连接器行为的改进,以及跨平台的可靠性和性能增强功能。
有关机器学习,请参阅 Databricks Runtime 17.1 和 Databricks Runtime 17.1。
SQL 仓库的 CAN VIEW 权限现已正式发布
2025 年 7 月 15 日
CAN VIEW 权限允许用户查看 SQL 仓库,包括查询历史记录和查询配置文件。 这些用户无法对仓库运行查询。
请参阅 SQL 仓库 ACL。
默认启用简化的计算表单
2025 年 7 月 15 日
在 Databricks UI 中创建通用计算或作业计算时,现在默认启用简化的计算创建表单。
请参阅使用简单表单来管理计算。
必须是元存储管理员才能转移 Delta Sharing 的所有权
2025 年 7 月 14 日
若要更改 Delta Sharing 的所有权,你现在必须是元存储管理员。共享所有者不能再转让所有权。 请参阅更新共享。
Power Automate 中的查询可以返回 null 值
2025 年 7 月 11 日
Power Automate 中从查询返回的数据现在可以为 null。 请参阅 在 Azure Power Platform 中连接 Azure Databricks。
Git 对警报的支持
2025 年 7 月 11 日
现在可以使用 Databricks Git 文件夹来跟踪和管理警报更改。 若要使用 Git 跟踪警报,请将警报放置在 Databricks Git 文件夹中。 新克隆的警报仅在用户与其交互后才会显示在警报列表页或 API 中。 它们已暂停计划,需要由用户显式恢复。
请参阅 Git 集成如何与警报配合使用。
适用于 Power BI 的 Azure Databricks 连接器现在支持 ADBC 驱动程序(公共预览版)
2025 年 7 月 11 日
可以将 Power BI 的 Azure Databricks 连接器设置为使用 箭头数据库连接(ADBC) 驱动程序而不是 ODBC 驱动程序。
请参阅 Power BI 的 Arrow Database Connectivity (ADBC) 驱动程序。
MLfLow 对合规安全配置文件标准的支持
2025 年 7 月 8 日
MLflow 现在支持 Azure Databricks 支持的所有符合性安全配置文件标准,例如 HIPAA。
Databricks 应用对 Lakebase 资源的支持
2025 年 7 月 8 日
Databricks Apps 现在支持将 Lakebase 数据库实例添加为应用资源。 然后,可以将这些资源作为环境变量包含在内,并从应用代码访问它们。
父任务(Run job
和 For each
)现在有单独的限制
2025 年 7 月 4 日
等待子进程的任务(Run job
和 For each
任务)现在对可以同时运行的任务数量有单独的限制,并且不计入总体限制。
请参阅资源限制。
Git 文件夹现在支持每个用户的多个 Git 凭据(公共预览版)
2025 年 7 月 2 日
使用 UI 在工作区中添加和管理来自一个或多个 Git 提供程序的多个 Git 凭据。
Azure 中国北部 3 区域:增强的基础结构支持
2025 年 7 月 1 日
Azure 中国北部 3(chinanorth3
)区域现已提供升级后的基础设施支持。 此更新为中国的 Databricks 用户提供改进的性能、可靠性和可伸缩性。