2025 年 6 月

这些功能和 Azure Databricks 平台改进于 2025 年 6 月发布。

注释

下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。

其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。

注释

发布过程分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。

无服务器 GPU 计算处于 Beta 阶段

2025 年 6 月 30 日

无服务器 GPU 计算现在是无服务器计算产品的一部分。 无服务器 GPU 计算专用于自定义单节点和多节点深度学习工作负载。 可以使用无服务器 GPU 计算来使用偏好的框架训练和微调自定义模型,并获取最先进的效率、性能和质量。

自带数据世系(公共预览版)

2025 年 6 月 27 日

数据世系现在可以包括外部资产和在 Azure Databricks 外部运行的工作流。 如果工作任务在 Azure Databricks 外部运行(例如,起始阶段 ETL 或最终阶段 BI),Unity Catalog 允许添加外部数据溯源元数据来增强其自动捕获的 Azure Databricks 数据溯源,从而在 Unity Catalog 中提供端到端数据溯源视图。 如果您希望在将数据引入 Unity Catalog 之前捕获数据的来源(例如 Salesforce 或 MySQL),或者在 Unity Catalog 外部使用数据时(例如 Tableau 或 PowerBI),这将非常有用。

该外部数据血缘元数据功能目前处于公共预览阶段。 请参阅自带数据世系

新的 Databricks JDBC 驱动程序是开源的

2025 年 6 月 26 日

新的 Databricks JDBC 驱动程序 现在是开放源代码。 源代码Apache 2.0 许可证下公开提供。 欢迎社区捐款。 请参阅 贡献指南

Lakeflow 声明性管道表中的删除向量现在遵循工作区设置

2025 年 6 月 26 日

新的流数据表和物化视图将遵循删除矢量的工作区设置。

带文件事件的文件到达触发器现已推出正式版

2025 年 6 月 25 日

可以使用基于文件事件的文件到达触发机制在外部储存位置(例如 Amazon S3、Azure 存储或 Google 云存储)上触发作业运行。 若要从此功能中受益,外部位置必须启用文件事件。 带文件事件的文件到达触发器允许每个工作区的触发器限制更高(1,000 个),并取消每个触发器 10,000 个文件的限制。 请参阅带文件事件的文件到达触发器

在 Agent Bricks(测试版)中使用 PDF

2025 年 6 月 25 日

Agent Bricks 提供 UI 工作流,用于将 PDF 转换为并存储在表格中的 Markdown 格式。 然后,用户可以在 Agent Bricks 中将生成的表格作为输入用于信息提取和自定义 LLM。

使用 ai_parse_document (Beta) 分析文档

2025 年 6 月 25 日

AI 函数 ai_parse_document() 从 Databricks 基础模型 API 调用最先进的生成 AI 模型,以从非结构化文档中提取结构化内容。

此函数在 Beta 版中可用。

Databricks Runtime 17.0 已推出正式版

2025 年 6 月 24 日

Databricks Runtime 17.0 和 Databricks Runtime 17.0 ML 现已正式发布。

有关机器学习,请参阅 Databricks Runtime 17.0Databricks Runtime 17.0

Databricks-to-open Delta 共享的 OIDC 联合身份验证已正式发布

2025 年 6 月 24 日

对于 Delta Sharing,目前普遍可用的方法是使用 Open ID Connect (OIDC) 联合身份验证,其中收件人将他们自己的身份提供商 (IdP) 发出的 JSON Web 令牌 (JWT) 用作短期 OAuth 令牌,以实现安全的联合身份验证。

请参阅使用 Open ID Connect (OIDC) 联合身份验证启用对 Delta Sharing 共享(开放共享)的身份验证

从旧版发布模式迁移 Lakeflow 声明性管道

2025 年 6 月 23 日

Lakeflow 声明性管道具有仅允许发布到单个目录和架构的旧发布模式。 默认发布模式允许发布到多个目录和架构。 从旧版发布模式迁移到默认发布模式现已推出。

请参阅 在管道中启用默认发布模式

模型服务端点的自定义速率限制

2025 年 6 月 23 日

现在,可以使用 AI 网关为提供终结点的模型指定自定义速率限制。 提供以下任一项的速率限制:

  • 终结点:指定通过终结点的所有流量的总体速率限制,而不考虑个人或用户组限制。
  • 用户(默认值):为未定义特定于用户的或特定于组的速率限制的终结点 的所有用户 指定速率限制。
  • 特定用户:指定终结点特定用户的速率限制。
  • 服务主体:指定特定服务主体的速率限制。
  • 用户组:指定特定用户组的速率限制。 此限制在组的所有成员之间共享。

在增量共享中共享托管 Iceberg 表以公共预览版提供

2025 年 6 月 23 日

现在可以使用增量共享在 Databricks 到 Databricks 共享和开放共享中共享托管的 Iceberg 表。 请参阅 将托管的 Iceberg 表添加到共享读取共享托管的 Iceberg 表

Unity Catalog 表和列的 AI 文档现在采用与 Databricks 助手相同的模型。

2025 年 6 月 18 日

Unity Catalog 表和表列的 AI 文档现在使用由 Databricks 托管的模型。

  • 如果已将 Databricks 托管的模型用于助手,则不会更改。
  • 如果关闭 合作伙伴支持的 AI 辅助功能,AI 文档现在仍可用并使用 Databricks 托管的模型。

左侧导航菜单中的作业和管道

2025 年 6 月 18 日

左侧导航中的作业和管道项是 Databricks 统一数据工程功能 Lakeflow 的入口。 左侧导航中的 管道工作流 项已被删除,现在可从 作业和管道获取其功能。

在管道之间移动流表和物化视图目前处于公共预览阶段

2025 年 6 月 17 日

在 Unity Catalog ETL 管道中,由 Lakeflow 声明性管道创建的表格可以从一个管道移动到另一个管道。 请参阅在 Lakeflow 声明性管道之间移动表

Unity 目录中基于属性的访问控制 (ABAC) 处于 Beta 版

2025 年 6 月 12 日

Databricks 现在支持 Unity 目录中基于属性的访问控制(ABAC),跨目录、架构和表启用动态、标记驱动的访问策略。 ABAC 使用标记和用户定义的函数(UDF)根据敏感度、区域或业务域等数据属性强制实施精细访问控制。

使用 ABAC,可以定义一次可缩放的策略,并跨大型数据集应用它们。 策略跨对象层次结构继承,可以包括行级筛选器或列掩码逻辑。 这简化了治理,支持集中式策略管理,并改进安全态势。 请参阅 Unity 目录基于属性的访问控制(ABAC)。

自动液体聚类现已普遍可用

2025 年 6 月 12 日

自动液体聚类分析现已正式发布。 可以在 Unity 目录托管表上启用自动液体聚类分析。 自动 liquid 聚类分析可智能选择聚类分析键,以优化查询的数据布局。 请参阅 自动液体聚类

Lakebase 是托管 PostgreSQL OLTP 数据库,目前为公共预览版

2025 年 6 月 11 日

Lakebase 是一个与 Databricks Data Intelligence Platform 完全集成的联机事务处理(OLTP)引擎。 可以创建数据库实例(一种新的计算类型),该类型提供专用的 PostgreSQL 兼容存储和计算,使你可以与 Lakehouse 数据一起运行事务工作负荷。

监视和撤销帐户中的个人访问令牌 (GA)

2025 年 6 月 11 日

令牌报告页使帐户管理员能够在帐户控制台中监视和撤销个人访问令牌(PAT)。 Databricks 建议使用 OAuth 访问令牌而不是 PAT,以提高安全性和便利性。 请参阅监视和撤销帐户中的个人访问令牌

Microsoft SharePoint 连接器 (Beta)

2025 年 6 月 11 日

Lakeflow Connect 中的完全托管 Microsoft SharePoint 连接器允许将数据从 SharePoint 导入 Azure Databricks。

Beta 版本支持基于 API 的管道创建。 尚不支持基于 UI 的管道创建。

AI 网关现已正式发布

2025 年 6 月 11 日

马赛克 AI 网关现已正式发布。 AI 网关是一项集中式服务,可简化组织中生成 AI 模型的使用情况和管理。

AI 网关使用以下功能为模型服务终结点带来了治理、监视和生产就绪功能:

  • 权限和速率限制,用于控制谁有访问权限以及有多少访问权限。
  • 载荷日志记录用于使用推理表监视和审核发送到模型 API 的数据。
  • 使用情况跟踪,以使用系统表监视终结点上的运行使用情况和相关成本。
  • 流量路由 以跨多个模型对流量进行负载均衡。
  • 外部模型的应急方案,以最大程度地减少部署期间和之后的生产故障。

注释

AI Guardrails 仍为 公共预览版

自动 CDC API 替换应用更改

2025 年 6 月 11 日

新的 AUTO CDC API 构建支持 Lakeflow 声明性管道中更改数据馈送(CDF)的流程。 Databricks 建议将 API 的使用 APPLY CHANGES 替换为 AUTO CDC

有关 SQL AUTO CDC API 的信息,请参阅:

有关 Python create_auto_cdc_flow API 的信息,请参阅

Databricks 作业现在是 Lakeflow 作业

2025 年 6 月 11 日

被称为 Databricks 作业的产品现已更名为 Lakeflow 作业。 无需迁移即可使用 Lakeflow 作业。 请参阅 Lakeflow Jobs

DLT 现在是 Lakeflow 声明式管道

2025 年 6 月 11 日

被称为 DLT 的产品现已更名为 Lakeflow 声明性管道。 无需迁移即可使用 Lakeflow 声明性管道。 请参阅 Lakeflow 声明性管道

托管 Apache Iceberg 表以公共预览版提供

2025 年 6 月 11 日

托管的 Apache Iceberg 表现在公开预览版中提供。 可以使用 Iceberg REST 目录 API 从 Azure Databricks 或外部 Iceberg 引擎读取和写入这些表。 这些表与预测优化集成,以应用高级优化,包括自动进行液体聚类分析。 请参阅 什么是 Azure Databricks 中的 Apache Iceberg? 以及 Azure Databricks 中由 Unity Catalog 管理的 Delta Lake 和 Apache Iceberg 表

外部 Apache Iceberg 表目前处于公共预览阶段

2025 年 6 月 11 日

Apache Iceberg 表现已在公共预览阶段提供。 可以使用 Lakehouse Federation 读取由外国目录管理的 Iceberg 表,例如 HMS、Glue 和 Snowflake Horizon 目录。 这些表支持 Unity 目录高级功能,例如细粒度的访问控制、世系和审核。 请参阅 Azure Databricks 中的 Apache Iceberg 是什么?使用外部表

将外部表转换为 Unity Catalog 托管表目前处于公开预览阶段。

2025 年 6 月 11 日

ALTER TABLE ... SET MANAGED 现已在公共预览版中为参与客户提供。 此命令允许将 Unity 目录外部表无缝转换为托管表。 它允许充分利用 Unity 目录托管表功能,例如增强的治理、可靠性和性能。

MLflow 3.0 已正式发布

2025 年 6 月 10 日

MLflow 3.0 现已正式发布。

Azure Databricks 上的 MLflow 3.0 为 Databricks Lakehouse 上的机器学习模型、生成 AI 应用程序和代理提供最先进的试验跟踪、可观测性和性能评估。 请参阅 MLflow 3 入门

部署作业(公共预览版)

2025 年 6 月 10 日

部署作业现已提供公共预览版。

部署作业允许在创建新模型版本时自动执行评估、审批和部署等任务,与 Unity 目录模型和 Lakeflow 作业无缝集成。 请参阅 MLflow 3 部署作业

无服务器性能目标现已正式发布

2025 年 6 月 10 日

为作业和管道选择无服务器性能设置现已正式发布。

启用 “性能优化 ”设置后,工作负载会针对更快的启动和执行时间进行优化。 禁用后,无服务器工作负荷在标准性能模式下运行,该模式针对成本进行了优化,并且启动延迟略高。

AI 代理的模型上下文协议 (MCP) 处于 Beta 阶段

2025 年 6 月 10 日

Databricks 现在支持 MCP,这是一种开放标准,允许 AI 代理使用一致的接口安全地访问工具、资源、提示和其他上下文信息。

  • 托管 MCP 服务器:使用 Databricks 托管的服务器轻松、无维护地访问 Unity 目录数据和工具。
  • 自定义 MCP 服务器:将自己的 MCP 服务器或第三方服务器作为 Databricks 应用托管。

跨平台视图共享现已达到全面可用的状态

2025 年 6 月 9 日

通过增量共享进行跨平台视图共享功能现已正式发布。 共享视图时的数据访问和计费方法已更新。 请参阅如何产生和核查Delta Sharing费用?

新的系统表允许您跟踪共享的物化数据历史记录。

帐户管理员现在可以配置数据物化过程的生存时间,即TTL。 请参阅 配置数据物化 TTL

Azure Power Platform 中的 Azure Databricks 连接器为公共预览版

2025 年 6 月 9 日

在 Power Platform 中创建 Azure Databricks 连接,使用 Azure Databricks 数据在 Power Apps 中生成画布应用、Power Automate 中的流和 Copilot Studio 中的代理。

管理无服务器出口控制的网络策略(正式发布)

2025 年 6 月 9 日

可以为无服务器计算资源(包括 SQL 仓库和模型服务终结点)配置和强制实施出站网络策略。

使用网络策略可以:

  • 为无服务器工作负荷配置出站访问。
  • 允许列出受限模式的特定域和存储帐户。
  • 启用干运行模式,以便在强制实施之前监视策略影响。
  • 查看和分析 Unity 目录中的拒绝日志以进行审核和故障排除。

标签策略处于测试版阶段

2025 年 6 月 9 日

标记策略使管理员能够跨数据资产(如目录、架构和表)强制实施一致的标记。 标记策略定义允许的标记键和值,并控制哪些用户和组可以分配它们。 这可实现数据分类、成本跟踪、访问控制和自动化用例的标准化元数据管理。

标记策略在帐户级别进行管理,并适用于所有工作区。 有关详细信息,请参阅 标记策略

新的消费者权益现已普遍提供

2025 年 6 月 5 日

工作区管理员现在可以将消费者访问权限作为一种权利授予用户、服务主体和组。 这样就可以更精细地控制用户可以在 Azure Databricks 工作区中执行的作业。 关键详细信息:

  • 使用者访问支持有限的工作区 UI 访问、使用 BI 工具查询 SQL 仓库,以及使用嵌入式或查看器凭据查看仪表板。

  • 对于需要访问共享内容和仪表板但不能创作或管理工作区对象的业务用户非常有用。

  • 此权利比工作区访问或 Databricks SQL 访问更严格。 若要独立分配它,请从 users 组中删除更广泛的权利,并为每个用户或组配置它们。

请参阅管理权限

Salesforce Data Cloud 文件共享连接器(公共预览版)

2025 年 6 月 4 日

Salesforce Data Cloud 文件共享连接器提供了用于查询 Salesforce Data Cloud 的替代零复制解决方案。 使用文件联合而不是 查询联合时,Databricks 会调用 Salesforce Data-as-Service (DaaS) API 直接读取基础云对象存储位置中的数据。 查询在 Databricks 计算上运行,而无需使用 JDBC。

与查询联合相比,文件联合非常适合联合大量数据。 它提高了从多个数据源读取文件的性能,以及更好的下推功能。

有关详细信息,请参阅 用于 Salesforce 数据云文件共享的 Lakehouse 联邦

2025 年 6 月 4 日

现在可以通过标准负载均衡器(SLB)从无服务器计算启用 Azure 专用链接,以连接到虚拟网络(VNet)中的资源。

job_name中更正的system.billing.usage

2025 年 6 月 3 日

usage_metadata.job_name值在system.billing.usage表中现在正确包含作业名称。 以前,此值使用任务键而不是用户提供的作业名称填充。 此更改不适用于一次性作业运行,该运行将继续使用任务密钥进行记录。

马赛克 AI 矢量搜索存储优化端点为公开预览

2025 年 6 月 3 日

马赛克 AI 矢量搜索系统现在提供存储优化的端点选项。 存储优化终结点具有更大的容量(维度 768 处的 10 亿多个向量),并提供 10-20 倍更快的索引编制。 定价针对较大数量的向量进行优化。

历史记录共享现在默认启用,以提高 Azure Databricks 到 Azure Databricks Delta 共享的表读取性能(GA)

2025 年 6 月 3 日

默认情况下启用历史记录共享(对于 Databricks Runtime 16.2 及更高版本),以提高 Azure Databricks 到 Azure Databricks Delta 共享的表读取性能。 请参阅使用历史记录共享提升表读取性能

Unity 目录的 HTTP 连接支持 OAuth 用户至机器的每用户凭据(公共预览版)

2025 年 6 月 2 日

现在,单个用户在使用 Unity 目录 HTTP 连接时可以使用自己的 OAuth 凭据登录到外部服务。 以前,唯一的 OAuth 选项是共享连接的单个 OAuth 凭据,而不考虑用户。

请参阅 “连接到外部 HTTP 服务”。