了解即将发布的Azure Databricks版本中的功能和行为更改。
注释
以下已发布的版本、日期和内容仅对应于 Microsoft Azure 云的实际部署。
在大多数情况下,它在公有云上提供 Azure Azure Databricks服务的进化史。 请注意,某些情况可能与21Vianet运营Azure的实际部署不一致。
Azure OpenSharing SecureConnect 即将进行的计费变更
Azure Databricks 很快将对使用 OpenSharing SecureConnect 的提供商就跨区域和公共互联网数据出站流量收费。
在以下情况下收取费用:
- 收件人位于与提供程序存储不同的区域中。
- 流量流向公共 Internet。
对于 SecureConnect 入口或向收件人返回同一区域出口,不收取任何费用。
有关定价和常见问题解答,请参阅 数据传输和连接定价。
对于启用了合规性安全配置文件的工作区,Lakeflow Designer 即将默认可用
到 2026 年 7 月下旬,Lakeflow Designer 将默认向启用了合规性安全配置文件的工作区提供。
Lakeflow Designer 是一种可视化的无代码体验,用于在拖放画布上准备和转换数据,所有工作流都由生产就绪代码提供支持,由 Unity 目录管理。
请参阅 Lakeflow 设计器。
声明性自动化捆绑包将很快默认使用直接部署引擎
2026 年 7 月 24 日,声明性自动化捆绑包默认开始使用直接部署引擎,而不是 Terraform 部署引擎。 这将触发仍在使用 Terraform 部署引擎的所有捆绑包的迁移。
有关直接部署引擎和从 Terraform 部署引擎迁移的详细信息,请参阅 “迁移到直接部署引擎”。
最终会删除 Terraform 部署引擎,不再可用。
ai_extract 和 ai_classify 将很快默认适用于启用了合规性安全配置文件的工作区
ai_extract 和 ai_classify SQL AI 函数将于 2026 年 7 月中旬对已启用合规性安全配置文件并选择了 HIPAA、HITRUST、C5 和 TISAX 控制项的工作区 默认可用。
用于 ai_extract 根据用户定义的架构从非结构化文本中提取结构化字段。 用于 ai_classify 将文本分类为用户定义的标签,以便路由、标记和文档分类工作流。 还可以使用 Agent Bricks 创建信息提取代理和分类代理。
即将发生的行为更改:将主体添加到工作区时选择权利
Databricks 正在调整主体获得工作区权限的方式。 在进行了此更改后,将主体添加到工作区时,您需要显式授予其权利,而不是依赖从 users 系统组继承这些权利。 从 2026 年 6 月 15 日起,工作区管理员可以选择加入,并在 2026 年 9 月 14 日对所有工作区强制实施新行为。
通过此更改,可以在任何访问级别添加主体,包括仅限使用者的用户,而无需自动继承创作权限。
发生变化的内容
每个工作区都有两个系统组: users包括授予工作区访问权限的所有主体,以及 admins包括工作区管理员。 今天,添加到工作区的每个主体都继承了 users授予的权利。 默认情况下,以下是:
- 工作区访问权限 - 创建和使用笔记本、作业、管道、应用等。
- Databricks SQL 访问权限 — 创建和使用仪表板、Genie 空间、警报等。
更改后:
- 该
users组将没有权限。 该组admins将具有所有工作区权限。 两个组的权限均已被锁定。 - 将新主体添加到工作区时,必须显式授予其权限。
-
users和admins不能作为其他组的成员进行嵌套。
现有主体保留其当前访问级别。 Databricks 会自动将之前授予 users 的授权迁移到一个名为 users-clone-<TIMESTAMP> 的新的工作区本地克隆组(其中 <TIMESTAMP> 为迁移时间)。 可以像管理任何其他工作区本地组一样管理克隆组,并且可以在提前选择时自定义其名称。 该 admins 组不需要迁移。
需要采取行动
- 如果通过自动化(Terraform、Workspace SCIM API 或自定义脚本)管理系统组权利,请将工作流更新为面向标准帐户组,而不是系统组。 启用新行为后,尝试修改系统组权利将失败。
-
如果
users或admins嵌套为另一个组的成员,请删除嵌套。 在新行为下,不允许嵌套。 -
如果 SCIM 同步删除它无法识别的工作区组,请更新其配置以保留迁移克隆组(
users-clone-<TIMESTAMP>)。 如果同步删除克隆组,则主体迁移到该组会失去其权利。
日程表
- 2026 年 6 月 15 日 - 可在工作区设置的高级 > 访问控制下选择启用。
- 2026 年 7 月 27 日 - 将对尚未选择加入或退出的工作区自动启用。仍可选择退出。
- 2026 年 9 月 14 日 - 对所有工作区强制实施的新行为。 退出选项已移除。
您可以在工作区设置中的 高级 > 访问控制 下管理此新行为:
在选择加入之前:旧行为处于活动状态。
选择加入或自动启用后:新行为处于活动状态。
有关详细信息,请参阅 Migrate 工作区权利控制。
HIPAA、HITRUST 和 IRAP 所需的合规安全配置文件
从 2026 年 9 月 1 日起,需要符合性安全配置文件来处理受 HIPAA、HITRUST 和 IRAP 保护的数据。
发生变化的内容
- 标准预付费方案用量:超出免费额度的用量按 DBU 计费,这体现了为每个 Genie 会话提供支持的底层 LLM 模型和代理。 Azure Databricks 不收取席位费。
建议的操作
在 2026 年 7 月 6 日之前,查看通过 Unity AI 网关提供的预算控制,以便监视和控制 Genie 支出。
有关详细信息,请参阅Azure Databricks定价页。
对于已启用合规性安全配置文件的工作区,Embed Genie Space 很快将默认可用
自 2026 年 6 月起,对于已启用合规性安全配置文件的工作区,将 Genie Space 嵌入为 iframe 将默认可用。
嵌入 Genie Space 可让用户直接在内部工具或门户中与 Genie 交互,而无需导航到Azure Databricks。
Databricks SQL 警报将很快默认对已启用合规性安全配置文件的工作区可用
对于启用了合规性安全配置文件的工作区,Databricks SQL 警报将于 2026 年 6 月默认可用。
使用 Databricks SQL 警报通过按计划运行查询、评估条件以及满足条件时通知收件人来监视数据和 KPI。 常见用例包括监视 KPI 偏移、检测异常和呈现数据质量问题。
请参阅 Databricks SQL 警报。
使用数据库实例 API 创建的项目的统一权限模型
从 2026 年 5 月 11 日到 2026 年 5 月 21 日,Lakebase 自动缩放将为使用 数据库实例 API 或相关工具(CLI、SDK、Terraform、DAB)创建的新项目推出统一权限模型。 现有项目不受影响。
推出后,实例和项目权限均由统一权限层管理,而不是由两个独立的 ACL 集管理。 使用数据库实例 API 的现有自动化将继续工作,无需更改。
即将进行的更改:升级到 Lakebase 自动缩放
Azure Databricks正在将所有 Lakebase 预配实例升级到 Lakebase 自动缩放平台。 对于已请求升级的客户,升级从 2026 年 6 月开始,后续几周将继续进行剩余实例升级。 工作区管理员将收到一封电子邮件,其中包含升级开始前的升级日期。
升级是自动的。 转换期间连接会短暂重启,现有连接字符串、API 调用、声明性自动化捆绑包和 Terraform 配置将继续工作,无需修改。
升级后,将应用以下更改:
实例将支持自动缩放功能,并且可以通过新的自动缩放 UI 和熟悉的预配 UI 进行管理,该 UI 将一直可用到 2026 年 9 月 1 日。
每个实例都会收到一个新的区域连接字符串,用于提供经优化的入口流量:
- 现有连接字符串:已预配的连接字符串(不含区域)将继续通过现有的入站 专用链接 工作,并且不需要Service Direct 专用链接。
- 新的区域连接字符串:如果您使用 专用链接,并且从 Azure Databricks 工作区外部连接到 Lakebase,则必须为性能密集型服务配置入站 专用链接,才能使用新的区域连接字符串。
若要在声明性自动化捆绑包和 Terraform 配置中使用新的自动缩放功能(例如缩放到零),请更新它们以使用自动缩放语义。
Lakebase GA 定价 适用。 随着弹性计算取代固定大小实例,大多数客户将看到计算成本的降低。
升级后,将禁用 Lakebase 预配上的 Forward ETL 和 REST API Private Preview 功能。 其替代项 Lakebase 变更数据馈送和数据 API 可在自动缩放平台上使用。
Lakebase Autoscaling 新增了自动扩缩容和缩容至零、时间点恢复和快照、维护窗口计划、数据库分支功能以及其他增强功能。
若要请求加速升级,或者如有疑问,请联系客户团队或Azure Databricks支持部门。
默认情况下,Excel文件格式支持即将推出
Excel文件格式支持将在 2026 年 6 月初的所有工作区默认提供。 无需外部库或手动转换,即可直接使用内置支持引入、分析和查询.xls.xlsx以及.xlsm文件。 工作区管理员现在可以在 Settings>Previews>Excel 文件格式支持下启用它。 需要 Databricks Runtime 17.1 或更高版本。
请参阅读取和流式传输Excel文件。
Databricks Runtime 19 将使用统一发布模型
从版本 19 开始,Databricks Runtime 将使用统一发布模型。 每个主要版本将有一个发行说明页面,而不是多个功能版本(例如 19.0、19.1、19.2)。
经过最初的 Beta 版阶段后,每个 Databricks Runtime 版本都会作为正式发布(GA)推出,并大约每周获得新功能和修复;相关更新会在同一页面中按日期区分显示。 群集将在重启时接收更新。 约六个月后,该版本将转为长期支持(LTS)版本,并提供三年支持。
Databricks Runtime 18 是转换版本。 18.0、18.1 和 18.2 功能版本页仍可用于历史参考,Databricks Runtime 18 LTS 将成为 18.x 行中最终统一版本。
Power BI连接将转换为 ADBC
Power BI计划于 2026 年 7 月将所有Power BI连接转换为 Arrow Database Connectivity (ADBC)。 为避免中断,Databricks 建议立即将开发和过渡语义模型切换到 ADBC,并验证工作负荷。
Azure Databricks上Power BI的 ADBC 驱动程序自 2025 年 10 月起一直处于公共预览版中。 自 2026 年 2 月起,Power BI Desktop 和 Power BI Service 中的所有新连接默认使用 ADBC。 除非手动更新现有连接,否则现有连接继续使用 ODBC。
请参阅 为 Power BI 配置 ADBC 或 ODBC 驱动程序。
Databricks 应用程序的用户授权即将对启用了合规安全配置文件的工作区开放使用。
2026 年 6 月初,对于启用了合规性安全配置文件的工作区,Databricks Apps 的用户授权将自动启用。 用户授权允许应用使用应用用户的标识进行操作,因此应用可以在强制用户现有权限的同时代表用户访问资源。
工作区对象的权限很快将继承自所有账户组
在即将发布的版本中,工作区对象权限将从所有帐户组继承,而不仅仅是直接分配给工作区的组。 主要角色将继承对工作区对象(例如作业、笔记本、文件夹、查询和仪表板)的权限,权限将从他们所属的所有帐户组继承,无论这些组是否分配给工作区。 用户仍需要分配给工作区才能使用这些权限。
此更改还会激活未激活(“孤立”或“未关联”)权限授权。 这些权限授予是在从工作区中删除组后保留在组中的权限授予。 没有添加新的权限,但现有的孤立权限将变为活动状态,可能会让工作区成员获得意想不到的访问权限。 例如,如果“承包商”组已从工作区中删除,但仍具有对文件夹的编辑访问权限,则“承包商”中的任何工作区成员都将获得对该文件夹的访问权限。
Databricks 建议查看工作区权限。 使用以下笔记本来识别您工作区中的过期或非活跃权限授予:
孤儿权限分析笔记本
启用了合规安全配置文件的工作区将很快默认提供范围限定的个人访问令牌。
到 2026 年 5 月下旬,已启用合规性安全配置文件的工作区将默认可用具有作用域的个人访问令牌。
有作用域的个人访问令牌通过分配一个或多个 API 范畴来限制 PAT 对特定 API 操作的权限,而不是授予创建者标识的完整工作区访问权限。
请参阅 使用 Azure Databricks 个人访问令牌(旧版)进行身份验证。
即将发生的行为更改:VOID Delta 表读取中所包含的列
2026 年 6 月中,Delta Lake 将完全支持 VOID 列。 以前,读取基于路径的DataFrame(例如 VOID)和时间旅行查询时,会无提示地跳过spark.read.format("delta").load(path)列。 此更改后,这些查询的输出将包含 VOID 列。
依赖于列计数或位置(例如 INSERT INTO ... SELECT *)的查询可能会在此更改后失败或生成不正确的结果。 审核从具有 VOID 列的 Delta Lake 表读取的任何查询,以确保它们能够正确处理附加列。
请参阅 VOID 类型。
即将发生的重大变化:删除 Unity Catalog 管道时的默认行为
在即将发布的版本中,删除 Unity 目录管道时的默认行为将发生更改。 目前,删除管道还会删除所有关联的物化视图、流表和视图。 在更改之后,相关表格将被保留,但在管道被删除后将处于非活动状态。 API 还会更改以默认保留表,但将 cascade 字段设置为 true 替代此字段并保留当前行为。
该 cascade 字段现已可用。 若要保留删除管道时删除所有表的当前行为,请更新代码以设置 cascade=true。
新的 SQL 编辑器默认启用和旧版 SQL 编辑器停用
自 2025 年 10 月以来,新的 SQL 编辑器已正式发布。 作为转换到新编辑器的一部分,计划进行以下更改:
- 从 2026 年 5 月下旬开始:默认为所有工作区启用新的 SQL 编辑器。 在工作区级别关闭该功能的功能将不再可用。 在此时间段开始后,单个用户仍能够将其查询切换到旧版 SQL 编辑器。
- 从 2026 年 7 月下旬开始:旧版 SQL 编辑器将停用。 所有用户都将使用新的 SQL 编辑器,并且将不再提供单个选择退出。
若要详细了解新的 SQL 编辑器,请参阅 “写入查询”,并浏览新 SQL 编辑器中的数据。 如果对此转换有疑问,请联系你的帐户团队。
列出仪表板 API 更改排序顺序
2026 年 5 月 4 日, 列表仪表板 API 的新版本将更改结果的排序顺序。 仪表板将按上次修改日期的逆序返回,首先显示最近修改的仪表板,而不是按标题字母顺序。
对于使用 next_page_token分页结果的用户,这是一项重大更改。 以前版本的 API 生成的令牌在新版本中无效。 如果使用以前版本中的令牌,API 将返回错误:
Invalid page_token: this token was generated by a previous/different API version. Please retry without page_token.
若要在此更改后继续分页,请启动一个不包含next_page_token的新请求。
公开 Delta Sharing 接收方令牌的更改
开放收件人的增量共享将转换为新的特定于收件人的 URL 格式。 转换日期已更新,现已于 2026 年 7 月 1 日更新。 2026 年 7 月 1 日或之后创建的新令牌将自动使用新的 URL 格式。 此更改可提高网络安全,并允许收件人配置特定于收件人的网络策略和防火墙规则。
对于Azure中国,过渡将于稍后公布。
新 URL 包括域中的收件人 ID:
https://<recipient-id>.delta-sharing.chinaeast2.databricks.azure.cn/api/2.0/delta-sharing/metastores/<metastore-id>
有关参考,此更改之前创建的 URL 不包含收件人 ID。
https://chinaeast2.databricks.azure.cn/api/2.0/delta-sharing/metastores/<metastore-id>
旧 URL 将继续工作一段时间。 具体持续时间取决于收件人类型和令牌创建日期。 在旧 URL 格式无效之前,数据提供程序应转换为新的 URL 格式。
OIDC 联邦身份验证共享:
数据提供程序需要在 2027 年 7 月 1 日之前验证其收件人是否使用新的 URL 格式。 从 2026 年 7 月 1 日起,服务提供商可以在 Delta Sharing UI 中找到新的 URL。 2027 年 7 月 1 日之后,旧 URL 格式将无效。
持有者令牌共享:
| 令牌创建日期 | URL 格式 | 令牌过期日期 | 建议的操作 |
|---|---|---|---|
| 2026 年 7 月 1 日之前 | 旧格式 | 从创建日期起一年,或者直到 2026 年 12 月 8 日,以较晚者为准。 | 数据提供程序需要在过期前 轮换令牌 才能迁移到新的 URL 格式。 若要为收件人提供迁移时间,请在轮换期间为当前令牌设置到期日期来配置停机时间窗口。 在此期间支持旧 URL 格式和新 URL 格式。 |
| 2026 年 7 月 1 日之后 | 新格式 | 根据您的配置,最多可从创建日期算起一年。 | 没有 |
符合性安全配置文件启用的某些工作区将默认提供数据分类功能。
在 2026 年 3 月中旬,默认情况下,数据 分类 将适用于启用了符合性安全配置文件的工作区,并且选择了 HIPAA 控件。
EventBridge 支持即将可用于提供的文件事件队列
2026年2月下旬,EventBridge 支持将可用于提供 S3 位置的文件事件队列。 目前,只能使用 SNS 设置文件事件,或者将存储事件直接路由到 SQS。
作业时间线表的新切片逻辑
从 2026 年 1 月 19 日开始,作业时间线表使用新的时钟小时对齐切片逻辑。 时间切片现在与标准整点时间边界(如下午 5:00-6:00、下午 6:00-7:00 等)对齐,而不是基于运行开始时间的一小时间隔。 新行将使用新的切片逻辑,而现有行保持不变。
请参阅 时钟小时对齐切片逻辑。
目录浏览器导航更新
目录资源管理器将很快收到导航改进,以简化工作流,并帮助你更有效地发现和管理数据资产。
简化的导航:
删除重复目录选项卡以减少冗余并专注于单个目录导航图面。
DBFS 和 发送反馈 将被移动到 以实现更简洁的布局。
新的建议部分:
目录资源管理器登录页上的新“建议”选项卡突出显示常用对象、面向首次使用者的对象示例以及用户收藏夹。 这能帮助您快速重新利用重要资产,并且能提供有用的起点选择。
合并入口点:
相关功能分组在更清晰的类别下,以减少视觉干扰并提高可查找性:
- 治理 - 治理标记、元存储管理和数据分类的入口点
- 连接 - 外部位置、外部数据、凭据和连接的切入点
- 共享 — Delta Sharing和清洁室的接入点
这些分组取代分散的子选项卡,并创建更直观的可缩放信息体系结构。
Lakehouse 联邦共享和默认存储
Lakehouse 联邦上的 Delta 共享目前处于 Beta 阶段,允许 [Delta 共享] 的数据提供者共享非本地目录和表。 默认情况下,数据必须暂时具体化并存储在默认存储(个人预览版)。 目前,用户必须在帐户控制台中手动启用 “Delta Sharing for Default Storage - Expanded Access” 功能,才能使用 Lakehouse 联邦共享。
在所有 Azure Databricks 用户中,默认启用Default Storage - Expanded Access 的 Delta Sharing后,允许默认存储的区域将自动支持 Lakehouse Federation 上的 Delta Sharing。
请参阅 向共享添加外部架构或表。
在工作区重新加载通知
在即将发布的版本中,如果工作区选项卡长时间打开且未刷新,则会显示用于重新加载工作区选项卡的消息。 这有助于确保您始终使用包含最新功能和修复的最新版本的 Databricks。
默认存储系统上的 Delta Sharing 表功能即将默认启用(Beta 版)
默认存储的此更新扩展了Delta Sharing的共享功能,允许提供程序将默认存储支持的表共享给任何Delta Sharing收件人(无论是开放平台还是Azure Databricks),包括使用经典计算的收件人。 此功能目前为 Beta 版,要求服务提供者在帐户控制台中手动启用 默认存储的 Delta 共享 - 扩展访问。 不久,默认情况下,将为所有用户启用此功能。
对出站控制平面公共 IP 的更新
Azure Databricks 正在更新 outbound 控制平面公共 IP 和 Azure 服务标签,以提升安全性和区域可用性。 这些更改是自 2025 年 5 月 20 日开始推出的控制平面更新的一部分。
如果你的组织使用资源防火墙来控制入站访问:
- 如果防火墙规则引用 Azure Databricks service tag,则无需执行任何操作。
- 如果允许特定的控制平面公共 IP,则必须在 2025 年 9 月 26 日前添加所有出站控制平面 IP。
继续支持之前的出站控制平面 IP。
自动加载器增量目录列表选项的行为改变
注释
自动加载器选项cloudFiles.useIncrementalListing已经被弃用。 尽管此说明讨论了对选项默认值的更改,以及如何在此更改后继续使用它,但 Databricks 建议不要使用此选项,转而使用 文件事件的文件通知模式。
在即将发布的 Databricks Runtime 版本中,弃用的自动加载程序 cloudFiles.useIncrementalListing 选项的值将默认设置为 false。 将此值设置为 false 使自动加载程序每次运行时执行完整目录列表。 目前,cloudFiles.useIncrementalListing 选项的默认值为 auto,指示自动加载程序尽最大努力检测是否可以将增量列表与目录一起使用。
若要继续使用增量列表功能,请将 cloudFiles.useIncrementalListing 选项设置为 auto。 将此值 auto设置为时,自动加载程序会尽力尝试每七个增量列表执行一次完整列表,这与此选项在更改之前的行为匹配。
若要了解有关自动加载程序目录列表的详细信息,请参阅 在目录列表模式下配置自动加载程序流。
删除 Lakeflow Spark 声明性管道中的数据集定义时的行为变化
即将发布的 Lakeflow Spark 声明性管道在从管道中删除具体化视图或流表时会更改其行为。 通过此更改,下次管道更新运行时,不会自动删除已移除的具体化视图或流式处理表。 相反,你可以使用 DROP MATERIALIZED VIEW 命令删除具体化视图,或使用 DROP TABLE 命令删除流式处理表。 删除对象后,运行管道更新不会自动恢复该对象。 如果将具有相同定义的具体化视图或流式处理表重新添加到管道,则会创建一个新对象。 但是,可以使用 UNDROP 命令恢复对象。
审核日志中的 sourceIpAddress 字段将不再包含端口号
由于某个 bug,某些授权和身份验证审核日志在 sourceIPAddress 字段中除了包含 IP 之外,还包含端口号(例如 "sourceIPAddress":"10.2.91.100:0")。 端口号记录为 0,不提供任何实际值,并且与 Databricks 审核日志的其余部分不一致。 为了增强审核日志的一致性,Databricks 计划更改这些审核日志事件的 IP 地址格式。 此更改将从 2024 年 8 月初开始逐步推出。
如果审核日志包含 sourceIpAddress 的 0.0.0.0,Databricks 可能会停止记录该日志。