了解即将发布的 Azure Databricks 版本中的功能和行为更改。
导航栏即将进行的更改
2025 年 5 月 15 日
导航中的 “管道” 项目将被移除,“工作流” 项将在即将发布的版本中重命名为 “作业和管道”。
引入低成本无服务器性能模式
你将很快能够配置无服务器工作流的性能模式,在标准模式与性能选择模式之间进行选择。 以前,所有无服务器工作流都在性能优化模式下运行。
对于可以接受略高启动延迟的无服务器工作流,可以通过选择标准性能模式来优化成本。
标准模式与经典作业计算相当。 计划作业、基于事件的触发器和手动触发的作业将支持此模式。 对于多任务作业,标准模式仅用于作业中的无服务器任务。
Azure Databricks 将从 2025 年 5 月 20 日起更新控制平台服务的出站公共 IP 范围。
2025 年 5 月 20 日,Azure Databricks 将为控制平面服务部署新组件。 这些更改将提升控制平面服务的安全性和区域支持可用性。 具体而言,我们将更新出站 Azure Databricks 控制平面公共 IP 和关联的 Azure 服务标记。 这些是服务 控制平面 NAT 下每个区域的 IP 地址。
这会影响使用资源防火墙来控制对其资源的入站访问的客户。 如果资源防火墙直接引用 Azure Databricks 服务标记,则无需执行任何作。 如果资源防火墙当前显式允许 Azure Databricks 控制平面公共 IP,则需要:
- 请在 2025 年 5 月 20 日之前添加额外的出站 Azure Databricks 控制平面公共 IP。 可以在 2025 年 8 月 4 日开始使用这些 IP。
- 在 2025 年 8 月 4 日至 2025 年 9 月 30 日之间,删除相关 Databricks 区域的出站 Azure Databricks 控制平面公共 IP。 这些 IP 在 Azure Databricks 使用到 8 月 4 日之前,请勿删除它们。
自动加载程序增量目录列表选项的行为变化
注释
自动加载器选项cloudFiles.useIncrementalListing
已经被弃用。 尽管此说明讨论了对选项默认值的更改,以及如何在此更改后继续使用它,但 Databricks 建议不要使用此选项,转而使用 文件事件的文件通知模式。
在即将发布的 Databricks Runtime 版本中,弃用的自动加载程序 cloudFiles.useIncrementalListing
选项的值将默认设置为 false
。 将此值设置为 false
使自动加载程序每次运行时执行完整目录列表。 目前,cloudFiles.useIncrementalListing
选项的默认值为 auto
,指示自动加载程序尽最大努力检测是否可以将增量列表与目录一起使用。
若要继续使用增量列表功能,请将 cloudFiles.useIncrementalListing
选项设置为 auto
。 将此值 auto
设置为时,自动加载程序会尽力尝试每七个增量列表执行一次完整列表,这与此选项在更改之前的行为匹配。
若要了解有关自动加载程序目录列表的详细信息,请参阅 具有目录列表模式的自动加载程序流。
从 DLT 管道中删除数据集定义时的行为更改
即将发布的 DLT 将在从管道中删除具体化视图或流式处理表时更改行为。 通过此更改,下次管道更新运行时,不会自动删除已移除的具体化视图或流式处理表。 相反,你可以使用 DROP MATERIALIZED VIEW
命令删除具体化视图,或使用 DROP TABLE
命令删除流式处理表。 删除对象后,运行管道更新不会自动恢复该对象。 如果将具有相同定义的具体化视图或流式处理表重新添加到管道,则会创建一个新对象。 但是,可以使用 UNDROP
命令恢复对象。
旧版仪表板的终止支持时间表
- 2025 年 4 月 7 日:旧版仪表板的官方支持将结束。 只会解决严重的安全问题和服务中断。
- 2025 年 11 月 3 日:Databricks 将开始存档过去六个月未访问的旧仪表板。 存档的仪表板将不再可访问,存档过程将滚动进行。 对主动使用的仪表板的访问将保持不变。
Databricks 将与客户合作,在 2025 年 11 月 3 日之后开发现有旧仪表板的迁移方案。
为了帮助过渡到 AI/BI 仪表板,可以在用户界面和 API 中使用升级工具。 有关如何在 UI 中使用内置迁移工具的说明,请参阅 将旧版仪表板克隆到 AI/BI 仪表板。 有关使用 REST API 创建和管理仪表板的教程,请参阅使用 Azure Databricks API 管理仪表板。
审核日志中的 sourceIpAddress 字段将不再包含端口号
由于某个 bug,某些授权和身份验证审核日志在 sourceIPAddress
字段中除了包含 IP 之外,还包含端口号(例如 "sourceIPAddress":"10.2.91.100:0"
)。 端口号记录为 0
,不提供任何实际值,并且与 Databricks 审核日志的其余部分不一致。 为了增强审核日志的一致性,Databricks 计划更改这些审核日志事件的 IP 地址格式。 此更改将从 2024 年 8 月初开始逐步推出。
如果审核日志包含 sourceIpAddress
的 0.0.0.0
,Databricks 可能会停止记录该日志。