通过

即将推出的功能

了解即将发布的 Azure Databricks 版本中的功能和行为更改。

使用 Delta 表历史记录和 VACUUM 的行为更改

Databricks Runtime 18.0 将更改 Delta Lake 中 时间旅行查询 和 VACUUM 的工作方式，实现更可预测的行为。

当前行为：

时间旅行的可用性取决于VACUUM上次运行的时间，这很难预测。

Databricks Runtime 18.0 中的更改：

以下更新将使时间旅行具有确定性，并与保留设置保持一致：

  • 如果时间旅行查询（SELECT、RESTORE、CDC 和 CLONE 采用 AS OF 格式）超过delta.deletedFileRetentionDuration，则将阻止该查询。
  • 保留期时间 （） 会被忽略，并会发出警告，但 0 小时除外，这会永久删除 Delta 表的所有历史记录。
  • delta.logRetentionDuration 如果修改任一属性，则必须大于或等于 delta.deletedFileRetentionDuration 。

这些更改将在以下时间线上发布：

  • Mid-December 2025： 适用于 Databricks Runtime 18.0 上的所有 Delta 表。
  • 2026 年 1 月： 扩展到适用于 Unity 目录托管表的无服务器计算、Databricks SQL 和 Databricks Runtime 12.2 及更高版本。

对于 Unity 目录托管表，更改适用于 Databricks Runtime 12.2 及更高版本。 对于所有其他 Delta 表，更改适用于 Databricks Runtime 18.0 及更高版本。

需要采取行动：

验证在 Databricks Runtime 18.0 版本发布后，你的时间旅行查询是否继续正常运行。

  • 审核并更新 delta.deletedFileRetentionDuration 以符合你的时间旅行需求。 验证它是否小于或等于 delta.logRetentionDuration。
  • 停止在VACUUM命令中设置保留期。 请改用 delta.deletedFileRetentionDuration。

ABAC 在公共预览版中从工作区级别过渡到帐户级别

2025 年 10 月 31 日，作为公共预览版启动的一部分，ABAC 将从工作区级预览过渡到帐户级预览。 此更改会影响 Azure Databricks 如何在 Unity 目录元存储中强制实施 ABAC 策略。

如果你是 ABAC Beta 客户，则可以根据需要选择退出 ABAC 公共预览版。 如果不执行任何操作，在公共预览启动时，Azure Databricks 会强制实施关联到帐户元存储的所有工作区的 ABAC 策略。

列掩码自动类型转换

Unity 目录基于属性的访问控制（ABAC）目前为 Beta 版。 从公共预览版开始，Databricks 将自动转换从 ABAC 策略解析的列掩码函数的输出，以匹配目标列的数据类型。 此增强功能可确保使用 ABAC 列掩码时类型一致性并提高查询可靠性。

重要

如果掩码函数返回类型与目标列类型不兼容，现有的 ABAC 列掩码实现可能会遇到查询失败。 升级到公共预览版之前，请查看掩码函数。

警报 （Beta） 更新

Databricks 正在发布更改，以改进包括重大 API 更改的警报。 这些更改不会影响 旧警报。

有关警报的详细信息，请参阅 Databricks SQL 警报。

API 中断性变更

正在重命名或删除以下警报 V2 API 字段和值：

  • 在“创建”、“获取”、“更新”和“列出 API”中， run_as_user_name 将删除该字段。
    • 请改用 run_as （请求）和 effective_run_as （响应）。
  • 在列表 API 中，字段 results 将重命名为 alerts。
  • 在“创建、获取、更新和列出”API 的TRASHED字段中，lifecycle_state的值将被重命名为DELETED。
  • 在创建和更新 API 中，UNKNOWN 将不再支持 empty_result_state。

重要

在 2025 年 10 月 23 日之前使用这些 API 更新任何集成。 如果使用 SDK 或 Terraform，请升级到最新版本。

有关 API 参考，请参阅 警报 V2 API。

简化警报状态

目前，警报的状态设置为 UNKNOWN 是由于以下原因之一：

  • 它从未运行过。
  • 关联的查询不返回结果中的行，并且已选择UNKNOWN“If 查询结果为空”设置的所需状态。

若要删除此歧义，将进行以下更新：

  • 从 2025 年 10 月 14 日开始

    • 从未运行的警报将在 UI 中显示为“未运行”，在 API 中显示为null。
    • 对于新的警报，UNKNOWN 不能被选择用于没有结果的情况。 默认将保留为 Error，同时可选择使用 OK 或 Triggered。

  • 从 2025 年 10 月 23 日开始

    • 创建和更新 API 将不再接受 UNKNOWN 为 empty_result_state。

  • 从 2025 年 12 月 3 日开始

    • 设定为UNKNOWN的所有现有警报都将默认更改为Error。

重要

如果你在警报中使用 UNKNOWN，请将其更新为使用 OK、Triggered 或 Error。

新的编辑体验

从 2025 年 10 月 14 日开始，如果创建或编辑警报，它们将在新的多选项卡编辑器体验中打开。 请参阅 “写入查询”，并浏览新 SQL 编辑器中的数据。 此更改可提高 Azure Databricks 的一致性，但不会更改功能。

Lakehouse 联邦共享和默认存储

Lakehouse 联合上的 Delta 共享处于 Beta 阶段，允许 Delta 共享数据提供程序共享外部目录和表。 默认情况下，数据必须暂时具体化并存储在默认存储（个人预览版）。 目前，用户必须在帐户控制台中手动启用 “Delta Sharing for Default Storage - Expanded Access” 功能，才能使用 Lakehouse 联邦共享。

在所有 Azure Databricks 用户默认启用增量共享 - 扩展访问后，Lakehouse 联邦上的增量共享将在支持默认存储的区域中自动可用。

请参阅 向共享添加外部架构或表。

在工作区重新加载通知

在即将发布的版本中，如果工作区选项卡长时间打开且未刷新，则会显示用于重新加载工作区选项卡的消息。 这有助于确保您始终使用包含最新功能和修复的最新版本的 Databricks。

适用于 Azure Databricks 的 SAP Business Data Cloud （BDC） 连接器即将正式发布

适用于 Azure Databricks 的 SAP 业务数据云（BDC）连接器是一项新功能，可用于使用增量共享将数据从 SAP BDC 共享到 Azure Databricks 以及从 Azure Databricks 共享到 SAP BDC。 此功能将于 9 月底正式发布。

默认存储上表的增量共享将很快启用（Beta 版）

Delta 共享的默认存储更新扩展了共享功能，允许提供方将默认存储支持的 表 共享给任何 Delta 共享接收方（包括 Azure Databricks），也包括使用经典计算的接收方。 此功能目前为 Beta 版，要求服务提供者在帐户控制台中手动启用 默认存储的 Delta 共享 - 扩展访问。 不久，默认情况下，将为所有用户启用此功能。

对出站控制平面公共 IP 的更新

Azure Databricks 正在更新 出站控制平面公共 IP 和 Azure 服务标记，以提高安全性和区域可用性。 这些更改是自 2025 年 5 月 20 日开始推出的控制平面更新的一部分。

如果你的组织使用资源防火墙来控制入站访问：

  • 如果防火墙规则引用 Azure Databricks 服务标记，则无需执行任何作。
  • 如果允许特定的控制平面公共 IP，则必须在 2025 年 9 月 26 日前添加所有出站控制平面 IP。

继续支持之前的出站控制平面 IP。

自动加载器增量目录列表选项的行为改变

注释

自动加载器选项cloudFiles.useIncrementalListing已经被弃用。 尽管此说明讨论了对选项默认值的更改，以及如何在此更改后继续使用它，但 Databricks 建议不要使用此选项，转而使用 文件事件的文件通知模式。

在即将发布的 Databricks Runtime 版本中，弃用的自动加载程序 cloudFiles.useIncrementalListing 选项的值将默认设置为 false。 将此值设置为 false 使自动加载程序每次运行时执行完整目录列表。 目前，cloudFiles.useIncrementalListing 选项的默认值为 auto，指示自动加载程序尽最大努力检测是否可以将增量列表与目录一起使用。

若要继续使用增量列表功能，请将 cloudFiles.useIncrementalListing 选项设置为 auto。 将此值 auto设置为时，自动加载程序会尽力尝试每七个增量列表执行一次完整列表，这与此选项在更改之前的行为匹配。

若要了解有关自动加载程序目录列表的详细信息，请参阅 具有目录列表模式的自动加载程序流。

从 Lakeflow 声明性管道中删除数据集定义时的行为更改

即将发布的 Lakeflow 声明性管道将在从管道中删除具体化视图或流式处理表时更改行为。 通过此更改，下次管道更新运行时，不会自动删除已移除的具体化视图或流式处理表。 相反，你可以使用 DROP MATERIALIZED VIEW 命令删除具体化视图，或使用 DROP TABLE 命令删除流式处理表。 删除对象后，运行管道更新不会自动恢复该对象。 如果将具有相同定义的具体化视图或流式处理表重新添加到管道，则会创建一个新对象。 但是，可以使用 UNDROP 命令恢复对象。

旧版仪表板的终止支持时间表

  • 截至 2025 年 4 月 7 日，对旧版仪表板的官方支持已结束。 只会解决严重的安全问题和服务中断。
  • 2025 年 11 月 3 日：Databricks 将开始存档过去六个月未访问的旧仪表板。 存档的仪表板将不再可访问，存档过程将滚动进行。 对主动使用的仪表板的访问将保持不变。

Databricks 将与客户合作，在 2025 年 11 月 3 日之后开发现有旧仪表板的迁移方案。

为了帮助过渡到 AI/BI 仪表板，可以在用户界面和 API 中使用升级工具。 有关如何在 UI 中使用内置迁移工具的说明，请参阅 将旧版仪表板克隆到 AI/BI 仪表板。 有关使用 REST API 创建和管理仪表板的教程，请参阅使用 Azure Databricks API 管理仪表板。

审核日志中的 sourceIpAddress 字段将不再包含端口号

由于某个 bug，某些授权和身份验证审核日志在 sourceIPAddress 字段中除了包含 IP 之外，还包含端口号（例如 "sourceIPAddress":"10.2.91.100:0"）。 端口号记录为 0，不提供任何实际值，并且与 Databricks 审核日志的其余部分不一致。 为了增强审核日志的一致性，Databricks 计划更改这些审核日志事件的 IP 地址格式。 此更改将从 2024 年 8 月初开始逐步推出。

如果审核日志包含 sourceIpAddress 的 0.0.0.0，Databricks 可能会停止记录该日志。