Databricks 运行时维护更新

此页列出了支持的 Databricks Runtime 版本的维护更新。 要向现有群集添加维护更新，请重新启动群集。 有关不支持的 Databricks Runtime 版本的维护更新，请参阅 Databricks Runtime 的维护更新（已存档）。

发布采用分阶段方式。 Azure Databricks帐户在初始发布日期之后的几天内可能不会更新。

注意

从 Databricks Runtime 19 开始，维护更新直接在每个版本的统一发行说明页上发布。 此页面仅介绍 Databricks Runtime 18 及更早版本。 请参阅 Databricks Runtime 支持生命周期。

Databricks Runtime 版本

维护更新（按版本）：

Databricks Runtime 18 LTS

请参阅 Databricks Runtime 18 LTS。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • [SPARK-58386][SS] 恢复SupportsRealTimeRead.nextWithTimeout的向后兼容性
    • [SPARK-51268][SQL] 解除 TreeNode 锁
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • [SPARK-58292][CORE] 当工作线程事件循环线程终止时，重新创建 Netty 工作线程 EventLoopGroup
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.4.0 到 1.4.1
    • 回退“[SPARK-57778][仅测试] 为不可选择的 Oracle JDBC 对象添加 HiFi 覆盖”
    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • [SPARK-57547][SQL] 重新应用 InMemoryRelation 并发物质化修复
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • （行为变更）对于在 DStream 闭包中依赖自定义类型或第三方类型的用户，现在必须在检查点恢复之前将 spark.streaming.checkpoint.allowedClasses 设置为这些类型。
    • 修复了一个正确性问题：当在 min 列上对窗口化的 /maxBinaryType 使用滑动帧时（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧），返回的是持续累计的全局 min/max，而不是每个帧的值。
    • [SPARK-53454][SQL][backport] 在 JDBCSQLBuilder 中处理 AlwaysTrue/AlwaysFalse
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57195][SQL] 在 CSV 架构推断过程中，抛出 MALFORMED_CSV_RECORD 而不是 ArrayIndexOutOfBoundsException
    • [SPARK-57593][SQL][PYTHON] 字节绑定并检测选取器Python UDF 输入批处理
    • [SPARK-57243][18.3.2][SQL] 为 V2 SQL 构建器中的 IsNull 和 IsNotNull 添加括号
    • 其他问题修复。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57088][SQL] 允许 EXACT NEAREST BY 的非确定性排名表达式
    • [SPARK-56652][SQL] 在 DESCRIBE EXTENDED 的约束信息输出中始终输出 RELY/NORELY
    • [SPARK-57355][PYTHON] 修复 UDF 探查器中的 模块 检查
    • [SPARK-56720][SS] 在异步进度跟踪先前失败后，使后续异步日志写入失败
    • [SPARK-56977][SQL] RewriteNearestByJoin 应在合成联接中遵循 joinType
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

Databricks Runtime 18.2

请参阅 Databricks Runtime 18.2。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • [SPARK-58386][SS] 恢复SupportsRealTimeRead.nextWithTimeout的向后兼容性
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.4.0 到 1.4.1
    • 回退“[SPARK-57778][仅测试] 为不可选择的 Oracle JDBC 对象添加 HiFi 覆盖”
    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发实体化修复回移植到 18.2（带禁用开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • （行为变更）对于在 DStream 闭包中依赖自定义类型或第三方类型的用户，现在必须在检查点恢复之前将 spark.streaming.checkpoint.allowedClasses 设置为这些类型。
    • 修复了一个正确性问题：当在 min 列上对窗口化的 /maxBinaryType 使用滑动帧时（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧），返回的是持续累计的全局 min/max，而不是每个帧的值。
    • [SPARK-53454][SQL][backport] 在 JDBCSQLBuilder 中处理 AlwaysTrue/AlwaysFalse
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • [SPARK-57758][SQL] 恢复 O(1) 内置函数解析
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57593][SQL][PYTHON] 字节绑定并检测选取器Python UDF 输入批处理
    • [SPARK-57243][SQL] 在 V2 SQL 构建器中为 IsNull 和 IsNotNull 加上括号
    • 其他问题修复。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • [SPARK-57355][PYTHON] 修复 UDF 探查器中的 模块 检查
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

  • 2026 年 6 月 18 日

    • （行为变更）对于 DBSQL Serverless，Spark UI 中的 “SQL / 数据框属性”部分已被移除。

  • 2026 年 6 月 9 日

    • [SPARK-56410][SQL][CORE] 在 UnsafeExternalSorter 中添加对有界 K 路归并的支持，以降低 OOM 风险
    • （行为更改）使用 SQL item_type 或 REST API 时，创建 Azure Fabric （OneLake） 外部目录现在需要LAKEHOUSE选项（WAREHOUSE或CREATE FOREIGN CATALOG）。 Databricks UI 会自动设置此选项。 现有的外部目录不会受到影响。
    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。

  • 2026 年 5 月 26 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.11 到 1.4.0
    • 操作系统安全更新。

  • 2026 年 5 月 13 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13，从 1.3.10 到 1.3.11
    • [SPARK-56511][CORE] 修复 ShuffleInMemorySorter.getMemoryUsage 在 reset 失败后出现的 NPE
    • [SPARK-56554][SQL] 引入 XML 作为变体时尊重 inferSchema 选项
    • [SPARK-56302][CORE] 在执行器上进行序列化时及时释放任务结果内存
    • 回退“[SPARK-55356][SQL] 支持为 PIVOT 子句设置别名”
    • [SPARK-56502][CORE] 修复 DirectByteBufferOutputStream 容量检查中的整数溢出
    • [SPARK-56043][SQL] 将来自 Avro 1.12.x ParseContext.resolve() 的 NullPointerException 包装为 SchemaParseException
    • [SPARK-56652][SQL] 在 DESCRIBE EXTENDED 的约束信息输出中始终输出 RELY/NORELY
    • [SPARK-56328][SQL] 修复了 INSERT VALUES 和 DEFAULT COLLATION 的内联表排序规则处理
    • 其他问题修复。

Databricks Runtime 17.3 LTS

请参阅 Databricks Runtime 17.3 LTS。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • io.netty.netty-all 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-buffer 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-codec-http 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec-http2 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-codec-socks 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-common 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-handler，从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-handler-proxy 从 4.1.118.Final 到 4.1.137.Final
      • io.netty.netty-resolver 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-classes-epoll 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 升级到 4.1.137.Final
      • io.netty.netty-transport-native-epoll 从 4.1.118.Final、4.1.118.Final、4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final、4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-kqueue，从 4.1.118.Final、4.1.118.Final 到 4.1.137.Final、4.1.137.Final
      • io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.1.137.Final
      • org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-续期，从9.4.53.v20231009到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-api 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.53.v20231009 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.53.v20231009 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.53.v20231009 到 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • [SPARK-58751][SPARK-58977] 向后移植 Python 工作进程清理和状态服务器关闭
    • [SPARK-58292][CORE] 当工作线程事件循环线程终止时，重新创建 Netty 工作线程 EventLoopGroup
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-57778][仅测试] 修复 Oracle 专用 schema 下不稳定的不可选择 HiFi 测试
    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 修复了一个正确性问题：当在 min 列上对窗口化的 /maxBinaryType 使用滑动帧时（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧），返回的是持续累计的全局 min/max，而不是每个帧的值。
    • [SPARK-57778][SQL] 处理不可选择为表的 Oracle JDBC 对象
    • [SPARK-57371][Connect] 修复 ArrowDeserializers 中的数据争用
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复回移植到 17.3（带终止开关）
    • 其他问题修复。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。

  • 2026 年 5 月 26 日

    • [SPARK-34591][ML] 添加决策树修剪作为参数
    • 操作系统安全更新。

  • 2026 年 5 月 13 日

    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13，从 1.3.10 到 1.3.11
    • [SPARK-56361][SS] 改进流-流联接中发生 NPE 时的报错信息和日志记录
    • 其他问题修复。

  • 2026 年 4 月 20 日

    • 修复了该 GEOMETRY(102100) 类型的 CRS 颁发机构。 当局现在被报告为 ESRI:102100 而不是 EPSG:102100。
    • 修复了MERGE、UPDATE及流式写入查询中的数据正确性问题，其中源中的 NULL 结构被错误地扩展成目标中具有 NULL 字段的非 NULL 结构。 源代码中的 NULL 结构现在在目标中也保留为 NULL。 此修补程序适用于以下操作：
      • MERGE 包含 UPDATE SET t.structCol = s.structCol 使用结构体类型转换的操作。
      • 当启用了架构演变，并且目标结构没有额外字段或最初为 NULL 时，使用 。
      • 在 MERGE 列表中结构没有字段时，使用 UPDATE SET * EXCEPT 结合 EXCEPT。
      • MERGE 包含 INSERT (structCol) VALUES (s.structCol) 使用结构体类型转换的操作。
      • MERGE 包含 INSERT * [EXCEPT] 使用结构体类型转换的操作。
      • UPDATE 具有结构类型强制转换的查询。
      • 使用结构类型类型转换进行流写入。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.9 到 1.3.10
    • [SPARK-55811] [ SQL] 调用 nodeWithOutputColumnsString 时捕获 NonFatal 而不是 UnresolvedException
    • [SPARK-55892][SS] 修复无法加载状态存储，因为维护删除了重复使用的 SST 文件
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] 支持 SDP 预先分析 protos 中的流的结构化标识符
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55493] [ SS] 不要在 StateDataSource 中的流检查点状态目录中使用 mkdirs
    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.20.4
    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • 在推断Excel文件的架构时，字符串单元格现在被推断为 Spark StringType。 这遵循Excel中设置的单元格类型。 以前，具有数值的字符串被自动强制转换为更窄的类型，例如 Long 或 Decimal。
    • [SPARK-54887][CONNECT] 始终在 spark connect 客户端中设置 sql 状态
    • [SPARK-54887][CONNECT] 将可选的 sqlstate 添加到 sparkthrowables
    • [SPARK-55097][SQL] 修复重新添加缓存的工件时静默删除数据块的问题
    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动程序端使用worker_util
    • [SPARK-49110][SQL] 简化 SubqueryAlias.metadataOutput 以始终传播元数据列
    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.8 到 1.3.9
    • 请参阅上面的内容
    • [SPARK-54768][SS]Python 如果返回的数据与配置的架构不匹配，流数据源应对错误进行分类
    • [SPARK-54803] 支持使用 INSERT 的 BY NAME...REPLACE WHERE
    • [SPARK-53564][CORE] 避免由于 DAGSchedulerEventProcessLoop 中 blockManager 的 RPC 超时导致 DAGScheduler 退出
    • [SPARK-55015][SS][SQL] 修复 PrefixKeyScanStateEncoder 中的 decodeRemainingKey 字段数量计算
    • 操作系统安全更新。

  • 2026 年 1 月 9 日

    • 更新了Python库：
      • pmdarima 从 2.0.4 到 2.1.1
    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.6 到 1.3.8
    • 现在可以在指标视图维度和度量表达式中使用 SQL 窗口函数 作为标量函数。
    • [SPARK-54562][SDP][17.3 后移植] 阻止从服务器端进行预先分析/执行流函数
    • [SPARK-54679][SQL] 重命名spark.sql。（xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser）
    • [SPARK-54711][PYTHON] 为创建的工作程序连接添加超时
    • [SPARK-53127][SQL] 修复了 CTE 规范化过程中出现的 LIMIT ALL 导致的无限递归问题
    • [SPARK-54708] 通过延迟目录创建机制优化 ML 缓存清理
    • [SPARK-54581][SQL] 使 Postgres 连接器中的 fetchsize 选项不区分大小写
    • [SPARK-41916] [ ML] 火炬分发服务器：如果 task.gpu.amount > 1，则支持每个任务的多个 torchrun 进程
    • [SPARK-54564] [SQL] 将 QueryPlanningTracker 设为 HybridAnalyzer 字段
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • 操作系统安全更新。

  • 2025 年 12 月 9 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.3.5 到 1.3.6
    • [SPARK-50906][SQL] 修复重排后的结构字段的 Avro 空值属性检查
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • 操作系统安全更新。

  • 2025 年 11 月 18 日

    • [SPARK-54047][PYTHON] 在空闲超时终止时使用差异错误
    • [SPARK-52762][SDP] 在 Spark Connect 查询执行期间添加 PipelineAnalysisContext 消息以支持管道分析
    • [SPARK-54156][PROTOBUF] 对 ProtobufOptions 强制转换失败的错误进行分类
    • [SPARK-54078][SS] 新测试用于 StateStoreSuite SPARK-40492: maintenance before unload 并删除旧测试中的测试基础设施
    • [SPARK-54015][PYTHON] 放宽 Py4J 要求至py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] XML 变体解析器在处理十进制解析错误时应使用字符串作为后备方案。
    • [SPARK-54191][17.3 Backport][SDP] 向 Defineflow Proto 添加一次
    • 操作系统安全更新。

  • 2025 年 11 月 4 日

    • [SPARK-53729][PYTHON][CONNECT] 修复 pyspark.sql.connect.window.WindowSpec 的序列化问题
    • [SPARK-46679][SQL] 修复 SparkUnsupportedOperationException 在使用参数化类时找不到类型 T 的编码器问题
    • [SPARK-53973][Avro] 对 AvroOptions 布尔转换失败的错误进行分类
    • [SPARK-53794][SS] 添加用于限制与 rocksdb 状态存储关联的每次维护操作删除数量的选项
    • [SPARK-53908][CONNECT] 修复使用计划缓存的 Spark Connect 上的观测
    • [SPARK-53972][SS] 修复经典 pyspark 中流式查询 recentProgress 的回归问题
    • 操作系统安全更新。

Databricks Runtime 16.4 LTS

请参阅 Databricks Runtime 16.4 LTS。

  • 2026 年 9 月 15 日

    • 更新了Java库：
      • org.apache.zookeeper.zookeeper 从 3.9.2 升级到 3.9.5
      • org.apache.zookeeper.zookeeper-jute 从 3.9.2 到 3.9.5
    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58292][CORE] 当工作线程事件循环线程终止时，重新创建 Netty 工作线程 EventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化问题修复向后移植到 16.4（带禁用开关）
    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 修复了一个正确性问题：当在 min 列上对窗口化的 /maxBinaryType 使用滑动帧时（任何 RANGE 帧，或大小为 10 或更大的 ROWS 帧），返回的是持续累计的全局 min/max，而不是每个帧的值。
    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 其他问题修复。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • 修复了一个数据正确性问题：在 MERGE、UPDATE 和流式写入查询中，源中的 NULL 结构体值会在目标端被错误地展开为包含 NULL 字段的非 NULL 结构体。 更改后，源中的 NULL 结构在目标中正确保留为 NULL。

      受影响的操作：

      • MERGE 带有 UPDATE SET t.structCol = s.structCol 结构类型强制转换操作的查询
      • MERGE UPDATE SET *启用架构演变时的查询（当源结构为 NULL 时，当目标结构没有额外字段或最初为 NULL 时，使用 NULL 覆盖目标）
      • MERGE 使用 UPDATE SET * EXCEPT 查询 （当源结构为 NULL 时，当目标在 EXCEPT 列表中没有字段时，请使用 NULL 覆盖目标）
      • MERGE 带有 INSERT (structCol) VALUES (s.structCol) 结构类型强制转换操作的查询
      • MERGE 带有 INSERT * [EXCEPT] 结构类型强制转换操作的查询
      • UPDATE 带有结构体类型转换的查询
      • 带有结构体类型转换的流式写入

    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • （行为变更）SET TAG 现已具有幂等性。 对已具有标记的资源重复操作 SET TAG 不再引发错误。
    • 操作系统安全更新。

  • 2026 年 5 月 26 日

    • [SPARK-34591][ML] 添加决策树修剪作为参数
    • 操作系统安全更新。

  • 2026 年 5 月 13 日

    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 更新了Java库：
      • （仅限 Scala 2.12） io.delta.delta-sharing-client_2.12 从 1.2.11 到 1.2.12
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.11 到 1.2.12
    • [SPARK-56361][SS] 改进流-流联接中发生 NPE 时的报错信息和日志记录
    • 其他问题修复。

  • 2026 年 4 月 29 日

    • 其他问题修复。

  • 2026 年 4 月 20 日

    • 其他问题修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • （仅限 Scala 2.12） io.delta.delta-sharing-client_2.12 从 1.2.10 到 1.2.11
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.10 到 1.2.11
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • [Backports][OSS Cherrypick] [SPARK-55945][SDP] 支持 SDP 预先分析 protos 中的流的结构化标识符
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55493] [ SS] 不要在 StateDataSource 中的流检查点状态目录中使用 mkdirs
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动程序端使用worker_util
    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 更新了Java库：
      • （仅限 Scala 2.12）io.delta.delta-sharing-client_2.12 从 "1.2.9" 到 "1.2.10"
      • （仅限 Scala 2.12） org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.19.0
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.9 到 1.2.10
      • （仅限 Scala 2.13） org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.19.0
    • [SPARK-55015][SS][SQL] 修复 PrefixKeyScanStateEncoder 中的 decodeRemainingKey 字段数量计算
    • 操作系统安全更新。

  • 2026 年 1 月 9 日

    • 更新了Java库：
      • （仅限 Scala 2.12） io.delta.delta-sharing-client_2.12 从 1.2.8 到 1.2.9
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.8 到 1.2.9
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • [SPARK-54711][PYTHON] 为创建的工作程序连接添加超时
    • [SPARK-41916] [ ML] 火炬分发服务器：如果 task.gpu.amount > 1，则支持每个任务的多个 torchrun 进程
    • 操作系统安全更新。

  • 2025 年 12 月 9 日

    • 分区的 Delta 表将在数据 parquet 文件中具体化分区列。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • 对于 Snowflake 连接器和 Snowflake Lakehouse Federation，TIMESTAMP_NTZ（无时区的时间戳）文本不再向下推送到 Snowflake。 此更改可防止因不兼容的时间戳处理导致的查询失败，并提高受影响查询的可靠性。
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。

  • 2025 年 11 月 18 日

    • [SPARK-54099][SQL] XML 变体解析器在处理十进制解析错误时应使用字符串作为后备方案。
    • [SPARK-54015][PYTHON] 放宽 Py4J 要求至py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] 新测试用于 StateStoreSuite SPARK-40492: maintenance before unload 并删除旧测试中的测试基础设施
    • [SPARK-54156][PROTOBUF] 对 ProtobufOptions 强制转换失败的错误进行分类
    • [SPARK-54047][PYTHON] 在空闲超时终止时使用差异错误
    • 操作系统安全更新。

  • 2025 年 11 月 4 日

    • 更新了 R 库：
      • 箭头从 16.1.0 到 21.0.0
    • [SPARK-53973][Avro] 对 AvroOptions 布尔转换失败的错误进行分类
    • 操作系统安全更新。

  • 2025 年 10 月 21 日

    • 操作系统安全更新。

  • 2025 年 10 月 7 日

    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • [SPARK-53623][SQL] 改进读取大型表属性...
    • [SPARK-53598][SQL] 在读取大型表属性之前检查 numParts 是否存在
    • [SPARK-53549][SS] 完成列表状态请求过程时始终关闭箭头分配器
    • 操作系统安全更新。

  • 2025 年 9 月 16 日

    • Snowflake 连接器现在使用 INFORMATION_SCHEMA 表而不是 SHOW SCHEMAS 命令列出架构。 此更改消除了上一种方法的 10,000 架构限制，并改进了对具有大量架构的数据库的支持。
    • 操作系统安全更新。

  • 2025 年 9 月 9 日

    • 修复了可能导致自动加载程序无限期挂起的问题。
    • 修复了自动加载程序中可能导致作业失败的暂时性错误
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • [SPARK-51821][CORE] 调用 interrupt() 而不持有 uninterruptibleLock 以避免可能的死锁
    • 操作系统安全更新。

  • 2025 年 8 月 26 日

    • 更新了Java库：
      • （仅限 Scala 2.12） io.delta.delta-sharing-client_2.12 从 1.2.7 到 1.2.8
      • （仅限 Scala 2.13） io.delta.delta-sharing-client_2.13 从 1.2.7 到 1.2.8
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • [SPARK-53192][CONNECT] 始终在 Spark Connect 计划缓存中缓存数据源
    • 操作系统安全更新。

  • 2025 年 8 月 14 日

    • [SPARK-51011][CORE] 添加日志记录以识别任务在被终止时是否会被中断
    • [SPARK-52833][SQL] 修复 VariantBuilder.appendFloat
    • [SPARK-51505][SQL] 始终在 AQEShuffleReadExec 中显示空分区号指标
    • 操作系统安全更新。

  • 2025 年 7 月 29 日

    • [SPARK-52753][SQL] 使 parseDataType 二进制文件与以前的版本兼容
    • 操作系统安全更新。

  • 2025 年 7 月 15 日

    • 修复了使用 Spark 结构化流式处理从 Pulsar 流式传输数据时出现的非确定性的数据丢失问题。
    • [SPARK-52579][PYTHON] 为Python工作线程设置定期回溯转储
    • [SPARK-52553][SS] 修复读取 v1 更改日志时的 NumberFormatException
    • [SPARK-52450] 提高架构深层复制的性能
    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况
    • [SPARK-52599][PYTHON] 支持驱动程序端工作器中的定期回溯转储
    • 操作系统安全更新。

  • 2025 年 7 月 1 日

    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • [SPARK-52312][SQL] 缓存数据帧时忽略 V2WriteCommand
    • 操作系统安全更新。

  • 2025 年 6 月 17 日

    • 修复了限制，即 cloud_files_state 表值函数（TVF）无法用于跨管道读取流式表的文件级状态。
    • 修复了针对临时视图的查询的 Unity 目录授权问题。
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID
    • 操作系统安全更新。

  • 2025 年 6 月 3 日

    • [SPARK-52195][PYTHON][SS] 修复了Python TWS 的初始状态列删除问题
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 其他问题修复。

  • 2025 年 5 月 7 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.13 从 1.2.3 到 1.2.7
      • org.apache.avro.avro 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 已从 1.11.3 升级到 1.11.4
    • 流式克隆会话将在共享群集/无服务器中的 foreachBatch 用户函数中使用。 这与经典（分配的群集）中的行为保持一致。
    • 流式克隆会话将在共享群集/无服务器中的 foreachBatch 用户函数中使用。 这与经典（分配的群集）中的行为保持一致。
    • 在此更改之前，禁用 Photon 时，表达式中路径的variant_get前导空格和制表符将被忽略。 例如， select variant_get(parse_json('{"key": "value"}'), '$['key']') 在提取值 "key"时不会有效。 但是，用户现在将能够提取此类密钥。
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • [SPARK-51921][SS][PYTHON] 在 transformWithState 中使用 TTL 持续时间长类型（以毫秒为单位）
    • [SPARK-51940][SS] 添加用于管理流检查点元数据的接口
    • [SPARK-52049] 修复了 XML 属性无法解析为 Variant 的 bug
    • [SPARK-51904][SS] 删除 StateSchemaV3 的异步元数据清除，并在列出 OperatorMetadata 文件时忽略非批处理文件
    • [SPARK-51869][SS] 为 Scala TransformWithState 的 UDF 中的用户错误创建分类
    • [SPARK-51889][PYTHON][SS] 修复了 Python TWS 中 MapState clear（） 的 bug
    • [SPARK-51922] [SS] 修复从 StateStoreChangelogReaderFactory 引发的 UTFDataFormatException for v1
    • [SPARK-51848][SQL] 修复解析具有 Variant 数组/结构/映射定义架构的 XML 记录问题
    • 操作系统安全更新。

Databricks Runtime 15.4 LTS

请参阅 Databricks Runtime 15.4 LTS。

  • 2026 年 9 月 15 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8， 11.2.3.jre8 到 11.2.3.jre8， 11.2.4.jre8
    • [SPARK-41246][CORE] RDD ID溢出时快速失效;解析负方块ID作为安全网（从Cherry-Pick到DBR-branch-15.4）
    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58292][CORE] 当工作线程事件循环线程终止时，重新创建 Netty 工作线程 EventLoopGroup
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发具体化修复向后移植到 15.4（带终止开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 操作系统安全更新。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.

    • 修复了一个数据正确性问题：在 MERGE、UPDATE 和流式写入查询中，源中的 NULL 结构体值会在目标端被错误地展开为包含 NULL 字段的非 NULL 结构体。 更改后，源中的 NULL 结构在目标中正确保留为 NULL。

      受影响的操作：

      • MERGE 带有 UPDATE SET t.structCol = s.structCol 结构类型强制转换操作的查询
      • MERGE UPDATE SET *启用架构演变时的查询（当源结构为 NULL 时，当目标结构没有额外字段或最初为 NULL 时，使用 NULL 覆盖目标）
      • MERGE 使用 UPDATE SET * EXCEPT 查询 （当源结构为 NULL 时，当目标在 EXCEPT 列表中没有字段时，请使用 NULL 覆盖目标）
      • MERGE 带有 INSERT (structCol) VALUES (s.structCol) 结构类型强制转换操作的查询
      • MERGE 带有 INSERT * [EXCEPT] 结构类型强制转换操作的查询
      • UPDATE 带有结构体类型转换的查询
      • 带有结构体类型转换的流式写入

    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • 操作系统安全更新。

  • 2026 年 5 月 26 日

    • 操作系统安全更新。

  • 2026 年 5 月 13 日

    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 操作系统安全更新。

  • 2026 年 4 月 29 日

    • 其他问题修复。

  • 2026 年 4 月 20 日

    • 其他问题修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12，从 1.1.10 到 1.1.11
    • 自动加载程序包括两项与源位置管理和 DBR 16.3：1 中的可见性相关的新功能。 记录事件更改：通过此更改，客户将能够使用 cloud_files_state TVF 查看文件发现和处理详细信息，例如文件最初发现的时间、提交时间、存档时间等。 请参阅此处的此 TVF 的当前公共文档。 2. 清理源：使用此功能，客户可以指示自动加载程序自动删除已处理的文件。 客户可以通过选项cloudFiles.cleanSource“自动加载器”选择加入此功能。 在此处查看自动加载程序选项文档中的更多详细信息。
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.11.3
    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • [SPARK-55243][CONNECT] 允许通过 Scala Connect 客户端中的 -bin 后缀设置二进制标头
    • [SPARK-55282][PYTHON][CONNECT] 避免在驱动程序端使用worker_util
    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.9 到 1.1.10
    • 操作系统安全更新。

  • 2026 年 1 月 9 日

    • 分区的 Delta 表将在数据 parquet 文件中具体化分区列。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • [SPARK-54620][SQL] 在 ObservationManager 中添加安全检查以避免观测阻塞
    • [SPARK-54711][PYTHON] 为创建的工作程序连接添加超时
    • 操作系统安全更新。

  • 2025 年 12 月 9 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.7 到 1.1.9
    • [SPARK-54427][SQL] 允许 ColumnarRow 使用变体类型进行调用copy
    • [SPARK-52579][PYTHON] 为Python工作线程设置定期回溯转储
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。

  • 2025 年 11 月 18 日

    • [SPARK-54078][SS] 新测试用于 StateStoreSuite SPARK-40492: maintenance before unload 并删除旧测试中的测试基础设施
    • [SPARK-54047][PYTHON] 在空闲超时终止时使用差异错误
    • 操作系统安全更新。

  • 2025 年 11 月 4 日

    • 更新了 R 库：
      • 从 14.0.0.2 指向 21.0.0 的箭头
    • 操作系统安全更新。

  • 2025 年 10 月 21 日

    • 扫描光子化标准已更新，以便在需要校验和验证时允许进行扫描光子化。
      确定是否需要校验和验证现在来自 hadoop conf 而不是 SQLConf。
    • 操作系统安全更新。

  • 2025 年 10 月 7 日

    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • 其他问题修复。

  • 2025 年 9 月 16 日

    • Snowflake 连接器现在使用 INFORMATION_SCHEMA 表而不是 SHOW SCHEMAS 命令列出架构。 此更改消除了上一种方法的 10,000 架构限制，并改进了对具有大量架构的数据库的支持。
    • [SPARK-50870][SQL] 在 V2ScanRelationPushDown 中强制转换为时间戳时添加时区
    • 操作系统安全更新。

  • 2025 年 9 月 9 日

    • 修复了可能导致自动加载程序无限期挂起的问题。
    • 修复了自动加载程序中可能导致作业失败的暂时性错误
    • [SPARK-51821][CORE] 调用 interrupt() 而不持有 uninterruptibleLock 以避免可能的死锁
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • 操作系统安全更新。

  • 2025 年 8 月 26 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.6 到 1.1.7
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • [SPARK-53192][CONNECT] 始终在 Spark Connect 计划缓存中缓存数据源
    • 操作系统安全更新。

  • 2025 年 8 月 14 日

    • [SPARK-51011][CORE] 添加日志记录以识别任务在被终止时是否会被中断
    • 操作系统安全更新。

  • 2025 年 7 月 29 日

    • 操作系统安全更新。

  • 2025 年 7 月 21 日

    • 对于为 Photon 启用或使用基于 Arm64 的 CPU 的计算， mlflow-skinny 升级到 2.19.0， ray 升级到 2.37.0，并 databricks-feature-engineering 升级到 0.8.0。

  • 2025 年 7 月 15 日

    • 修复了使用 Spark 结构化流式处理从 Pulsar 流式传输数据时出现的非确定性的数据丢失问题。
    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况

  • 2025 年 7 月 1 日

    • 更新了Java库：
      • org.mlflow.mlflow-spark_2.12 从 2.9.1 到 2.11.3
      • 已删除 com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • 已删除 org.slf4j.slf4j-simple 1.7.25
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • [SPARK-52312][SQL] 缓存数据帧时忽略 V2WriteCommand
    • 操作系统安全更新。

  • 2025 年 6 月 17 日

    • 修复了限制，即 cloud_files_state 表值函数（TVF）无法用于跨管道读取流式表的文件级状态。
    • [SPARK-49646][SQL] 修复当 parentOuterReferences 的引用未包含在 collectedChildOuterReferences 中时，并集/集操作的子查询去相关问题
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID

  • 2025 年 6 月 3 日

    • 更新了Python库：
      • 加密从 3.4.8、41.0.3 到 41.0.3
      • filelock 从 3.13.4 和 3.15.4 更新到 3.13.4
      • importlib-metadata 从 4.6.4、6.0.0 到 6.0.0
      • platformdirs 从 3.10.0、3.11.0 到 3.10.0
      • pyparsing 版本从 2.4.7 和 3.0.9 更新至 3.0.9
      • zipp 从 1.0.0、3.11.0 到 3.11.0
      • 添加了 pip 23.2.1
      • 添加了 setuptools 68.0.0
      • 添加了 wcwidth 0.2.5
      • 添加了 Wheel软件包 0.38.4
      • 已删除发行版 1.7.0
      • 已删除发行版信息 1.1+ubuntu0.2
      • 已删除 python-apt 2.4.0+ubuntu4
    • 更新了Java库：
      • com.github.fommil.netlib.native_ref-java 从 1.1、1.1 到 1.1、1.1
      • com.github.fommil.netlib.native_system-java 从 1.1、1.1-natives 到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 从 1.1-natives 更新到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 从 1.1-natives 到 1.1
      • io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64，2.0.61.Final-db-r16-linux-x86_64，2.0.61.Final-db-r16-osx-aarch_64，2.0.61.Final-db-r16-osx-x86_64，2.0.61.Final-db-r16-windows-x86_64 到 2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 从 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue 从 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core 从 1.9.2-shaded-protobuf 到 1.9.2
      • org.apache.orc.orc-mapreduce 从 1.9.2-shaded-protobuf 到 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 到 1.6.2
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 操作系统安全更新。

  • 2025 年 5 月 20 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.5 到 1.1.6
    • 流式克隆会话将在共享群集/无服务器中的 foreachBatch 用户函数中使用。 这与经典（分配的群集）中的行为保持一致。
    • 在此更改之前，禁用 Photon 时，表达式中路径的variant_get前导空格和制表符将被忽略。 例如， select variant_get(parse_json('{"key": "value"}'), '$['key']') 在提取值 "key"时不会有效。 但是，用户现在将能够提取此类密钥。
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • 操作系统安全更新。

  • 2025 年 4 月 22 日

    • 更新了Java库：
      • org.apache.avro.avro 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-ipc 从 1.11.3 到 1.11.4
      • org.apache.avro.avro-mapred 已从 1.11.3 升级到 1.11.4
    • 在 15.4、16.0、16.1、16.2 和 16.3 中还原“[SPARK-47895][SQL] 按别名分组应是幂等的”
    • [SPARK-50682][SQL] 内部别名应规范化
    • 操作系统安全更新。

  • 2025 年 4 月 9 日

    • （Behavioral change）若要应用关键安全修补程序，默认Python版本从 Python 3.11.0rc1 更新为 Python 3.11.11。 此更新可能会影响在 Databricks Runtime 15.4 LTS 上运行的某些工作负载，例如使用 Python 序列化在执行之间存储和恢复状态的工作负载，或固定在 3.11.0 Python 版本上的工作负载。
    • 更新了Java库：
      • 删除了 io.starburst.openjson.openjson 1.8-e.12
      • 删除了 io.starburst.openx.data.json-serde 1.3.9-e.12
      • 删除了 io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL]“按别名分组”应是幂等的
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
    • 操作系统安全更新。

  • 2025 年 3 月 31 日

    • 对于未启用 Photon 的计算任务，databricks-feature-engineering 已升级到 0.8.0。 对于已启用 Photon 的计算， databricks-feature-engineering 仍为 0.6.0。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 及更高版本包含了一个修复，此修复解决了一个导致与实例化 SparkListenerApplicationEnd 类的代码存在二进制不兼容性的问题，这些代码是针对 Apache Spark 编译的。 合并 SPARK-46399 到 Apache Spark 引起了这种不兼容。 此次合并包含一项更改，即向 SparkListenerApplicationEnd 构造函数添加了默认参数。 若要还原二进制兼容性，此修补程序会将单个参数构造函数添加到 SparkListenerApplicationEnd 类。
    • [SPARK-50985][SS] 对 Kafka 时间戳偏移量不匹配错误进行分类，而不是断言，并针对 KafkaTokenProvider 中缺少服务器的情况引发错误
    • [SPARK-50791][SQL] 修复状态存储错误处理中的 NPE
    • [SPARK-50310][PYTHON] 提高禁用 DQC 时的列性能
    • [SPARK-51222][SQL] 优化 ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] 对服务器端流式处理查询 ListenerBus 侦听器的日志进行小幅改进
    • [SPARK-51084][SQL] 为 negativeScaleNotAllowedError 分配适当的错误类
    • 操作系统安全更新。

  • 2025 年 2 月 11 日

    • 此版本包括修复了序列化已获救 XML 数据列时影响某些数据类型转换的问题。 受影响的数据类型是日期、非 NTZ 时间戳和小数，当启用 prefersDecimal 时。 若要了解有关已获救数据列的详细信息，请参阅什么是已获救数据列？
    • [SPARK-50492][SS] 修复在 dropDuplicatesWithinWatermark 操作后删除事件时间列时出现的 java.util.NoSuchElementException 错误
    • 操作系统安全更新。
    • 对于未启用 Photon 的计算， mlflow-skinny 已升级到 2.19.0。 对于已启用 Photon 的计算， mlflow-skinny 仍为 2.13.1。

  • 2024 年 12 月 10 日

    • USE CATALOG 语句现在支持 IDENTIFIER 子句。 借助此支持，可以根据字符串变量或参数标记参数化当前目录。
    • 此版本中修复了可能导致 Delta 表上的主键在与后台自动压缩相关的某些边缘情况下被删除的问题。
    • 在此版本中，Databricks 计算节点中 SSD 使用的缓存大小动态扩展到 SSD 的初始大小，并在必要时缩小到 spark.databricks.io.cache.maxDiskUsage 限制。 请参阅 使用 Azure Databricks 上的缓存来优化性能。
    • pyodbc 包从版本 4.0.38 更新到版本 4.0.39。 此更改是必需的，因为版本 4.0.38 中发现了 bug，并且该版本已从 PyPI 中删除。
    • [SPARK-50329][SQL] 修复 InSet$toString
    • [SPARK-47435][SQL] 修复 MySQL UNSIGNED TINYINT 的溢出问题
    • [SPARK-49757][SQL] 在 SET CATALOG 语句中支持 IDENTIFIER 表达式
    • [SPARK-50426][PYTHON] 使用内置数据源或Java数据源时避免静态Python数据源查找
    • [SPARK-48863][SQL] 修复在启用“spark.sql.json.enablePartialResults”的情况下解析 JSON 时的 ClassCastException
    • [SPARK-50310][PYTHON] 添加标志以禁用 PySpark 的 DataFrameQueryContext
    • [15.3-15.4] [SPARK-50034][CORE] 修复 SparkUncaughtExceptionHandler 中将“致命错误”误报为“未捕获的异常”的问题
    • 操作系统安全更新。

  • 2024 年 11 月 26 日

    • 在此版本中，现在可以使用 vector_search 查询 query_text 函数进行文本输入，或者使用 query_vector 进行嵌入输入。
    • 现在可以使用 Spark 配置属性 spark.databricks.execution.timeout为 Spark Connect 查询设置超时。 对于在无服务器计算上运行的笔记本，默认值为 9000（秒）。 在无服务器计算和具有标准访问模式的计算上运行的作业没有超时，除非设置了此配置属性。 持续时间超过指定超时时间的执行会导致 QUERY_EXECUTION_TIMEOUT_EXCEEDED 错误。
    • [SPARK-50322][SQL] 修复子查询中的参数化标识符
    • [SPARK-49615] [ML] 使所有 ML 功能转换器数据集架构验证都符合“spark.sql.caseSensitive”配置。
    • [SPARK-50124][SQL] LIMIT/OFFSET 应保留数据排序
    • 操作系统安全更新。

  • 2024 年 11 月 5 日

    • （重大变更）在 Databricks Runtime 15.4 LTS 及更高版本中，Photon 的正则表达式处理已更新，以符合 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。 由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如表达式 split(str_col, '{') 包含一个不匹配的大括号。这个表达式以前被 Photon 接受，但现在将失败。 若要修复此表达式，可以转义大括号字符：split(str_col, '\\{')。 对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 此内容也进行了更新，使 Photon 与 Apache Spark 行为相匹配。
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-49867][SQL] 在调用 GetColumnByOrdinal 时，当索引超出边界时改进错误消息
    • [SPARK-49863][SQL]修复 NormalizeFloatingNumbers 以保留嵌套结构的可为 Null 性
    • [SPARK-49829] 修改在流-流联接中将输入添加到状态存储的优化（正确性修复）
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49443][SQL][PYTHON] 实现 to_variant_object 表达式，并使 schema_of_variant 表达式对变体对象以 OBJECT 形式打印输出。
    • [SPARK-49615] Bug 修复：使 ML 列架构验证符合 spark 配置 spark.sql.caseSensitive。

  • 2024 年 10 月 22 日

    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-49867][SQL] 在调用 GetColumnByOrdinal 时，当索引超出边界时改进错误消息
    • [SPARK-49863][SQL]修复 NormalizeFloatingNumbers 以保留嵌套结构的可为 Null 性
    • [SPARK-49829] 修改在流-流联接中将输入添加到状态存储的优化（正确性修复）
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49443][SQL][PYTHON] 实现 to_variant_object 表达式，并使 schema_of_variant 表达式对变体对象以 OBJECT 形式打印输出。
    • [SPARK-49615] Bug 修复：使 ML 列架构验证符合 spark 配置 spark.sql.caseSensitive。

  • 2024 年 10 月 10 日

    • [SPARK-49743][SQL] 当修剪 GetArrayStructFields 时，OptimizeCsvJsonExpr 不应更改模式字段
    • [SPARK-49688][CONNECT] 修复中断和执行计划之间的数据争用
    • [BACKPORT] [SPARK-49474][SS] 对 FlatMapGroupsWithState 用户函数错误进行错误类别的分类
    • [SPARK-49460][SQL] 跟进：修复潜在的 NPE 风险

  • 2024 年 9 月 25 日

    • [SPARK-49628][SQL] 在计算之前，ConstantFolding 应复制有状态表达式
    • [SPARK-49000][SQL] 通过展开RewriteDistinctAggregates 来修复“select count(distinct 1) from t”，其中 t 为空表
    • [SPARK-49492][CONNECT] 在非活动 ExecutionHolder 上尝试重新连接
    • [SPARK-49458][CONNECT][PYTHON]通过 ReattachExecute 提供服务器端会话 ID
    • [SPARK-49017][SQL] 当使用多个参数时，插入语句失败
    • [SPARK-49451] 允许 parse_json 中存在重复键。
    • 其他问题修复。

  • 2024 年 9 月 17 日

    • [SPARK-48463][ML] 使 Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 支持嵌套输入列
    • [SPARK-49409][CONNECT] 调整 CONNECT_SESSION_PLAN_CACHE_SIZE 的默认值
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] 支持 ArtifactManager 中的Windows样式路径
    • 还原“[SPARK-48482][PYTHON] dropDuplicates 和 dropDuplicatesWIthinWatermark 应接受可变长度参数”
    • [SPARK-43242][CORE] 修复混排损坏诊断时引发“意外 BlockId 类型”的问题
    • [SPARK-49366][CONNECT] 将 Union 节点视为数据帧列解析中的叶节点
    • [SPARK-49018][SQL] 修复 approx_count_distinct 无法正常使用排序规则的问题
    • [SPARK-49460][SQL]从 EmptyRelationExec 中删除 cleanupResource()
    • [SPARK-49056][SQL] ErrorClassesJsonReader 无法正确处理 null
    • [SPARK-49336][CONNECT] 截断 protobuf 消息时限制嵌套级别

  • 2024 年 8 月 29 日

    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅流式处理限制。
    • [SPARK-48941][SPARK-48970] 向后移植 ML 写入器/读取器修复
    • [SPARK-49074][SQL] 使用 df.cache() 修复变体
    • [SPARK-49263][CONNECT] Spark Connect python 客户端：一致地处理布尔型数据帧读取器选项
    • [SPARK-48955][SQL] 在 15.4 中包含 ArrayCompact 更改
    • [SPARK-48937][SQL] 增加对 StringToMap 字符串表达式的排序规则支持
    • [SPARK-48929] 修复视图内部错误并清理分析程序异常上下文
    • [SPARK-49125][SQL] 允许在 CSV 写入中重复列名
    • [SPARK-48934][SS] Python datetime 类型因在 applyInPandasWithState 中设置超时而转换不正确
    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-48981] 修复 pyspark 中 StringType 的 simpleString 方法以实现排序规则
    • [SPARK-49065][SQL] 在旧格式化程序/分析程序中变基必须支持非 JVM 默认时区
    • [SPARK-48896][SPARK-48909][SPARK-48883] 向后移植 Spark ML 写入器修复
    • [SPARK-48725][SQL] 将 CollationAwareUTF8String.lowerCaseCodePoints 集成到字符串表达式
    • [SPARK-48978][SQL] 在 UTF8_LCASE 的排序规则支持中实现 ASCII 快速通道
    • [SPARK-49047][PYTHON][CONNECT] 截断消息以便进行日志记录
    • [SPARK-49146][SS] 将追加模式流式处理查询中有关缺少水印的断言错误移至错误框架
    • [SPARK-48977][SQL] 优化 UTF8_LCASE 排序规则下的字符串搜索
    • [SPARK-48889][SS] testStream 在完成之前卸载状态存储
    • [SPARK-48463] 使 StringIndexer 支持嵌套输入列
    • [SPARK-48954] try_mod() 替换 try_remainder()
    • 操作系统安全更新。

Databricks Runtime 14.3 LTS

请参阅 Databricks Runtime 14.3 LTS。

  • 2026 年 9 月 15 日

    • 操作系统安全更新。

  • 2026 年 9 月 1 日

    • （行为变化） RESTORECLONE 如果源表和目标表共享一个共同文件，则可能阻止更改表分区的命令。
    • 更新了Java库：
      • org.eclipse.jetty.jetty-client 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-延续，从9.4.52.v20230823到9.4.57.v20241219
      • org.eclipse.jetty.jetty-http 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-io 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-jndi 从 9.4.52.v20230823 升级到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-plus 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-proxy 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-security 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.jetty-server 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlet 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-servlets 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-util-ajax 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-webapp 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.jetty-xml 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-API 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-client 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-common 从 9.4.52.v20230823 到 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-server 从 9.4.52.v20230823 改为 9.4.57.v20241219
      • org.eclipse.jetty.websocket.websocket-servlet 从 9.4.52.v20230823 变为 9.4.57.v20241219
    • [SPARK-58531][SQL][CONNECT] 将 spark.sql.artifact.copyFromLocalToFs.allowDestLocal 设为静态配置项
    • 操作系统安全更新。

  • 2026 年 8 月 18 日

    • 更新了Java库：
      • com.microsoft.sqlserver.mssql-jdbc 从 11.2.2.jre8, 11.2.3.jre8 到 11.2.3.jre8, 11.2.3.jre8
    • 操作系统安全更新。

  • 2026 年 8 月 4 日

    • [SPARK-58107] 回溯本地检查点去封 + MERGE 物质化源校验和验证
    • [SPARK-57547][SQL] 将 InMemoryRelation 并发物化修复向后移植到 14.3（带禁用开关）
    • 操作系统安全更新。

  • 2026 年 7 月 24 日

    • 操作系统安全更新。

  • 2026 年 7 月 10 日

    • 操作系统安全更新。

  • 2026 年 6 月 29 日

    • （行为更改）指标视图现在拒绝引用其他窗口度量值的窗口度量值。 以前，这种模式在 CREATE 时会成功，但在查询时会静默失败或产生不正确的结果。 现在，Azure Databricks 会在 CREATE 或 ALTER 时明确报错（METRIC_VIEW_WINDOW_MEASURE_REFERENCES_WINDOW_MEASURE）。 若要禁用此验证，请设置为 spark.databricks.sql.metricView.rejectWindowOnWindowMeasure.enabledfalse.
    • 操作系统安全更新。

  • 2026 年 6 月 9 日

    • 操作系统安全更新。

  • 2026 年 5 月 26 日

    • 操作系统安全更新。

  • 2026 年 5 月 13 日

    • （行为变更）使用架构模式列出表时，不再刷新外部表的 Unity Catalog 元数据（例如，SQL Server、PostgreSQL 或 AWS Glue）。 此更改会影响 JDBC 驱动程序中传入架构模式时的 SHOW TABLES IN SCHEMA LIKE ... 和 getMetaData.getTables 调用，以及 Thrift SparkGetTablesOperation API。 如果工作负荷依赖于具有架构模式的元数据刷新，请联系 Databricks 支持部门。
    • 操作系统安全更新。

  • 2026 年 4 月 29 日

    • 其他问题修复。

  • 2026 年 4 月 20 日

    • 其他问题修复。

  • 2026 年 4 月 2 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12，从 1.1.7 到 1.1.11
    • 自动加载程序包括两项与源位置管理和 DBR 16.3：1 中的可见性相关的新功能。 记录事件更改：通过此更改，客户将能够使用 cloud_files_state TVF 查看文件发现和处理详细信息，例如文件最初发现的时间、提交时间、存档时间等。 请参阅此处的此 TVF 的当前公共文档。 2. 清理源：使用此功能，客户可以指示自动加载程序自动删除已处理的文件。 客户可以通过选项cloudFiles.cleanSource“自动加载器”选择加入此功能。 在此处查看自动加载程序选项文档中的更多详细信息。
    • 操作系统安全更新。

  • 2026 年 3 月 10 日

    • [SPARK-55111][SS] 在查询重启时重新检查未完成的重新分区检测
    • [SPARK-55701]ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的竞态条件
    • 操作系统安全更新。

  • 2026 年 2 月 26 日

    • 操作系统安全更新。

  • 2026 年 2 月 19 日

    • 操作系统安全更新。

  • 2026 年 1 月 27 日

    • 操作系统安全更新。

  • 2026 年 1 月 9 日

    • 分区的 Delta 表将在数据 parquet 文件中具体化分区列。 这可以更好地配合 Iceberg 和 UniForm 表的处理方式，并增强与外部非 Delta 读取器的兼容性。
    • [SPARK-54711][PYTHON] 为创建的工作程序连接添加超时
    • 操作系统安全更新。

  • 2025 年 12 月 9 日

    • [SPARK-52579][PYTHON] 为Python工作线程设置定期回溯转储
    • [SPARK-54180][SQL] 重写 BinaryFileFormat 的 toString
    • 操作系统安全更新。

  • 2025 年 11 月 18 日

    • [SPARK-54078][SS] 新测试用于 StateStoreSuite SPARK-40492: maintenance before unload 并删除旧测试中的测试基础设施
    • [SPARK-54047][PYTHON] 在空闲超时终止时使用差异错误
    • 操作系统安全更新。

  • 2025 年 11 月 4 日

    • 更新了 R 库：
      • 箭头从 12.0.1 到 21.0.0
    • 操作系统安全更新。

  • 2025 年 10 月 21 日

    • 操作系统安全更新。

  • 2025 年 10 月 7 日

    • [SPARK-53568][CONNECT][PYTHON] 修复 Spark Connect Python客户端错误处理逻辑中的几个小 bug
    • [SPARK-53574] 修复嵌套计划解析期间 AnalysisContext 被丢失的问题
    • 其他问题修复。

  • 2025 年 9 月 16 日

    • 操作系统安全更新。

  • 2025 年 9 月 9 日

    • 修复了可能导致自动加载程序无限期挂起的问题。
    • [SPARK-49872][CORE] 删除杰克逊 JSON 字符串长度限制
    • 操作系统安全更新。

  • 2025 年 8 月 26 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.6 到 1.1.7
    • [SPARK-52482][SQL][CORE] 改进了读取某些损坏的 zstd 文件的异常处理
    • 操作系统安全更新。

  • 2025 年 8 月 14 日

    • 操作系统安全更新。

  • 2025 年 7 月 29 日

    • 操作系统安全更新。

  • 2025 年 7 月 15 日

    • [SPARK-52503][SQL][CONNECT] 修复 drop 输入列不存在的情况
    • 其他问题修复。

  • 2025 年 7 月 1 日

    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • 对文件数据源读取器（json、csv、xml 和 text）的 ZStandard 解压缩支持。
    • [SPARK-52521][SQL] Right#replacement 不应动态访问 SQLConf
    • [SPARK-52482][SQL][CORE] 对文件数据源读取器的 ZStandard 支持
    • 操作系统安全更新。

  • 2025 年 6 月 17 日

    • 修复了限制，即 cloud_files_state 表值函数（TVF）无法用于跨管道读取流式表的文件级状态。
    • [SPARK-49646][SQL] 修复当 parentOuterReferences 的引用未包含在 collectedChildOuterReferences 中时，并集/集操作的子查询去相关问题

  • 2025 年 6 月 3 日

    • 更新了Python库：
      • 从 3.4.8、39.0.1 到 39.0.1 的加密
      • platformdirs 从 2.5.2、2.6.2 到 2.5.2
      • pyparsing 版本从 2.4.7 和 3.0.9 更新至 3.0.9
      • 添加了 pip 22.3.1
      • 添加了 setuptools 65.6.3
      • 添加了 tomli 2.0.1
      • 添加了 wcwidth 0.2.5
      • 添加了 Wheel软件包 0.38.4
      • 已删除发行版 1.7.0
      • 已删除发行版信息 1.1+ubuntu0.2
      • 已删除 python-apt 2.4.0+ubuntu4
    • 更新了Java库：
      • com.github.fommil.netlib.native_ref-java 从 1.1、1.1 到 1.1、1.1
      • com.github.fommil.netlib.native_system-java 从 1.1、1.1-natives 到 1.1、1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 从 1.1-natives 更新到 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 从 1.1-natives 到 1.1
      • io.netty.netty-tcnative-boringssl-static from 2.0.61.Final-db-r16-linux-aarch_64，2.0.61.Final-db-r16-linux-x86_64，2.0.61.Final-db-r16-osx-aarch_64，2.0.61.Final-db-r16-osx-x86_64，2.0.61.Final-db-r16-windows-x86_64 到 2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16，2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll 从 4.1.96.Final、4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 到 4.1.96.Final、4.1.96.Final、4.1.96.Final
      • io.netty.netty-transport-native-kqueue 从 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 到 4.1.96.Final、4.1.96.Final
      • org.apache.orc.orc-core 从 1.9.2-shaded-protobuf 到 1.9.2
      • org.apache.orc.orc-mapreduce 从 1.9.2-shaded-protobuf 到 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.1-linux-x86_64 到 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference 应保留该计划 ID
    • [SPARK-52159][SQL] 正确处理 jdbc 方言的表存在检查
    • 操作系统安全更新。

  • 2025 年 5 月 20 日

    • 更新了Java库：
      • io.delta.delta-sharing-client_2.12 从 1.1.5 到 1.1.6
    • [SPARK-51935][SQL] 修复解释的 df.collect（） 中的迭代器的延迟行为
    • 操作系统安全更新。

  • 2025 年 4 月 22 日

    • 操作系统安全更新。

  • 2025 年 4 月 9 日

    • [行为更改] 现在，真空操作执行类似于其他操作的编写协议检查，以防止在运行不兼容的较旧 Databricks Runtime 版本时对包含较新功能的表进行意外清理。
    • [SPARK-51624][SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
    • 操作系统安全更新。

  • 2025 年 3 月 11 日

    • Databricks Runtime 14.3 LTS 及更高版本包含了一个修复，此修复解决了一个导致与实例化 SparkListenerApplicationEnd 类的代码存在二进制不兼容性的问题，这些代码是针对 Apache Spark 编译的。 合并 SPARK-46399 到 Apache Spark 引起了这种不兼容。 此次合并包含一项更改，即向 SparkListenerApplicationEnd 构造函数添加了默认参数。 若要还原二进制兼容性，此修补程序会将单个参数构造函数添加到 SparkListenerApplicationEnd 类。
    • [SPARK-50791][SQL] 修复状态存储错误处理中的 NPE
    • [SPARK-50705][SQL] 使 QueryPlan 无锁
    • [SPARK-49525][SS][CONNECT] 对服务器端流式处理查询 ListenerBus 侦听器的日志进行小幅改进
    • 操作系统安全更新。

  • 2025 年 2 月 11 日

    • 此版本包括修复了序列化已获救 XML 数据列时影响某些数据类型转换的问题。 受影响的数据类型是日期、非 NTZ 时间戳和小数，当启用 prefersDecimal 时。 若要了解有关已获救数据列的详细信息，请参阅什么是已获救数据列？
    • [SPARK-50492][SS] 修复在 dropDuplicatesWithinWatermark 操作后删除事件时间列时出现的 java.util.NoSuchElementException 错误
    • [SPARK-51084][SQL] 为 negativeScaleNotAllowedError 分配适当的错误类
    • 操作系统安全更新。

  • 2024 年 12 月 10 日

    • 此版本中修复了可能导致 Delta 表上的主键在与后台自动压缩相关的某些边缘情况下被删除的问题。
    • [SPARK-50329][SQL] 修复 InSet$toString
    • 操作系统安全更新。

  • 2024 年 11 月 26 日

    • [SPARK-49615] [ML] 使所有 ML 功能转换器数据集架构验证都符合“spark.sql.caseSensitive”配置。
    • 操作系统安全更新。

  • 2024 年 11 月 5 日

    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-49829] 修改在流-流联接中将输入添加到状态存储的优化（正确性修复）
    • [SPARK-49863][SQL]修复 NormalizeFloatingNumbers 以保留嵌套结构的可为 Null 性
    • [BACKPORT] [SPARK-49326][SS] 对 Foreach 接收器用户函数错误的错误类进行分类
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • 操作系统安全更新。

  • 2024 年 10 月 22 日

    • [SPARK-48843] 使用 BindParameters 防止无限循环
    • [SPARK-49863][SQL]修复 NormalizeFloatingNumbers 以保留嵌套结构的可为 Null 性
    • [SPARK-49905] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改混排
    • [SPARK-46632][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
    • [SPARK-49782][SQL] ResolveDataFrameDropColumns 规则解析具有子输出的 UnresolvedAttribute
    • [BACKPORT] [SPARK-49326][SS] 对 Foreach 接收器用户函数错误的错误类进行分类
    • [SPARK-49829] 修改在流-流联接中将输入添加到状态存储的优化（正确性修复）
    • 操作系统安全更新。

  • 2024 年 10 月 10 日

    • [BACKPORT] [SPARK-49474][SS] 对 FlatMapGroupsWithState 用户函数错误进行错误类别的分类
    • [SPARK-49743][SQL] 当修剪 GetArrayStructFields 时，OptimizeCsvJsonExpr 不应更改模式字段
    • [SPARK-49688][CONNECT] 修复中断和执行计划之间的数据争用

  • 2024 年 9 月 25 日

    • [SPARK-48810][CONNECT] 会话 stop() API 应具有幂等性，在会话已被服务器关闭的情况下不会失败
    • [SPARK-48719][SQL]修复 `RegrS` 的计算错误...
    • [SPARK-49000][SQL] 通过展开RewriteDistinctAggregates 来修复“select count(distinct 1) from t”，其中 t 为空表
    • [SPARK-49628][SQL] 在计算之前，ConstantFolding 应复制有状态表达式
    • [SPARK-49492][CONNECT] 在非活动 ExecutionHolder 上尝试重新连接
    • 操作系统安全更新。

  • 2024 年 9 月 17 日

    • [SPARK-49336][CONNECT] 截断 protobuf 消息时限制嵌套级别
    • [SPARK-43242][CORE] 修复混排损坏诊断时引发“意外 BlockId 类型”的问题
    • [SPARK-48463][ML] 使 Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor 支持嵌套输入列
    • [SPARK-49526][CONNECT] 支持 ArtifactManager 中的 "Windows 样式路径"
    • [SPARK-49409][CONNECT] 调整 CONNECT_SESSION_PLAN_CACHE_SIZE 的默认值
    • [SPARK-49366][CONNECT] 将 Union 节点视为数据帧列解析中的叶节点

  • 2024 年 8 月 29 日

    • [SPARK-49146][SS] 将追加模式流式处理查询中有关缺少水印的断言错误移至错误框架
    • [SPARK-48862][PYTHON][CONNECT] 当 INFO 级别未启用时要避免调用 _proto_to_string
    • [SPARK-49263][CONNECT] Spark Connect python 客户端：一致地处理布尔型数据帧读取器选项

  • 2024 年 8 月 14 日

    • [SPARK-48941][SPARK-48970] 向后移植 ML 写入器/读取器修复
    • [SPARK-48706][PYTHON] Python UDF 在高阶函数中不应引发内部错误
    • [SPARK-49056][SQL] ErrorClassesJsonReader 无法正确处理 null
    • [SPARK-48597][SQL] 在逻辑计划的文本表示形式中引入 isStreaming 属性的标记
    • [SPARK-49065][SQL] 在旧格式化程序/分析程序中变基必须支持非 JVM 默认时区
    • [SPARK-48934][SS] Python datetime 类型因在 applyInPandasWithState 中设置超时而转换不正确

  • 2024 年 8 月 1 日

    • 此版本包括 Spark Java 接口中 ColumnVector 和 ColumnarArray 类的 bug 修复。 在修复之前，当其中一个类的实例包含 ArrayIndexOutOfBoundsException 值时，可能会抛出 null 或返回不正确的数据。
    • 在笔记本和作业的无服务器计算中，默认情况下会启用 ANSI SQL 模式。 请参阅 支持的 Spark 配置参数。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅流式处理限制。
    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • 在配置了共享访问模式的计算中，Kafka 批量读取和写入现在具有与结构化流相同的限制。 请参阅流式处理限制。
    • SHOW CREATE TABLE 语句的输出现在包括在具体化视图或流式处理表上定义的任何行筛选器或列掩码。 请参阅 SHOW CREATE TABLE。 若要了解行筛选器和列掩码，请参阅 行筛选器和列掩码。
    • [SPARK-48896][SPARK-48909][SPARK-48883] 向后移植 Spark ML 写入器修复
    • [SPARK-48889][SS] testStream 在完成之前卸载状态存储
    • [SPARK-48705][PYTHON] 当 worker_main 通过 pyspark 启动时显式使用它
    • [SPARK-48047][SQL] 减少空 TreeNode 标记的内存压力
    • [SPARK-48544][SQL] 减少空 TreeNode BitSet 的内存压力
    • [SPARK-46957][CORE] 停用迁移的混排文件应该能够从执行程序中进行清理
    • [SPARK-48463] 使 StringIndexer 支持嵌套输入列
    • [SPARK-47202][PYTHON] 修复了由于拼写错误导致包含时区信息的日期/时间损坏的问题
    • [SPARK-47713][SQL][CONNECT] 修复自联接失败
    • 操作系统安全更新。

  • 2024 年 7 月 11 日

    • （行为变更）如果源表被覆盖，则之前缓存的针对 Delta 表源的数据帧现在将失效。 此更改意味着对 Delta 表的所有状态更改现在都会使缓存结果无效。 使用 .checkpoint() 在 DataFrame 的整个生命周期中持久保存表状态。
    • Snowflake JDBC 驱动程序已更新到版本 3.16.1。
    • 此版本包括的修补程序修复了在 Databricks 容器服务中运行时阻止 Spark UI“环境”选项卡正确显示的问题。
    • 在笔记本和作业的无服务器计算中，默认情况下会启用 ANSI SQL 模式。 请参阅 支持的 Spark 配置参数。
    • 要在读取数据时忽略无效的分区，文件型数据源（如 Parquet、ORC、CSV 或 JSON）应将 ignoreInvalidPartitionPaths 数据源选项设置为 true。 例如：spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(…)。 也可以使用 SQL 配置 spark.sql.files.ignoreInvalidPartitionPaths。 但数据源选项优先于 SQL 配置。 默认情况下，此设置为 false。
    • [SPARK-48648][PYTHON][CONNECT] 正确地将 SparkConnectClient.tags 设为 threadlocal
    • [SPARK-48445][SQL] 不要将 UDF 与昂贵的子节点内联
    • [SPARK-48481][SQL][SS] 不要针对流式处理数据集应用 OptimizeOneRowPlan
    • [SPARK-48383][SS] 为 Kafka 的 startOffset 选项中不匹配的分区引发更好的错误
    • [SPARK-48503][SQL] 修复由于错误允许而在非等效列上分组的无效标量子查询
    • [SPARK-48100][SQL] 修复了跳过架构中未选择的嵌套结构字段时出现的问题
    • [SPARK-48273][SQL] 修复 PlanWithUnresolvedIdentifier 的延迟重写
    • [SPARK-48252][SQL] 必要时更新 CommonExpressionRef
    • [SPARK-48475][PYTHON] 优化 PySpark 中的 _get_jvm_function。
    • [SPARK-48292][CORE] 还原 [SPARK-39195] [SQL] 当提交的文件与任务状态不一致时，Spark OutputCommitCoordinator 应中止阶段
    • 操作系统安全更新。

  • 2024 年 6 月 17 日

    • applyInPandasWithState() 在具有标准访问模式的计算中可用。
    • 修复了在使用 Photon TopK 进行排名窗口优化时，错误处理包含结构的分区的问题。
    • [SPARK-48310][PYTHON][CONNECT] 缓存的属性必须返回副本
    • [SPARK-48276][PYTHON][CONNECT] 为 __repr__ 添加缺少的 SQLExpression 方法
    • [SPARK-48294][SQL] 处理 nestedTypeMissingElementTypeError 中的小写问题
    • 操作系统安全更新。

  • 2024 年 5 月 21 日

    • （行为变更）现在支持 dbutils.widgets.getAll()，以获取笔记本中的所有小组件值。
    • 修复了 try_divide() 函数中的 bug，其中包含小数的输入导致意外异常。
    • [SPARK-48056][CONNECT][PYTHON] 当出现 SESSION_NOT_FOUND 错误且未收到部分响应时，重新执行计划。
    • [SPARK-48146][SQL] 修复 With 表达式子断言中的聚合函数
    • [SPARK-47986][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
    • [SPARK-48180][SQL] 改进了使用 TABLE 自变量的 UDTF 调用忘记多个 PARTITION/ORDER BY 表达式两侧的括号时的错误
    • [SPARK-48016][SQL] 修复了使用十进制时 try_divide 函数中的 bug
    • [SPARK-48197][SQL] 避免无效 lambda 函数的断言错误
    • [SPARK-47994][SQL] 修复 SQLServer 中 CASE WHEN 列过滤器下推的错误
    • [SPARK-48173][SQL] CheckAnalysis 应看到整个查询计划
    • [SPARK-48105][SS] 修复状态存储卸载和快照之间的争用条件
    • 操作系统安全更新。

  • 2024 年 5 月 9 日

    • （行为更改） applyInPandas 运行 mapInPandas Databricks Runtime 14.3 LTS 及更高版本的共享访问模式计算现在支持 UDF 类型。
    • [SPARK-47739][SQL] 注册 Avro 逻辑类型
    • [SPARK-47941] [SS] [Connect] 将 ForeachBatch 工作器初始化错误传播给 PySpark 的用户
    • [SPARK-48010][SQL] 避免在 resolveExpression 中重复调用 conf.resolver
    • [SPARK-48044][PYTHON][CONNECT] 缓存 DataFrame.isStreaming
    • [SPARK-47956][SQL] 对未解析的 LCA 引用进行健全性检查
    • [SPARK-47543][CONNECT][PYTHON] 从 Pandas 数据帧将 dict 推理为 Mapype 以允许创建数据帧
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] 使用异步回调进行执行清理
    • [SPARK-47764][CORE][SQL] 基于 ShuffleCleanupMode 清理混排依赖项
    • [SPARK-48018][SS] 修复在引发 KafkaException.couldNotReadOffsetRange 时，由于 null groupId 导致的参数缺失错误
    • [SPARK-47839][SQL] 修复 RewriteWithExpression 中的聚合 bug
    • [SPARK-47371][SQL] XML：忽略 CDATA 中找到的行标记
    • [SPARK-47895][SQL] group by all 应是幂等的
    • [SPARK-47973][CORE] 在 SparkContext.stop() 中以及稍后在 SparkContext.assertNotStopped() 中记录调用站点
    • 操作系统安全更新。

  • 2024 年 4 月 25 日

    • [SPARK-47543][CONNECT][PYTHON] 将 dict 推断为来自 Pandas 数据帧的 MapType，以允许创建数据帧
    • [SPARK-47694][CONNECT] 将最大消息大小在客户端设为可配置
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] 使用缓存架构验证列名称
    • [SPARK-47862][PYTHON][CONNECT] 修复 proto 文件生成错误
    • 还原“[SPARK-47543][CONNECT][PYTHON] 从 Pandas 数据帧将 dict 推理为 MapType 以允许创建数据帧”
    • [SPARK-47704][SQL] 启用 spark.sql.json.enablePartialResults 后，JSON 分析失败，并出现“java.lang.ClassCastException”
    • [SPARK-47812][CONNECT] 支持 ForEachBatch 辅助角色的 SparkSession 序列化
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] 在 SparkConnectPlanner 中引入计划缓存以提高分析请求的性能
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite 失败且计划无效
    • 操作系统安全更新。

  • 2024 年 4 月 11 日

    • （行为更改）为确保跨计算类型的行为一致，具有标准访问模式的计算上的 PySpark UDF 现在与无隔离和分配的群集上的 UDF 的行为匹配。 此更新包括以下可能会中断现有代码的更改：
      • 具有 string 返回类型的 UDF 不再隐式地将非 string 值转换为 string 值。 以前，具有 str 返回类型的 UDF 会使用 str() 函数包装返回值，而不考虑该返回值的实际数据类型。
      • 具有 timestamp 返回类型的 UDF 不再隐式地使用 timestamp 对 timezone 应用转换。
      • Spark 群集配置 spark.databricks.sql.externalUDF.* 对于在具有标准访问模式的计算环境中运行的 PySpark UDFs 不再适用。
      • Spark 群集配置 spark.databricks.safespark.externalUDF.plan.limit 不再影响 PySpark UDF，移除了公共预览版本中 PySpark UDF 每个查询仅限 5 个 UDF 的限制。
      • Spark 群集配置 spark.databricks.safespark.sandbox.size.default.mib 不再适用于标准访问模式下的计算节点上的 PySpark UDF。 相反，将使用系统上的可用内存。 要限制 PySpark UDF 的内存，请使用 spark.databricks.pyspark.udf.isolation.memoryLimit，其最小值为 100m。
    • 现在支持将 TimestampNTZ 数据类型用作具有液体聚类的聚类列。 请参阅 对表使用液体聚类分析。
    • [SPARK-47511][SQL] 通过重新分配 ID 来规范化 With 表达式
    • [SPARK-47509][SQL] 阻止 lambda 和高阶函数中的子查询表达式
    • [SPARK-46990][SQL] 修复加载事件中心发出的空 Avro 文件的问题
    • [SPARK-47638][PS][CONNECT] 跳过 PS 中的列名称验证
    • 操作系统安全更新。

  • 2024 年 3 月 14 日

    • [SPARK-47135][SS] 实现 Kafka 数据丢失异常的错误类
    • [SPARK-47176][SQL] 具有 ResolveAllExpressionsUpWithPruning 辅助函数
    • [SPARK-47145][SQL] 将表标识符传递给 V2 策略中的行数据源扫描执行。
    • [SPARK-47044][SQL] 添加 JDBC 外部数据源的已执行查询以解释输出
    • [SPARK-47167][SQL] 为 JDBC 匿名关系添加实际类别
    • [SPARK-47070] 修复子查询重写后无效的聚合
    • [SPARK-47121][CORE] 在 StandaloneSchedulerBackend 关闭期间避免 RejectedExecutionExceptions
    • 还原“[SPARK-46861][CORE] 避免 DAGScheduler 中出现死锁”
    • [SPARK-47125][SQL] 如果 Univocity 从不触发分析，则返回 null
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier 应包括表达式树中的其他表达式
    • [SPARK-47129][CONNECT][SQL] 正确制定 ResolveRelations 缓存连接计划
    • [SPARK-47241][SQL] 修复 ExtractGenerator 的规则顺序问题
    • [SPARK-47035][SS][CONNECT] 客户端侦听器的协议
    • 操作系统安全更新。

  • 2024 年 2 月 29 日

    • 修复了一个问题，即在 MERGE 命令中使用本地集合作为源时，操作度量 numSourceRows 可能会报告正确行数的两倍。
    • 使用定义的位置创建架构现在要求用户对 ANY FILE 拥有 SELECT 和 MODIFY 特权。
    • [SPARK-47071][SQL] 当 With 表达式包含特殊表达式时将其内联
    • [SPARK-47059][SQL] 附加 ALTER COLUMN v1 命令的错误上下文
    • [SPARK-46993][SQL] 修复会话变量的常数折叠
    • 操作系统安全更新。

  • 2024 年 1 月 3 日

    • [SPARK-46933] 向使用 JDBCRDD 的连接器添加查询执行时间指标。
    • [SPARK-46763] 修复了在 ReplaceDeduplicateWithAggregate 中由于重复属性导致的断言失败。
    • [SPARK-46954] XML：使用 BufferedReader 包装 InputStreamReader。
    • [SPARK-46655] 跳过 DataFrame 方法中的查询上下文捕获。
    • [SPARK-44815] 缓存 df.schema 以避免额外的 RPC。
    • [SPARK-46952] XML：限制损坏记录的大小。
    • [SPARK-46794] 从 LogicalRDD 约束中删除子查询。
    • [SPARK-46736] protobuf 连接器中保留空消息字段。
    • [SPARK-45182] 在重试由校验和确定的父级不确定阶段后，忽略旧阶段的任务完成情况。
    • [SPARK-46414] 使用 prependBaseUri 呈现 javascript 导入。
    • [SPARK-46383] 通过减短 TaskInfo.accumulables() 的生存期来减少驱动程序堆使用量。
    • [SPARK-46861] 避免 DAGScheduler 中的死锁。
    • [SPARK-46954] XML：优化架构索引查找。
    • [SPARK-46676] dropDuplicatesWithinWatermark 不应在计划标准化过程中失败。
    • [SPARK-46644] 更改 SQLMetric 中的添加和合并以使用 isZero。
    • [SPARK-46731] 按状态数据源管理状态存储提供程序实例 - 读取器。
    • [SPARK-46677] 修复 dataframe["*"] 分辨率。
    • [SPARK-46610] 当选项中没有键的值时，创建表应引发异常。
    • [SPARK-46941] 如果包含 SizeBasedWindowFunction，则无法为 top-k 计算插入窗口组限制节点。
    • [SPARK-45433] 修正时间戳与指定的 timestampFormat 不匹配时的 CSV/JSON 架构推理。
    • [SPARK-46930] 添加对 Avro 中联合类型字段的自定义前缀的支持。
    • [SPARK-46227] 向后移植到 14.3。
    • [SPARK-46822] 在 jdbc 中将 jdbc 类型转换为 catalyst 类型时，遵循 spark.sql.legacy.charVarcharAsString。
    • 操作系统安全更新。

Databricks Runtime 9.1 LTS

  • 2025 年 4 月 9 日

    • 操作系统安全更新。

  • 2025 年 3 月 11 日

    • 操作系统安全更新。

  • 2025 年 2 月 11 日

    • 操作系统安全更新。

  • 2024 年 12 月 10 日

    • 操作系统安全更新。

  • 2024 年 11 月 26 日

    • 操作系统安全更新。

  • 2024 年 11 月 5 日

    • 操作系统安全更新。

  • 2024 年 10 月 22 日

    • 操作系统安全更新。

  • 2024 年 10 月 10 日

    • 操作系统安全更新。

  • 2024 年 9 月 25 日

    • [SPARK-49000][SQL] 通过展开RewriteDistinctAggregates 来修复“select count(distinct 1) from t”，其中 t 为空表
    • 操作系统安全更新。

  • 2024 年 9 月 6 日

    • 操作系统安全更新。

  • 2024 年 8 月 29 日

    • [SPARK-49065][SQL] 在旧格式化程序/分析程序中变基必须支持非 JVM 默认时区

  • 2024 年 8 月 14 日

  • 2024 年 8 月 1 日

    • 操作系统安全更新。

  • 2024 年 7 月 11 日

    • 操作系统安全更新。

  • 2024 年 6 月 17 日

    • 操作系统安全更新。

  • 2024 年 5 月 21 日

    • [SPARK-48105][SS] 修复状态存储卸载和快照之间的争用条件
    • 操作系统安全更新。

  • 2024 年 5 月 9 日

    • [SPARK-47973][CORE] 在 SparkContext.stop() 中以及稍后在 SparkContext.assertNotStopped() 中记录调用站点
    • [SPARK-44251] [SQL] 在完全外部 USING 联接中的联合联接键上正确设置“可为空”
    • 操作系统安全更新。

  • 2024 年 4 月 25 日

    • 其他问题修复。

  • 2024 年 4 月 11 日

    • 操作系统安全更新。

  • 2024 年 4 月 1 日

    • 还原“[SPARK-46861][CORE] 避免 DAGScheduler 中出现死锁”
    • 操作系统安全更新。

  • 2024 年 3 月 14 日

    • 操作系统安全更新。

  • 2024 年 2 月 29 日

    • 修复了一个问题，即在 MERGE 命令中使用本地集合作为源时，操作度量 numSourceRows 可能会报告正确行数的两倍。
    • 操作系统安全更新。

  • 2024 年 2 月 13 日

    • [SPARK-46861] 避免 DAGScheduler 中的死锁。
    • 操作系统安全更新。

  • 2024 年 1 月 31 日

    • 操作系统安全更新。

  • 2023 年 12 月 25 日

    • 为了避免在通过 TLSv1.3 通信时增加延迟，此维护版本包括 JDK 8 安装的修补程序，以修复 JDK bug JDK-8293562。
    • [SPARK-46058] 为 privateKeyPassword 添加单独的标志。
    • [SPARK-39440] 添加用于禁用事件时间线的配置。
    • [SPARK-46132] 支持为 RPC SSL 的 JKS 密钥使用密钥密码。

  • 2023 年 12 月 14 日

    • 操作系统安全更新。

  • 2023 年 11 月 29 日

    • 安装了一个新包 pyarrow-hotfix 以修正 PyArrow RCE 漏洞。
    • [SPARK-45859] 将 ml.functions 中的 UDF 对象设为惰性。
    • [SPARK-45544] 向 TransportContext 中集成了 SSL 支持。
    • [SPARK-45730] 改进了 ReloadingX509TrustManagerSuite 的时间限制。
    • 操作系统安全更新。

  • 2023 年 11 月 14 日

    • [SPARK-45545]SparkTransportConf 在创建时继承 SSLOptions。
    • [SPARK-45429] 为 SSL RPC 通信添加了帮助程序类。
    • [SPARK-45427] 向 SSLOptions 和 SparkTransportConf 添加了 RPC SSL 设置。
    • [SPARK-45584] 修复了 TakeOrderedAndProjectExec 子查询运行失败的问题。
    • [SPARK-45541] 添加了 SSLFactory。
    • [SPARK-42205] 移除了阶段和任务启动事件中的日志累积变量。
    • 操作系统安全更新。

  • 2023 年 10 月 24 日

    • [SPARK-45426] 添加了对 ReloadingX509TrustManager 的支持。
    • 操作系统安全更新。

  • 2023 年 10 月 13 日

    • 操作系统安全更新。

  • 2023 年 9 月 10 日

    • 其他修复。

  • 2023 年 8 月 30 日

    • 操作系统安全更新。

  • 2023 年 8 月 15 日

    • 操作系统安全更新。

  • 2023 年 6 月 23 日

    • Snowflake-jdbc 库已升级到 3.13.29 以解决安全问题。
    • 操作系统安全更新。

  • 2023 年 6 月 15 日

    • [SPARK-43098] 修复在标量子查询具有 group by 子句时的正确性 COUNT bug。
    • [SPARK-43156][SPARK-43098] 扩展了关闭 decorrelateInnerQuery 时进行的标量子查询计数 bug 测试。
    • [SPARK-40862]支持 RewriteCorrelatedScalarSubquery 中的非聚合子查询。
    • 操作系统安全更新。

  • 2023 年 6 月 2 日

    • failOnUnknownFields 模式下的 JSON 分析程序丢弃 DROPMALFORMED 模式下的记录，并在 FAILFAST 模式下直接失败。
    • 修复了解析 JSON 恢复数据时出现的问题，以防止出现 UnknownFieldException。
    • 修复了自动加载程序中当提供的架构不包含推断的分区时，不同的源文件格式不一致的问题。 在读取推断的分区架构中缺少列的文件时，此问题可能会导致意外失败。
    • [SPARK-37520] 添加 startswith() 和 endswith() 字符串函数
    • [SPARK-43413] 修复了 IN 子查询 ListQuery 的可空性。
    • 操作系统安全更新。

  • 2023 年 5 月 17 日

    • 操作系统安全更新。

  • 2023 年 4 月 25 日

    • 操作系统安全更新。

  • 2023 年 4 月 11 日

    • 修复了在嵌套 JSON 对象的架构中检测到新列时，自动加载程序架构演变可能会进入无限失败循环的问题。
    • [SPARK-42967] 修复在阶段取消后启动任务时的 SparkListenerTaskStart.stageAttemptId。

  • 2023 年 3 月 29 日

    • 操作系统安全更新。

  • 2023 年 3 月 14 日

    • [SPARK-42484] 改进了 UnsafeRowUtils 的错误消息。
    • 其他修复。

  • 2023 年 2 月 28 日

    • 用户现在可以使用 Databricks Runtime 9.1 LTS 或更高版本读取和写入需要读取器版本 3 和写入器版本 7 的特定 Delta 表。 要使操作成功，当前版本的 Databricks Runtime 必须支持表协议中列出的表功能。
    • 操作系统安全更新。

  • 2023 年 2 月 16 日

    • 操作系统安全更新。

  • 2023 年 1 月 31 日

    • JDBC 表的表类型现在默认为 EXTERNAL。

  • 2023 年 1 月 18 日

    • 操作系统安全更新。

  • 2022 年 11 月 29 日

    • 修复了当所有列保留为字符串（cloudFiles.inferColumnTypes 未设置或设置为 false）且 JSON 包含嵌套对象时自动加载程序中出现的 JSON 分析问题。
    • 操作系统安全更新。

  • 2022 年 11 月 15 日

    • 已将 Apache commons-text 升级到 1.10.0。
    • 操作系统安全更新。
    • 其他修复。

  • 2022 年 11 月 1 日

    • 修复了以下问题：如果 Delta 表包含名为 _change_type 的用户定义列，但在该表上禁用了更改数据馈送，则在运行 MERGE 时，会错误地为该列中的数据填充 NULL 值。
    • 修复了自动加载程序的问题：启用 allowOverwrites 时，文件可能在同一个微批中重复出现。
    • [SPARK-40596] 使用 ExecutorDecommissionInfo 中的消息填充 ExecutorDecommission
    • 操作系统安全更新。

  • 2022 年 10 月 18 日

    • 操作系统安全更新。

  • 2022 年 10 月 5 日

    • 其他修复。
    • 操作系统安全更新。

  • 2022 年 9 月 22 日

    • 用户可以设置 spark.conf.set（“spark.databricks.io.listKeysWithPrefix.azure.enabled”， “true”） 以重新启用 ADLS 上的自动加载程序内置列表。 内置列表以前因性能问题关闭，但可能已导致客户的存储成本增加。
    • [SPARK-40315] 为 ArrayBasedMapData 的文本添加 hashCode()
    • [SPARK-40089] 修复某些十进制类型的排序问题
    • [SPARK-39887] RemoveRedundantAliases 应保留那些使投影节点的输出独一无二的别名

  • 2022 年 9 月 6 日

    • [SPARK-40235] 在 Executor.updateDependencies() 中使用可中断锁而不是同步
    • [SPARK-35542] 修复：为具有参数 splitsArray、inputCols 和 outputCols 的多个列创建的 Bucketizer 在保存后无法加载
    • [SPARK-40079] 针对输入为空的情况添加 Imputer inputCols 验证

  • 2022 年 8 月 24 日

    • [SPARK-39666] 在 ExpressionEncoder 中使用 UnsafeProjection.create 以遵循 spark.sql.codegen.factoryMode
    • [SPARK-39962] 当组属性为空时应用投影
    • 操作系统安全更新。

  • 2022 年 8 月 9 日

    • 操作系统安全更新。

  • 2022 年 7 月 27 日

    • 当源具有不确定性时，使 Delta MERGE 操作结果保持一致。
    • [SPARK-39689] 在 CSV 数据源中支持 2 个字符的 lineSep
    • [SPARK-39575] 在 ByteBuffer#rewind 中的 ByteBuffer#get 之后添加了 AvroDeserializer。
    • [SPARK-37392] 修复了 Catalyst 优化器的性能错误。
    • 操作系统安全更新。

  • 2022 年 7 月 13 日

    • [SPARK-39419]ArraySort 将在比较器返回 null 时引发异常。
    • 关闭了自动加载程序对Azure上的目录列表的内置云 API 的使用。
    • 操作系统安全更新。

  • 2022 年 7 月 5 日

    • 操作系统安全更新。
    • 其他修复。

  • 2022 年 6 月 15 日

    • [SPARK-39283] 修复 TaskMemoryManager 和 UnsafeExternalSorter.SpillableIterator 之间的死锁。

  • 2022 年 6 月 2 日

    • [SPARK-34554] 在 copy() 中实现 ColumnarMap 方法。
    • 操作系统安全更新。

  • 2022 年 5 月 18 日

    • 修复了自动加载程序中潜在的内置内存泄漏。
    • 将 AWS SDK 版本从 1.11.655 升级到 1.11.678。
    • [SPARK-38918] 嵌套列修剪应筛除不属于当前关系的属性
    • [SPARK-39084] 通过使用 df.rdd.isEmpty() 在任务完成时停止迭代器来修复 TaskContext
    • 操作系统安全更新。

  • 2022 年 4 月 19 日

    • 操作系统安全更新。
    • 其他修复。

  • 2022 年 4 月 6 日

    • [SPARK-38631] 使用 Java 实现在 Utils.unpack 方法解压缩 tar 文件。
    • 操作系统安全更新。

  • 2022 年 3 月 22 日

    • 更改了高并发群集上的笔记本的当前工作目录，对用户的主目录启用表访问控制或凭据直通。 以前，活动目录是 /databricks/driver。
    • [SPARK-38437] 对数据源中的日期/时间进行宽松的序列化
    • [SPARK-38180] 允许在相关的相等谓词中使用安全的向上转换表达式
    • [SPARK-38155] 禁止在包含不受支持的谓词的横向子查询中使用非重复聚合
    • [SPARK-27442] 移除了在 Parquet 中读取或写入数据时的检查字段。

  • 2022 年 3 月 14 日

    • [SPARK-38236] 在创建/更改表中指定的绝对文件路径被视为相对路径
    • [SPARK-34069] 在本地属性 SPARK_JOB_INTERRUPT_ON_CANCEL 设置为 true 时中断任务线程。

  • 2022 年 2 月 23 日

    • [SPARK-37859] 使用 Spark 3.1 通过 JDBC 创建的 SQL 表无法通过 Spark 3.2 读取。

  • 2022 年 2 月 8 日

    • [SPARK-27442] 移除了在 Parquet 中读取或写入数据时的检查字段。
    • 操作系统安全更新。

  • 2022 年 2 月 1 日

    • 操作系统安全更新。

  • 2022 年 1 月 26 日

    • 修复了在某些极少数情况下，Delta 表上同时进行的事务可能会以非序列化顺序提交的问题。
    • 修复了启用 ANSI SQL 方言时 OPTIMIZE 命令可能失败的问题。

  • 2022 年 1 月 19 日

    • 小问题修复和安全增强。
    • 操作系统安全更新。

  • 2021 年 11 月 4 日

    • 修复了可能导致结构化流式处理数据流失败并显示 ArrayIndexOutOfBoundsException 的问题。
    • 修复了一个争用条件，它可能会导致查询失败并显示 IOException（例如 java.io.IOException: No FileSystem for scheme），或可能导致 sparkContext.hadoopConfiguration 被修改且在查询中不生效。
    • 用于 Delta Sharing 的 Apache Spark 连接器已升级为 0.2.0。

  • 2021 年 10 月 20 日

    • 已将 BigQuery 连接器从 0.18.1 升级为 0.22.2。 这添加了对 BigNumeric 类型的支持。
  • 上次更新时间为