Databricks Runtime 19

此页面包含由 Apache Spark 4.2.0 提供支持的 Databricks Runtime 19 的统一发行说明。 其中列出了 Databricks Runtime 19 发布周期中提供的所有功能、行为更改和修补程序。 群集在重启时接收更新。

有关 Databricks Runtime 支持生命周期的信息，请参阅 Databricks 支持生命周期。

Databricks 运行时 19：2026年9月21日

新功能和改进

• truncate函数：SQL 以及 Scala 和 Python DataFrame API 现在支持 truncate，该功能可在不四舍五入的情况下将数字截断到指定尺度。
• trim_array function： SQL 以及 Scala 和 Python DataFrame API 现在支持 trim_array，当计数为正时，从数组末尾移除元素，计数为负时从数组末尾移除元素。
• Python 用户自定义函数工作者的会话环境变量：使用spark.pythonWorkerEnv.<variable-name>配置前缀设置一个带有会话范围的 Python 工作者环境变量。 当启动常规标量 Python 用户定义函数（UDF）的工作进程时，这些变量才会生效。
• 默认启用自动优化随机洗牌 v2：当你没有设置固定数量的洗牌分区时，自动优化洗牌 v2 现已启用。 明确设置固定洗牌分区数的工作负载保持不变。

Databricks 运行时 19：2026 年 9 月 1 日

新功能和改进

• 自动变更数据流通常可用：自动变更数据流（Auto CDF）在查询时通过行跟踪计算行级变更，无需你手动在每个Delta Lake或Apache Iceberg v3表上启用变更数据流。 Auto CDF 消除了写入时开销，并使 MERGE 和 UPDATE 操作在用于查询更改的表上提速约 15%。 它支持批处理查询、结构化流和Delta共享，并且需要Databricks Runtime 19及以上且启用行追踪功能。 请参阅 自动更改数据馈送。
• variant_strip_nulls 函数：SQL 以及 Scala 和 Python DataFrame API 现已支持 variant_strip_nulls，该函数会递归移除值为变体 null 的对象字段。
• parse_sql function：新 parse_sql 函数解析SQL语句，返回包含语句元数据、表引用、select-list表达式或解析器错误信息的结构化JSON。

行为变更

• from_protobuf 启用模式剪枝时会跳过格式错误的未选中字段：启用 protobuf 模式剪枝后，from_protobuf 不再解码或验证查询未选中的字段。 格式错误的未选中字段在 PERMISSIVE 模式下不再将该行置为 null，在 FAILFAST 模式下也不再导致查询失败。
• JDBC 下推可正确处理 NULL 字面量：Data Source v2 JDBC 下推现在会输出 SQL NULL 字面量，而不是字符串 'null'。 将表达式 NULLIF 分组的查询，现在生成的是空群，而不是单独 'null' 的字符串群。
• HTTP 和 AI 功能不再遵循重定向： http_request AI 功能也不再遵循 HTTP 3xx 重定向。 接收到重定向的调用现在会针对该重定向状态返回远程 HTTP 失败。 文件源连接器的下载不受影响。

库和环境更新

本版本将 JupyterLab 及与笔记本相关的 Python 库恢复到标准运行环境，以解决导致 ipywidget 无法在笔记本单元中渲染的问题。 Python库的变更包括：

• 更新了 Python 库：
  • ipywidgets 从8.1.7到7.8.1
  • jupyterlab_widgets 从 3.0.15 到 1.1.11
  • widgetsnbextension 从 4.0.14 变更为 3.6.6
• 新增的 Python 库：
  • argon2-cffi 21.3.0
  • argon2-cffi-bindings 25.1.0
  • arrow 1.4.0
  • async-lru 2.0.5
  • attrs 25.4.0
  • babel 2.16.0
  • beautifulsoup4 4.13.5
  • bleach 6.2.0
  • defusedxml 0.7.1
  • fastjsonschema 2.21.2
  • fqdn 1.5.1
  • httpcore 1.0.9
  • httpx 0.28.1
  • ipython-genutils 0.2.0
  • isoduration 20.11.0
  • json5 0.12.1
  • jsonpointer 3.1.1
  • jsonschema 4.25.0
  • jsonschema-specifications 2025.9.1
  • jupyter-events 0.12.0
  • jupyter-lsp 2.2.5
  • jupyter_server 2.16.0
  • jupyter_server_terminals 0.5.3
  • jupyterlab 4.4.7
  • jupyterlab_pygments 0.3.0
  • jupyterlab_server 2.28.0
  • lark 1.3.1
  • mistune 3.1.2
  • nbclient 0.10.2
  • nbconvert 7.16.6
  • nbformat 5.10.4
  • notebook 7.4.5
  • notebook_shim 0.2.4
  • overrides 7.7.0
  • pandocfilters 1.5.1
  • prometheus_client 0.21.1
  • python-json-logger 3.2.1
  • referencing 0.37.0
  • rfc3339-validator 0.1.4
  • rfc3986-validator 0.1.1
  • rfc3987-syntax 1.1.0
  • rpds-py 0.28.0
  • Send2Trash 1.8.2
  • soupsieve 2.5
  • terminado 0.18.1
  • tinycss2 1.4.0
  • uri-template 1.3.0
  • webcolors 25.10.0
  • webencodings 0.5.1
  • websocket-client 1.8.0

Databricks 运行时 19：2026年8月24日

库和环境更新

• 已将 Java 从 Zulu21.50+19-CA 更新到 Zulu21.52+15-CA。
• 更新了 Java 库：
  • com.fasterxml.jackson.core.jackson-annotations 从2.21到2.22
  • com.fasterxml.jackson.core.jackson-core 从2.21.2到2.22.1
  • com.fasterxml.jackson.core.jackson-databind 从2.21.2到2.22.1
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 从2.21.2到2.22.1
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从2.21.2到2.22.1
  • com.fasterxml.jackson.module.jackson-module-paranamer 从2.21.2到2.22.1
  • com.fasterxml.jackson.module.jackson-module-scala_2.13 从2.21.2到2.22.1

Databricks 运行时 19：2026 年 8 月 10 日

新功能和改进

• collect_union聚合函数：SQL 以及 Scala 和 Python DataFrame API 现在支持 collect_union，该功能返回每个组数组中元素的不同并集。

行为变更

• 在带有生成器的查询中，HAVING 会先于窗口函数进行求值：对于包含生成器的查询（如 explode），现在会在 HAVING 过滤器之后对窗口函数进行求值。 因此，窗口结果仅包含被 HAVING保留的行。
• DataFrame.observe 报告最近一次成功尝试的指标：当为受监测算子提供支持的阶段被重新计算时，观测指标现在仅反映最近一次成功尝试的结果，而不是合并多次尝试的数值。
• 策略逻辑默认隐藏在查询计划中：除非用户拥有 INSPECT_POLICY_EXECUTION 元存储权限，否则查询计划不再暴露行过滤和列掩码策略逻辑。
• CREATE OR REPLACE VIEW以原子方式保留元数据：对于 Unity Catalog 视图，CREATE OR REPLACE VIEW 现在执行原子替换，默认保留视图标识、授权、标签和注释。 受监管的标签保护仍在继续适用。
• Delta API DML 使用策略定义权限： DeltaTable.delete、 DeltaTable.update， DeltaTable.merge 现在用策略定义者的权限解析行过滤和列遮罩策略函数，与 SQL DML 匹配。 调用者在拥有所需的表权限后，不再需要 EXECUTE 对这些策略函数进行操作。

库和环境更新

• 已将 Java 从 Zulu21.48+15-CA 更新到 Zulu21.50+19-CA。

Databricks Runtime 19：2026 年 7 月 23 日

Databricks Runtime 19 现已正式发布（GA）。 有关生命周期的详细信息，请参阅 Databricks Runtime 支持生命周期。

行为变更

• 默认情况下启用箭头优化Python UDF：常规Python UDF 现在默认使用基于箭头的序列化。 与以前的版本相比，这可以更改某些 UDF 的类型强制行为。 若要还原以前的行为，请将 spark.databricks.execution.pythonUDF.arrow.enabled 设置为 false。

新功能和改进

• 专用计算中细粒度访问控制的 TopN 下推：专用计算中的细粒度访问控制现可将 ORDER BY ... LIMIT（TopN）操作下推到执行筛选的远程集群，从而提升查询性能。
• parquet-java 升级到 1.17.0： apache/parquet-java 依赖项升级到版本 1.17.0。 有关更改的完整列表，请参阅 apache/parquet-java 发行说明。

Databricks Runtime 19 （Beta）：2026 年 6 月 26 日

行为变更

• 标准访问模式中限制的环境变量可用性：在 标准访问模式下，只有一组预定义的环境变量可用于 Spark 引擎和 init 脚本。 此集包括常见的配置变量，例如代理设置（HTTP_PROXY）、云凭据（AWS_ACCESS_KEY_ID、 AZURE_CLIENT_ID目录变量）和目录变量（CATALOG）。 在群集上设置的其他变量仍可供用户代码使用，包括 UDF，但对 Spark 引擎或 init 脚本不可用。 以前，所有群集环境变量都可用于 Spark 引擎和 init 脚本。 请参阅 环境变量限制。
• 标准访问模式下的受限 Spark 配置：在 标准访问模式下，无法再设置某些 Spark 配置属性。 创建或编辑设置了受限属性（按前缀匹配）的集群会失败，并报错。 受限属性包括spark.driver.extraJavaOptions、spark.executor.extraJavaOptions、、spark.jarsspark.files、spark.executorEnv.*和spark.kubernetes.*等。 以前，可以在标准访问模式下设置这些属性。 在升级之前，请从群集配置中删除它们。 有关完整列表，请参阅 Spark 配置限制。

Databricks Runtime 19 （Beta）：2026 年 6 月 15 日

Databricks Runtime 19 现已在 Beta 版中提供，由 Apache Spark 4.2.0 提供支持。

行为变更

• 已删除 JDK 17：Databricks Runtime 19 仅支持 JDK 21。 以前，Databricks Runtime 18 包含 JDK 17 作为回退选项，可以使用环境变量进行选择 JNAME 。 Databricks Runtime 19 中已不再提供该回退机制。 在升级之前，设置 JNAME=zulu17-ca-amd64 （或 ARM 等效项）的群集必须删除该环境变量。
• 删除Python包：与 Databricks Runtime 18 相比，Databricks Runtime 19 中删除了大约 90 个标准运行时包。 值得注意的删除包括plotly、seaborn、、openai、langchain-corelangchain-openai、huggingface_hub、 psycopg2和pyodbc。 JupyterLab 的随附服务器已从基础镜像中拆分出去，从而移除了约 54 个与 Jupyter 相关的软件包。 依赖于这些包的工作负荷必须使用群集库或 init 脚本显式安装它们。 有关 Databricks Runtime 19 中包含的包的完整列表，请参阅已安装Python库。 有关特定于 ML 运行时的移除项，请参阅 Databricks Runtime 19 for 机器学习。
• 保留表属性 pipelines.pipelineId：Databricks Runtime 19 为所有表保留 pipelines.pipelineId 表属性。 尝试手动设置此属性会导致错误。 在升级之前，请从表 DDL 中删除任何显式 pipelines.pipelineId 分配。
• 实时模式下的水印延迟上调了 +1 毫秒：在实时模式（RTM）流式查询中，当水印通过实时水印传播在批次处理中途推进时，事件时间等于当前水印的记录此前会被视为迟到数据并被丢弃。 事件时间水印延迟现在由 +1 毫秒移动，因此后期记录检查有效严格，并且其事件时间等于当前水印的记录现已保留。 微批处理模式不受影响。
• 自定义类型所需的 DStream 检查点类允许列表：Apache Spark 4.2.0 引入了 DStream 检查点反序列化的安全控制。 在尝试从检查点恢复之前，在 DStream 闭包中依赖自定义或第三方类型的用户必须将 spark.streaming.checkpoint.allowedClasses 设置为以逗号分隔的完全限定类名或通配符模式列表。 默认的内置允许列表仅涵盖标准 Spark 类型。

Apache Spark 修复和改进

Databricks Runtime 19 包括 Apache Spark 4.2.0。 此版本包括 Databricks Runtime 18 LTS 中包含的所有 Spark 修复和改进，以及以下对 Spark 进行的其他 bug 修复和改进：

• is_valid_variant 表达式：SQL 现在支持 is_valid_variant(expr)，如果输入是格式正确的 true 值，则返回 VARIANT；否则返回 false。 使用它在下游处理之前验证变体数据。
• INSERT INTO ... REPLACE ON/USING 语法：SQL 现已支持 INSERT INTO ... REPLACE ON <columns> 和 INSERT INTO ... REPLACE USING <subquery> 语法，从而支持 upsert 式写入，即根据匹配的列值替换现有行。
• DSv2 事务管理：数据源 v2 目录现在支持事务管理，支持跨目录操作实现原子多表写入和一致的读取。
• 批处理 CDC 后处理时使用 ChangelogTable：SQL 现在支持将变更数据捕获（CDC）输出作为变更日志进行读取，并在批处理模式下计算净更改。 ResolveChangelogTable 分析器校验变更日志架构，并根据原始 CDC 行计算合并结果。
• TABLESAMPLE SYSTEM 支持通过 DSv2 下推进行块采样：TABLESAMPLE SYSTEM 现已支持在 Data Source v2 表上使用此功能，允许将基于百分比的块级采样下推到数据源，从而提升性能。
• CREATE VIEW 和 ALTER VIEW 现已支持 DSv2 目录：DSv2 目录现已支持 CREATE VIEW 和 ALTER VIEW 语句，使非 Hive 目录在视图 DDL 方面与 Hive 目录实现一致。
• CREATE METRIC VIEW 在 V2 目录上：CREATE METRIC VIEW 现已支持数据源 V2 目录。
• SQL 中的 KLL 分位函数：SQL 现在原生支持由 Apache DataSketches 提供支持的 KLL 分位数草图函数，包括聚合和 CDF 计算函数，用于近似分位数查询。
• SQL 中的 Tuple Sketch 函数：SQL 现已原生支持 Apache Tuple Sketch 聚合函数，可对任意类型的负载数据执行近似集合交集和并集操作。
• withSchemaEvolution() 在数据帧编写器 API 中：DataFrame 编写器 API 现在包括 withSchemaEvolution()，当写入支持它的表时，该 API 支持自动架构演变。
• Dataset.zipWithIndex在 Scala API 中：Scala DatasetAPI 现在包括zipWithIndex，将每个元素与其索引位置配对，与现有Python和Java API 一致。
• 表值函数参数中的标量 UDF：SQL 现在支持将标量用户定义函数用作表值函数的参数，从而实现更丰富的参数化。
• DataFrameGroupBy.cov 在 Spark 上的 pandas API 中：现在支持 DataFrameGroupBy.cov，用于计算每个组内各列之间的成对协方差。
• SeriesGroupBy.describe 在 Spark 上的 pandas API 中：Spark 上的 pandas API 现在支持 SeriesGroupBy.describe，为每个组生成描述性统计信息。
• 在 Spark UI 中规划下载链接：Spark UI 执行页现在包含 SVG、DOT 和 TXT 格式的查询计划的下载链接。
• pa.ChunkedArray 对 createDataFrame 的支持：createDataFrame() 现在可以正确处理包含 PyArrow ChunkedArray 列的 pandas DataFrame，从而避免在使用基于 Arrow 的 pandas 数据时出现类型错误。
• 对数组高阶函数的 Codegen 支持：数组高阶函数（如 filter、transform 和 aggregate）现在可在查询编译期间受益于 JVM 字节码生成，从而提升大量使用这些函数的工作负载的性能。
• 修复：列子集后exceptAll的正确性：dropDuplicates修复了生成错误结果的 df.dropDuplicates(subset).exceptAll(other) bug。 该修复可确保重复项跟踪逻辑正确处理子集去重。
• 修复：SQL 分析器保留以块注释结尾的语句：修复了以块注释结尾的 SQL 语句被分号拆分器以无提示方式删除的位置。 现在，无论尾随注释的样式如何，所有语句都能被正确解析。
• 修复：状态格式 V4 中流-流联接的正确性问题：在使用 RocksDB 状态存储格式 V4 时，已修复带有时间窗口谓词的流-流联接中的一个缺陷，从而防止在有状态流式查询期间出现错误的联接结果。

图书馆升级

仅当存在较旧版本的安全风险时，才会升级库。 识别漏洞后，Databricks 会升级到解决该问题的最早版本。 如果由于确认的安全修补程序在此发布周期内升级了库，则还会列出以前的版本来记录转换。

Python

R

Java

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 24.04.4 LTS
• Java：Zulu21.48+15-CA
• Scala：2.13.18
• Python：3.12.3
• R：4.6.0
• Delta Lake：4.2.0

已安装的 Python 库

已安装的 R 库

R 库从 PACKAGES 上的 Posit 程序包管理器 CRAN 快照 安装。

已安装的 Java 和 Scala 库（Scala 2.13 群集版本）