Databricks Runtime 16.4 LTS

以下发行说明提供有关由 Apache Spark 3.5.2 提供支持的 Databricks Runtime 16.4 LTS 的信息。

Databricks 于 2025 年 5 月发布了此 LTS 版本。 此版本有 2 个变体，一个支持 Scala 2.12，一个支持 Scala 2.13。

从 DBR 17（Spark 4）开始，仅支持 Scala 2.13。 为了帮助你过渡，16.4 LTS 中提供了两个镜像：一个是 Scala 2.12，一个是 Scala 2.13。 在迁移到 DBR 17 之前，使用 2.13 映像测试和更新代码库到 Scala 2.13。

• Databricks Runtime 16.4 LTS 版本中的所有其他功能都是相同的。
• Databricks Runtime 16.4 Scala 2.12 映像和 16.4 Scala 2.13 映像之间的依赖关系版本可能有所不同。 在本页下方列出了每个镜像支持的库版本。
• 确保代码是用 Scala 2.13 编写的，并且可执行文件是使用 Scala 2.13 编译的。
• 请将项目基于 Spark 3.5 构建。

如果代码使用 sparklyr R 库，则必须改用支持 Scala 2.12 的图像。

Databricks Runtime 将需要进行显著代码更改以支持其的情况视为重大更改。

• 集合不兼容：阅读 此官方 Scala 文档页 ，了解有关将集合迁移到 Scala 2.13 的详细信息。 如果代码使用早期版本的 Scala 代码，则使用 Databricks 时，集合将是不兼容的主要来源，尤其是 API 参数和返回类型。

• 哈希算法：查看使用 Scala 2.12 生成的代码时，不依赖于不保证排序的数据结构的隐式顺序，例如 HashMap 和 Set。 当你对元素进行迭代时，执行隐式排序的集合在 2.13（对比 2.12）下运行时可能会以不同的方式对元素进行排序。

Databricks Runtime 将因版本更改而未引发特定错误消息的中断性变更视为次要，但通常情况下您的代码会因版本变更而无法编译。 在这种情况下，错误消息可能会提供足够的信息来更新代码。

• 更严格的类型推理：使用 2.13 编译为 Scala 2.12 开发的代码时，编译器可能会报告它无法推断类型或提示类型歧义。 使用其数据类型显式批注变量通常可解决此问题。
• 删除特定语法：Scala 2.13 中已弃用某些语法，例如单引号字符串文本、 + 用于字符串串联的运算符（用于左侧的非String 类型）和后缀运算符（改用点表示法）。 有关更多详细信息，请参阅官方 Scala 文档中的 Scala 删除功能 。
• 输出消息：从 REPL 返回的消息的文本结果在 Scala 2.12 和 2.13 之间可能有所不同。 任何差异并不意味着语法或计算错误;相反，消息以不同的表示形式描述问题或上下文，或者以不同的表示形式呈现问题。 例如，在某些消息中，f: Foo = Foo(1) 可能会变为 f: Foo = Foo(i = 1)。

Databricks Runtime 16.4 LTS 的每个 Scala 版本支持的库版本列表：

• DBR 16.4 LTS Scala 2.12 库
• DBR 16.4 LTS Scala 2.13 库

• 仪表板、警报和查询作为工作区文件得到支持
• 液体聚类自动压缩改进
• 自动加载程序现在可以清理源目录中已处理的文件
• 为从 Delta 表进行流式处理添加了类型扩展支持
• DBSQL 中现在提供标识符支持用于目录操作
• 汇总表达式现在提供自动生成的临时别名
• 向 Python 数据源添加过滤器下推 API 支持
• Python UDF 回溯改进
• 视图中的 UNION/EXCEPT/INTERSECT 和 EXECUTE IMMEDIATE 现在返回了正确的结果
• 数据源缓存计划配置和迁移指南
• 添加标志以隐藏递归通用表表达式（CTE）
• 新增 listagg 功能和 string_agg 函数

仪表板、警报和查询现在作为工作区文件受支持。 现在可以从工作区文件系统可用的任意位置以编程方式与这些 Databricks 对象进行交互，包括写入、读取和删除它们，就像任何其他文件一样。 若要了解详细信息，请参阅 什么是工作区文件？ 以及 以编程方式与工作区文件交互。

Unity 目录管理的流体聚簇表现已能够触发自动压缩，以自动减少 OPTIMIZE 运行之间的小文件问题。

有关详细信息，请参阅 Azure Databricks 上 Delta Lake 的自动压缩。

客户现在可以指示自动加载程序自动移动或删除已处理的文件。 使用 cloudFiles.cleanSource “自动加载”选项来启用此功能。

有关详细信息，请参阅下面的cloudFiles.cleanSource。

此版本增加了对类型扩展列数据的 Delta 表进行流式传输的支持，并支持通过 Databricks-to-Databricks Delta共享启用了类型扩展的 Delta 表。 类型扩展功能目前处于公开预览阶段。

有关详细信息，请参阅 类型扩大。

Azure Databricks 客户现在可以在执行以下目录操作时使用 IDENTIFIER 子句：

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

通过此新语法，客户可以使用为这些作定义的参数动态指定目录名称，从而实现更灵活和可重用的 SQL 工作流。 请考虑 CREATE CATALOG IDENTIFIER(:param)，其中 param 是一个参数，用于指定目录名称。

有关详细信息，请参阅 IDENTIFIER 子句。

自动生成的整理后表达式别名现在总会以确定性方式合并 COLLATE 信息。 自动生成的别名是暂时性的（不稳定的），不应依赖。 相反，最佳做法是一致且显式地使用 expression AS alias 。

在 Databricks Runtime 16.4 LTS 中，Azure Databricks 添加了对 Python 数据源批处理读取的筛选器下推支持，该支持作为类似于 SupportsPushDownFilters 接口的 API 。 现在可以实现 DataSourceReader.pushFilters 以接收可以下推的筛选器。 还可以实现此 API，以提供逻辑来选择要向下推送的筛选器、跟踪筛选器，以及通过 Apache Spark 返回应用程序的剩余筛选器。

筛选器下推允许数据源处理筛选器的子集。 这可以通过减少 Spark 需要处理的数据量来提高性能。

筛选器下推仅支持批量读取，不支持流式读取。 新 API 必须添加到DataSourceReader，而不是添加到 DataSource 或 DataSourceStreamReader。 筛选器列表必须解释为实现中元素的逻辑 AND 。 此方法在查询规划过程中调用一次。 在默认实现中，它返回所有筛选器，这意味着无法向下推送任何筛选器。 使用子类来重写这个方法，并实现您的过滤器下推逻辑。

最初，为了保持 API 简单，Azure Databricks 仅支持具有列、布尔运算符和文本值的 V1 筛选器。 筛选器序列化是占位符，将在将来的 PR 中实现。 例如：

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks 建议仅对本身支持筛选的数据源（例如数据库和 GraphQL API）实施此方法。

Python UDF 跟踪现在包括驱动程序和执行程序的帧以及客户端帧，从而生成更好的错误消息，这些错误消息显示更大和更相关的详细信息（例如 UDF 中帧的行内容）。

查询具有顶级UNION/EXCEPT/INTERSECT和非别名列的临时视图定义和永久性视图定义之前返回的结果不正确，因为UNION/EXCEPT/INTERSECT 关键字被视为别名。 现在，这些查询将正确执行整个集合操作。

EXECUTE IMMEDIATE ... INTO由于解析器将这些关键字解释为别名，导致具有顶级UNION/EXCEPT/INTERSECT及非别名列的集合操作错误地将结果写入指定变量。 同样，还允许包含无效尾文本的 SQL 查询。 在这些情况下，设置操作现在可以将正确的结果写入指定的变量，或者在 SQL 文本无效的情况下失败。

从DBR 16.4.0版本开始，从文件源表中读取数据将正确遵循查询选项，例如分隔符。 以前，缓存了第一个查询计划，并忽略了后续选项更改。 若要还原以前的行为，请将 spark.sql.legacy.readFileSourceTableCacheIgnoreOptions 设置为 true。

递归 CTE 执行现在隐藏在 spark.sql.cte.recursion.enabled 之后。

从此版本开始，您可以使用 listagg 或 string_agg 函数来汇总组内的 STRING 和 BINARY 值。 有关详细信息，请参阅 string_agg。

• Delta 表：“DESCRIBE DETAIL 表”现在将显示表的 clusterByAuto 状态
• 修复使数据源缓存计划选项得到尊重的问题
• 将修订规则从分析器移动到优化器
• variant_get和get_json_object现在会考虑Apache Spark中路径开头的空格
• 启用标志以禁止在合并操作中禁用源物化
• 将分区元数据日志启用锚点移动到表中
• 更新 snowflake-jdbc 3.16.1 -> 3.22.0
• 在 DBR 16.2 和 16.3 中将 Json4 从 4.0.7 降级到 3.7.0-M11

DESCRIBE DETAIL {table} 现在将显示当前聚类分析列旁边的表的 clusterByAuto 状态（true 或 false）。 有关更多详细信息 clusterByAuto，请参阅：自动液体聚类分析。

此更新可确保缓存时为所有数据源计划设置表读取遵循选项，而不仅仅是第一个缓存的表读取。

以前，数据源表读取缓存了第一个计划，但未能在后续查询中考虑不同的选项。

例如，以下查询：

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

将生成以下输出：

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

通过此修补程序，它现在返回预期的输出：

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

如果工作负荷依赖于以前的错误行为，则此更改后可能会看到不同的结果。

以前，DataFrames 可以在使用有效的 SECRET SQL 函数时创建包含编辑值的表。 保存对表具有有效机密访问权限的 DataFrame 时，此更改将删除修订，并且修订规则已从分析程序移至优化程序。

在此更改之前，在禁用 Photon 的情况下，variant_get 和 get_json_object 表达式的路径中的前导空格和制表符会被忽略。 例如， select get_json_object('{" key": "value"}', '$[' key']') 在提取值 " key"时不会有效。 但是，用户将能够提取此类密钥。

以前，用户可以通过将 merge.materializeSource 设置为 none 来禁用 MERGE 中的源具体化。 启用新标志后，将禁止此操作并导致错误。 Databricks 计划仅针对以前未使用此配置标志的客户启用标志，因此，客户不应注意到行为的任何更改。

分区元数据日志功能已更改，以便使用 spark.databricks.nonDelta.partitionLog.enabled = true 创建表后，可以将它定位到表，使群集不会为群集处理的所有表设置 spark.databricks.nonDelta.partitionLog.enabled = true。

将依赖项 snowflake-jdbc 从 3.16.1 更新为 3.22.0。 如果用户直接使用库的 l3.16.1 版本，则可能会影响用户。

客户不能在同一应用程序中同时使用 databricks-connect 16.1+ 和 Apache Spark™ 3.5.x，因为 Json4s 版本 3.7.0-M11 与版本 4.0.7 之间的 API 行为存在显著差异。 为了解决此问题，Azure Databricks 已将 Json4 降级到 3.7.0-M11。

• 升级了 R 库：
  • sparklyr 从 1.8.4 升级到 1.8.6（仅适用于 Databricks Runtime 16.4 LTS 版本的 Scala 2.12 镜像）
• 升级后的 Java 库：
  • io.delta.delta-sharing-client_2.12 从 1.2.3 到 1.2.4
  • org.json4s.json4s-ast_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-core_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-jackson_2.12 从 4.0.7 到 3.7.0-M11
  • org.json4s.json4s-scalap_2.12 从 4.0.7 到 3.7.0-M11

Scala 2.13 Databricks Runtime 版本被视为“新”版本，可能具有与 2.12 不同的库版本。 请参阅下表了解该发布映像中的特定库版本。 此版本中不包括 sparklyr。

Databricks Runtime 16.4 LTS 包括 Apache Spark 3.5.2。 此版本包括 Databricks Runtime 16.3 中包含的所有 Spark 修复和改进，以及以下对 Spark 进行的其他 bug 修复和改进：

• [SPARK-51206] [ PYTHON][connect] 将箭头转换帮助程序移出 Spark Connect
• [SPARK-51566] [PYTHON] Python UDF 追溯改进
• [SPARK-51675] [ SS] 在打开本地数据库后修复列族创建，以避免创建快照（如果不必要）
• [SPARK-50892] [SQL]添加 UnionLoopExec，作为执行递归查询的物理运算符
• [SPARK-51670] [SQL] 将 Intersect 和 Except 重构为遵循 Union 示例，以便在单遍分析器中重复使用。
• [SPARK-47895] [BEHAVE-266][sql] 按别名分组应该是幂等的
• [SPARK-51614] [SQL] 在分析器中引入 ResolveUnresolvedHaving 规则
• [SPARK-51662] [SQL] 使 OrcFileFormat 可比较
• [SPARK-51374] 还原“[CORE] 在日志记录 API 中使用 java.util.Map”
• [SPARK-51652] [SQL] 重构 SetOperation 计算，以在单次分析器中重复使用它
• [SPARK-51622] [UI] ExecutionPage 上的标题化部分
• [SPARK-51586] [SS] 在连续模式下初始化独立于列式支持的输入分区
• [SPARK-51070] [SQL] 在 ValidateExternalType 中使用 scala.collection.Set 而不是 Set
• [SPARK-51559] [SQL] 使最大广播表大小可配置
• [SPARK-51496] [SQL] CaseInsensitiveStringMap 比较时应忽略大小写
• [SPARK-50416] [CORE] 需要一个更便携的终端/管道测试用于 bin/load-spark-env.sh
• [SPARK-51509] [核心组件][用户界面] 使Spark Master环境页面支持筛选器
• [SPARK-51374] [CORE] 切换到在日志记录 API 中使用 java.util.Map
• [SPARK-50820] [SQL] DSv2：DML 中元数据列的条件置空
• [SPARK-48922] [SQL] 避免映射类型的相同表达式的冗余数组转换
• [SPARK-51446] [SQL] 改进压缩编解码器的 codecNameMap
• [SPARK-51341] [CORE] 使用合适的方式取消时间任务。
• [SPARK-51452] [UI] 改进线程转储表搜索
• [SPARK-51444] [CORE] 删除无法访问的 if 分支 从 TaskSchedulerImpl#statusUpdate 中
• [SPARK-51401] [SQL] 更改为 ExplainUtils.generateFieldString 直接调用 QueryPlan.generateFieldString
• [SPARK-49507] [SQL] 修复启用 metastorePartitionPruningFastFallback 后出现的情况问题
• [SPARK-51506] [ PYTHON][ss] 请勿强制用户在 TransformWithStateInPandas 中实现 close（）
• [SPARK-51624] [SQL] 在 CreateNamedStruct.dataType 中传播 GetStructField 元数据
• [SPARK-51201] [SQL] 使分区提示支持字节和短值
• [SPARK-51186] [PYTHON] 将StreamingPythonRunnerInitializationException添加至PySpark的基本异常类
• [SPARK-50286] [ SQL] 将 SQL 选项正确传播到 WriteBuilder
• [SPARK-51616] [ SQL] 在 ResolveAliases 和 ResolveAggregateFunctions 之前运行 CollationTypeCasts
• [SPARK-51023] [CORE] 在 RPC 异常上记录远程地址
• [SPARK-51087] [ PYTHON][connect] 在未安装内存探查器进行内存分析时引发警告
• [SPARK-51073] [SQL] 从Unstable特性中删除SparkSessionExtensionsProvider
• [SPARK-51471] [ SS] RatePerMicroBatchStream - 在 startOffset 中偏移/时间戳大于 endOffset 时对 ASSERT 错误进行分类
• [SPARK-51062] [PYTHON] 修复 assertSchemaEqual 以比较小数精度和小数位数
• [SPARK-51612] [SQL] 在创建视图时，将 Spark 配置显示在 Desc As Json 中
• [SPARK-51573] [ SS] 修复流状态检查点 v2 检查点信息的竞争条件
• [SPARK-51252] [SS] 在 HDFS 状态存储中添加上次上传快照版本的实例指标
• [SPARK-51552] [SQL] 在标识符下时禁止持久化视图中的临时变量
• [SPARK-51625] [SQL] CTE 关系中的命令应触发内联
• [SPARK-51584] [ SQL] 添加规则，将 Project 推送通过 Offset 和用于测试规则的测试套件
• [SPARK-51593] [SQL] 重构 QueryExecutionMetering 实例化
• [SPARK-49082] [SQL] 支持在 Avro 读取器中将日期扩大为 TimestampNTZ
• [SPARK-50220] [PYTHON] 支持 PySpark 中的 listagg
• [SPARK-51581] [CORE][sql] 使用 nonEmpty/isEmpty 对显式 Iterable 进行空检查
• [SPARK-42746] [SQL] 修复了 listagg 新异常的错误类别分类问题
• [SPARK-51580] [ SQL] 当 lambda 函数未到位时引发正确的用户面临错误消息 HigherOrderFunction
• [SPARK-51589] [ SQL] 修复了在 SELECT 中无法检查聚合函数的小型 bug |>
• [SPARK-50821] [PYTHON] 将 Py4J 从 0.10.9.8 升级到 0.10.9.9
• [SPARK-42746] [SQL] 实现 LISTAGG 函数
• [SPARK-48399] [SQL] Teradata：ByteType 应映射到 BYTEINT 而不是 BYTE（二进制）
• [SPARK-43221] [CORE] 主机本地块提取应使用存储在磁盘上的块的块状态
• [SPARK-51467] [UI] 使环境页的表可筛选
• [SPARK-51569] [SQL] 如果没有类型更改，请勿在InSubquery中重新初始化InTypeCoercion
• [SPARK-51280] [CONNECT] 改进RESPONSE_ALREADY_RECEIVED错误类别
• [SPARK-51525] [SQL] Desc As JSON StringType 的排序规则字段
• [SPARK-51565] [SQL] 在窗口框架子句中支持 SQL 参数
• [SPARK-51544] [SQL] 仅添加唯一和必要的元数据列
• [SPARK-49349] [SQL] 使用 Generate 改进 LCA 的错误消息
• [SPARK-51418] [SQL] 修复 DataSource 分区表与 Hive 类型不兼容的分区列问题
• [SPARK-51269] [ SQL] 通过删除 defaultCompressionLevel 来简化 AvroCompressionCodec
• [SPARK-50618] [SS][sql] 使 DataFrameReader 和 DataStreamReader 更多地利用分析器
• [SPARK-51097] [SS] 重新引入 RocksDB 状态存储的最后上传快照版本的实例度量标准
• [SPARK-51321] [SQL] 添加对 PostgresDialect 和 MsSQLServerDialect 表达式下推的 rpad 和 lpad 支持
• [SPARK-51428] [ BEHAVE-264][sql] 为整理的表达式树重新确定性地分配别名
• [SPARK-51528] [SQL] 不要直接在 ProtobufCatalystDataConversionSuite 中比较哈希代码
• [SPARK-51443] [SS] 修复 DSv2 和 readStream 中的 singleVariantColumn。
• [SPARK-51397] [SS] 修复了维护池关闭处理不当的问题，该问题导致测试时间过长。
• [SPARK-51522] [SQL] 禁用单次分析器延迟联合子测试
• [SPARK-51079] [ Fix-forward] 支持 pandas UDF 中的大型变量类型，使用 Arrow 创建DataFrame 和 toPandas
• [SPARK-51112] [ES-1348599][connect] 避免在空表中使用 pyarrow to_pandas
• [SPARK-51438] [SQL] 使 CatalystDataToProtobuf 和 ProtobufDataToCatalyst 实现正确的可比较性和可哈希性
• [SPARK-50855] [ DBR16.x][ss][CONNECT] Spark Connect 对 Scala 中的 TransformWithState 的支持
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column 应保留 EXISTS_DEFAULT 解析
• [SPARK-51468] [SQL] 还原“来自 json/xml 不应更改给定架构中的排序规则”
• [SPARK-51453] [SQL] AssertTrue 使用 toPrettySQL 而不是 simpleString
• [SPARK-51409] [SS] 在 changelog 编写器创建路径中添加错误分类
• [SPARK-51440] [SS] 在 kafka 消息数据中为 null 主题字段值且没有主题选项时对 NPE 进行分类
• [SPARK-51425] [Connect] 添加客户端 API 以设置自定义 operation_id
• [SPARK-50652] [ SS] 增加对 RocksDB V2 向后兼容性的检查
• [SPARK-49164] [SQL] 修复 JDBC 关系中 SQL 查询谓词中的 nullSafeEqual
• [SPARK-50880] [ SQL] 向 V2ExpressionSQLBuilder 添加新的 visitBinaryComparison 方法
• [SPARK-50838] [ SQL]在递归 CTE 中执行额外检查，以便在遇到被禁止的情况时抛出错误。
• [SPARK-51307] [SQL] CatalogStorageFormat 中的 locationUri 应解码以显示
• [SPARK-51079] [ PYTHON] 支持 pandas UDF、createDataFrame 和具有箭头的 toPandas 中的大型变量类型
• [SPARK-50792] [SQL] 在 JDBC 中将二进制数据格式化为二进制文本。

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 在此处下载最近发布的驱动程序：

• 下载 Databricks ODBC 驱动程序
• 下载 Databricks JDBC 驱动程序

• 作系统：Ubuntu 24.04.2 LTS。
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15 或 2.13.10
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.3.1

R 库安装自 2025-03-20 版本中的 Posit 包管理器 CRAN 快照：