Databricks Runtime 16.2 （EoS）

以下发行说明提供有关由 Apache Spark 3.5.2 提供支持的 Databricks Runtime 16.2 的信息。

Databricks 于 2025 年 2 月发布了此版本。

行为变更

ANALYZE 现在跳过不受支持的类型的列

ANALYZE TABLE 在类型不受支持的表（例如 ARRAY 或 MAP）上运行时，不再生成错误消息。 现在会自动跳过不受支持的列。 已实现预期这些错误的逻辑的用户应更新其代码。

在 Delta Sharing 中，默认启用表历史记录

使用 SQL 命令创建的共享 ALTER SHARE <share> ADD TABLE <table> 现在默认启用历史记录共享（WITH HISTORY）。 请参阅 ALTER SHARE。

凭据 SQL 语句在凭据类型不匹配时返回错误

在此版本中，如果凭据管理 SQL 语句中指定的凭据类型与凭据参数的类型不匹配，则返回错误，并且该语句未运行。 例如，对于语句 DROP STORAGE CREDENTIAL 'credential-name'，如果 credential-name 不是存储凭据，则语句将失败并出现错误。

此更改有助于防止用户错误。 以前，即使传递的凭据与指定的凭据类型不匹配，这些语句也会成功运行。 例如，以下语句将成功删除storage-credential： DROP SERVICE CREDENTIAL storage-credential

此更改会影响以下语句：

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• 授予。。。上。。。凭据
• 撤回。。。上。。。凭据
• 显示授予...凭据

新功能和改进

• 使用 生成自定义有状态应用程序
• 使用服务凭据向云对象存储进行身份验证
• Unity Catalog 治理的使用服务凭据对外部云服务的访问现已正式发布
• 笔记本作为工作区文件受支持
• 在timestampdifftimestampadd生成的列表达式中使用
• 支持 SQL 管道语法
• 使用 http_request 函数发出 HTTP 请求
• 更新以 DESCRIBE TABLE 将元数据作为结构化 JSON 返回
• 尾随空白不区分排序规则
• 将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表
• 标准访问模式（以前共享访问模式）计算现在支持 Spark Scala 方法 foreach， foreachBatch并且 flatMapGroupsWithState

使用 生成自定义有状态应用程序

现在可以使用 transformWithState 和相关 API 作为结构化流式处理查询的一部分实现自定义有状态应用程序。 请参阅 构建自定义有状态应用程序。

使用服务凭据向云对象存储进行身份验证

现在，可以使用 Databricks 服务凭据通过自动加载程序向云对象存储进行身份验证。 请参阅 在文件通知模式下配置自动加载程序流。

Unity Catalog 治理的使用服务凭据对外部云服务的访问现已正式发布

服务凭据通过 Azure Databricks 的云租户服务实现简单且安全的身份验证。 借助 Databricks Runtime 16.2，除了公共预览版支持的 Python SDK 外，服务凭据已正式发布，现在还支持 Scala SDK。 请参阅 “创建服务凭据”。

笔记本作为工作区文件受支持

在 Databricks Runtime 16.2 及更高版本中，笔记本作为工作区文件受支持。 现在可以从工作区文件系统可用的任意位置以编程方式与笔记本进行交互，包括像任何其他文件一样写入、读取和删除笔记本。 若要了解详细信息，请参阅 以编程方式创建、更新和删除文件和目录。

在生成的列表达式中使用 timestampdiff & timestampadd

在 Databricks Runtime 16.2 及更高版本中，可以在 Delta Lake 生成的列表达式中使用 timestampdiff 和 timestampadd 函数。 请参阅 Delta Lake 生成的列。

支持 SQL 管道语法

在 Databricks Runtime 16.2 及更高版本中，可以编写 SQL 管道。 SQL 管道将标准查询（如 SELECT c2 FROM T WHERE c1 = 5）构造成分步序列，如以下示例所示：

FROM T
|> SELECT c2
|> WHERE c1 = 5

若要了解 SQL 管道支持的语法，请参阅 SQL 管道语法。

有关此跨行业扩展的背景信息，请参阅 “SQL 的问题及其解决方法：SQL 中的管道语法”（由 Google Research 出品）。

使用 http_request 函数发出 HTTP 请求

在 Databricks Runtime 16.2 及更高版本中，可以使用 http_request 函数创建 HTTP 连接，并通过它们发出 HTTP 请求。

更新至 DESCRIBE TABLE 将元数据作为结构化 JSON 返回

在 Databricks Runtime 16.2 及更高版本中，可以使用 DESCRIBE TABLE AS JSON 该命令将表元数据作为 JSON 文档返回。 JSON 输出的结构比默认的可读报表更结构化，可用于以编程方式解释表的架构。 若要了解详细信息，请参阅 DESCRIBE TABLE AS JSON。

忽略尾随空白的排序规则

Databricks Runtime 16.2 添加了对尾随空白不区分排序规则的支持，并添加到 Databricks Runtime 16.1 中添加的排序规则支持。 例如，这些排序规则将 'Hello' 和 'Hello ' 视为相等。 若要了解详细信息，请参阅 RTRIM 排序规则。

将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表

CONVERT TO DELTA 和 CREATE TABLE CLONE 语句现在支持将具有存储桶分区的 Apache Iceberg 表转换为未分区的 Delta 表。

标准访问模式（以前共享访问模式）计算现在支持 Spark Scala 方法 foreach， foreachBatch并且 flatMapGroupsWithState

在 Databricks Runtime 16.2 及更高版本中，标准访问模式计算现在支持 Scala 方法和 DataStreamWriter.foreachBatchKeyValueGroupedDataset.flatMapGroupsWithState。 在 Databricks Runtime 16.1 及更高版本中，标准访问模式计算现在支持 Scala 方法 DataStreamWriter.foreach。

故障修复

改进了增量克隆处理

此版本包含一个边缘情况的修补程序：增量 CLONE 可能会重新复制已经从源表复制到目标表的文件。 请参阅克隆 Azure Databricks 上的表。

图书馆升级

• 升级后的 Python 库：
• 升级后的 R 库：
• 升级后的 Java 库：
  • org.json4s.json4s-ast_2.12 从 3.7.0-M11 到 4.0.7
  • org.json4s.json4s-core_2.12 从 3.7.0-M11 到 4.0.7
  • org.json4s.json4s-jackson_2.12 从 3.7.0-M11 到 4.0.7
  • org.json4s.json4s-scalap_2.12 从 3.7.0-M11 到 4.0.7

Apache Spark

Databricks Runtime 16.2 包括 Apache Spark 3.5.2。 此版本包括 Databricks Runtime 16.1 （EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-49966] 还原“[SC-179501][sql] 用于 Invoke 实现 JsonToStructs（from_json）”
• [SPARK-50904] [ SC-186976][sql] 修复排序规则表达式演练器查询执行
• [SPARK-49666] [SQL] 为 InSet 表达式启用剪裁测试
• [SPARK-50669] [ SC-184566][es-1327450][SQL] 更改 TimestampAdd 表达式的签名
• [SPARK-50795] [16.x][sc-186719][SQL] 在 LinkedHashMap 中long将时间戳存储为describe类型
• [SPARK-50870] [ SC-186950][sql] 在 V2ScanRelationPushDown 中转换为时间戳时添加时区
• [SPARK-50735] [ SC-186944][connect] ExecuteResponseObserver 中的失败会导致无限重新附加请求
• [SPARK-50522] [ SC-186500][sql] 支持不确定排序规则
• [SPARK-50525] [ SC-186058][sql] 定义 InsertMapSortInRepartitionExpressions 优化器规则
• [SPARK-50679] [ SC-184572][sql] 不同 With 中重复的通用表达式应仅投影一次
• [SPARK-50847] [SC-186916] [SQL] 拒绝对特定 In 表达式应用 ApplyCharTypePadding
• [SPARK-50714] [ SC-186786][sql][SS] 在使用 Avro 编码时启用 TransformWithState 的架构演变
• [SPARK-50795] [ SC-186390][sql] 以 ISO-8601 格式和类型显示所有 DESCRIBE AS JSON 日期 dataType.simpleString
• [SPARK-50561] [ SC-185924][sql] DBR 16.x cherrypick： 改进 UNIFORM SQL 函数的类型强制和边界检查
• [SPARK-50700] [ SC-184845][sql] spark.sql.catalog.spark_catalog 支持 builtin magic 值
• [SPARK-50831] [ SC-186736][sql] 默认启用剪裁排序规则
• [SPARK-50263] [SC-186793][connect] 替换为System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [ SC-184926][sql] 为 SQL 标量和表函数实现 CreateSQLFunctionCommand
• [SPARK-50830] [SC-186718] [SQL] 以双重运行分析结果的形式返回单传递结果
• [SPARK-50707] [SC-186098][sql] 启用转换到 char/from char/varchar
• [SPARK-49490] [ SC-182137][sql] 为 initCap 添加基准
• [SPARK-50529] [ SC-184535][sql] 更改 spark.sql.preserveCharVarcharTypeInfo 配置下的 char/varchar 行为
• [SPARK-49632] [ SC-184179][sql] 删除 CANNOT_PARSE_TIMESTAMP 中的 ANSI 配置建议
• [SPARK-50815] [ SC-186487][python][SQL] 修复 bug：在 createDataFrame 中传递 null Variant 会导致它失败，并在 Spark Connect 的 createDataFrame 中添加 Variant 支持
• [SPARK-50828] [ SC-186493][python][ML][connect] Deprecate pyspark.ml.connect
• [SPARK-50600] [ SC-186057][connect][SQL] 在分析失败时分析的集
• [SPARK-50824] [ SC-186472][python] 避免导入用于检查的可选 Python 包
• [SPARK-50755] [ SC-185521][sql] InsertIntoHiveTable 的漂亮计划显示
• [SPARK-50789] [ SC-186312][connect] 应分析类型化聚合的输入
• [SPARK-50791] [ SC-185867][sc-186338][SQL] 修复 State Store 错误处理中的 NPE
• [SPARK-50801] [ SC-186365] [SQL] 改进 PlanLogger.logPlanResolution ，使其仅显示未解析和已解决的计划
• [SPARK-50749] [ SC-185925][sql] 修复通勤Expression.gatherCommutative 方法中的排序 bug
• [SPARK-50783] [ SC-186347] 规范化 JVM 探查器结果文件名和布局在 DFS 上
• [SPARK-50790] [SC-186354][python] 在 pyspark 中实现分析 json
• [SPARK-50738] [ SC-184856][python] 将黑色升级到 23.12.1
• [SPARK-50764] [ SC-185930][python] 优化 xpath 相关方法的文档字符串
• [SPARK-50798] [SC-186277][sql] 改进 NormalizePlan
• [SPARK-49883] [ SC-183787][ss] 状态存储检查点结构 V2 与 RocksDB 和 RocksDBFileManager 集成
• [SPARK-50779] [ SC-186062][sql] 为对象级别排序规则添加功能标志
• [SPARK-50778] [ SC-186183][python] 将 metadataColumn 添加到 PySpark 数据帧
• [SPARK-49565] [ SC-186056][sql] DBR 16.x cherrypick： 使用管道 SQL 运算符改进自动生成的表达式别名
• [SPARK-50541] [16.x][sc-184937] 将表描述为 JSON
• [SPARK-50772] [ SC-185923][sql] DBR 16.x cherrypick： 在 SET、EXTEND、DROP 运算符之后保留表别名
• [SPARK-50769] [SC-185919][sql] 修复直方图Numeric 中的 ClassCastException
• [SPARK-49025] [ SC-174667] 将增量代码差异同步到 DBR
• [SPARK-50752] [ SC-185547][python][SQL] 引入配置来优化没有箭头的 Python UDF
• [SPARK-50705] [SC-185944][sql] 无 QueryPlan 锁
• [SPARK-50690] [16.x][sc-184640][SQL] 修复 DESCRIBE TABLE 视图查询输出列引用的差异
• [SPARK-50746] [ SC-184932][sql] 将任一替换为 VariantPathSegment。
• [SPARK-50715] [ SC-185546][python][CONNECT] SparkSession.Builder 批量设置配置
• [SPARK-50480] [SC-183359][sql] 从 StringType 扩展 CharType 和 VarcharType
• [SPARK-50675] [ SC-184539][sql] 表和视图级别排序规则支持
• [SPARK-50409] [SC-184516][sql] 修复 set 语句以在结尾;处忽略SET;，SET -v;并SET key;
• [SPARK-50743] [ SC-185528][sql] 规范化 CTERelationDef 和 CTERelationRef ID
• [SPARK-50693] [ SC-184684][connect] 应分析 TypedScalaUdf 的输入
• [SPARK-50744] [ SC-184929][sql] 为 view/CTE 名称解析优先级添加测试用例
• [SPARK-50710] [ SC-184767][connect] 在发布后添加对可选客户端重新连接的支持
• [SPARK-50703] [ SC-184843][python] 优化regexp_replace、regexp_substr和regexp_instr的文档字符串
• [SPARK-50716] [ SC-184823][core] 修复方法中 JavaUtils.deleteRecursivelyUsingJavaIO 符号链接的清理逻辑
• [SPARK-50630] [ SC-184443][sql] 修复对管道 SQL AGGREGATE 运算符的 GROUP BY 序号支持
• [SPARK-50614] [SC-184729][sql] 为 Parquet 添加 Variant 粉碎支持
• [SPARK-50661] [ SASP-4936] 为旧客户端 2 月添加向后兼容性。
• [SPARK-50676] [SC-184641][sql] 从中删除未 private lazy val mapValueContainsNull 使用的 ElementAt
• [SPARK-50515] [ SC-183813][core] 将只读接口添加到 SparkConf
• [SPARK-50697] [ SC-184702][sql] 尽可能启用结尾递归
• [SPARK-50642] [ SC-184726][sc-183517][CONNECT][ss][2/N][16.x]修复 Spark 连接中 FlatMapGroupsWithState 的状态架构（如果没有初始状态时）
• [SPARK-50701] [ SC-184704][python] 使绘图需要最小绘图版本
• [SPARK-50702] [ SC-184727][python] 优化regexp_count、regexp_extract和regexp_extract_all的文档字符串
• [SPARK-50499] [ SC-184177][python] 从 BasePythonRunner 公开指标
• [SPARK-50692] [SC-184705][16.x] 添加 RPAD 下推支持
• [SPARK-50682] [SC-184579][sql] 内部别名应规范化
• [SPARK-50699] [ SC-184695][python] 使用指定的会话分析并生成 DDL 字符串
• [SPARK-50573] [ SC-184568][ss] 将状态架构 ID 添加到状态行以架构演变
• [SPARK-50661] [ SC-184639][connect][SS][sasp-4936] 修复 Spark Connect Scala foreachBatch 弹指。 以支持 Dataset[T]。
• [SPARK-50689] [ SC-184591][sql] 在 LCA 项目列表中强制实施确定性排序
• [SPARK-50696] [ SC-184667][python] 优化 DDL 分析方法的 Py4J 调用
• [SPARK-49670] [ SC-182902][sql] 为所有传递表达式启用剪裁排序规则
• [SPARK-50673] [ SC-184565][ml] 避免在构造函数中 Word2VecModel 遍历模型系数两次
• [SPARK-50687] [ SC-184588][python] 优化逻辑以获取 DataFrameQueryContext 的堆栈跟踪
• [SPARK-50681] [ SC-184662][python][CONNECT] 缓存 MapInXXX 和 ApplyInXXX 的已分析架构
• [SPARK-50674] [ SC-184589][python] 修复 UDTF 评估中是否存在“terminate”方法的检查
• [SPARK-50684] [ SC-184582][python] 提高 DataFrameQueryContext 中的 Py4J 性能
• [SPARK-50578] [ DBR16.x][sc-184559][PYTHON][ss] 添加了对 TransformWithStateInPandas 的新版本状态元数据的支持
• [SPARK-50602] [ SC-184439][sql] 修复转置以在指定无效索引列时显示正确的错误消息
• [SPARK-50650] [ SC-184532][sql] 改进单传递分析器中的日志记录
• [SPARK-50665] [ SC-184533][sql] 将 LocalRelation 替换为 NormalizePlan 中的 ComparableLocalRelation
• [SPARK-50644] [ SC-184486][sql] 读取 Parquet 读取器中的变体结构。
• [SPARK-49636] [ SC-184089][sql] 删除 INVALID_ARRAY_INDEX 和 INVALID_ARRAY_INDEX_IN_ELEMENT_AT 中的 ANSI 配置建议
• [SPARK-50659] [ SC-184514][sql] 重构 Union 输出计算，以在单传递分析器中重复使用它
• [SPARK-50659] [ SC-184512][sql] 将 Union 相关的错误移动到 QueryCompilationErrors
• [SPARK-50530] [ SC-183419][sql] 修复了错误的隐式字符串类型上下文计算
• [SPARK-50546] [ SC-183807][sql] 向排序规则类型强制添加子查询强制转换支持
• [SPARK-50405] [ SC-182889][sql] 正确处理复杂数据类型的排序规则类型强制
• [SPARK-50637] [ SC-184434][sql] 修复单传递分析器的代码样式
• [SPARK-50638] [ SC-184435][sql] 将视图分辨率重构到单独的文件中以在单传递分析器中重复使用它
• [SPARK-50615] [ SC-184298][sql] 将变体推送到扫描中。
• [SPARK-50619] [ SC-184210][sql] 重构 VariantGet.cast 以打包强制转换参数
• [SPARK-50599] [ SC-184058][sql] 创建允许 Avro 和 UnsafeRow 编码的 DataEncoder 特征
• [SPARK-50076] [SC-183809] 修复 logkeys
• [SPARK-50597] [ SC-183972][sql] 在 Optimizer.scala 和 SparkOptimizer.scala 中重构批处理构造
• [SPARK-50339] [ SC-183063][spark-50360][SS] 启用更改日志以存储世系信息
• [SPARK-50526] [ SC-183811][ss] 将存储编码格式 conf 添加到偏移日志中，并阻止不支持的有状态运算符使用 avro
• [SPARK-50540] [ SC-183810][python][SS] 修复 StatefulProcessorHandle 的字符串架构
• [SPARK-50157] [ SC-183789][sql] 首先使用 SparkSession 提供的 SQLConf。
• [SPARK-48898] [ SC-183793][sql] 在 Variant 架构中正确设置可为 null 性
• [SPARK-50559] [ SC-183814][sql] Store Except， Intersect and Union 的输出作为延迟 vals
• [SPARK-48416] [ SC-183643][sql] 支持嵌套相关 With 表达式
• [SPARK-50428] [ SC-183566][ss][PYTHON] 支持批处理查询中的 TransformWithStateInPandas
• [SPARK-50063] [ SC-183350][sql][CONNECT] 在 Spark Connect Scala 客户端中添加对 Variant 的支持
• [SPARK-50544] [ SC-183569][python][CONNECT] 实现 StructType.toDDL
• [SPARK-50443] [ SC-182590][ss] 修复 RocksDBStateStoreProvider 中 Guava 缓存引入的 Maven 生成错误
• [SPARK-50491] [ SC-183434][sql] 修复了空 BEGIN END 块引发错误的 bug
• [SPARK-50536] [SC-183443][core] 日志下载的存档文件大小和SparkContextExecutor
• [SPARK-45891] [ SC-183439][sql] 从切碎的数据重新生成变体二进制文件。
• [SPARK-49565] [ SC-183465][sql] 为 FROM 运算符添加 SQL 管道语法
• [SPARK-50497] [ SC-183338][sql] 如果 MultiAlias 包含非生成器函数，则查询失败并显示正确的消息
• [SPARK-50460] [ SC-183375][python][CONNECT] 通用化和简化 Connect 异常处理
• [SPARK-50537] [ SC-183452][connect][PYTHON] 修复正在覆盖的压缩选项 df.write.parquet
• [SPARK-50329] [SC-183358][sql] 修复 InSet$toString
• [SPARK-50524] [ SC-183364][sql] 将警告消息降低 RowBasedKeyValueBatch.spill 到调试级别
• [SPARK-50528] [ SC-183385][connect] 移动到 InvalidCommandInput 通用模块
• [SPARK-50017] [ SC-182438][ss] 支持 TransformWithState 运算符的 Avro 编码
• [SPARK-50463] [ SC-182833][sql] 修复 ConstantColumnVector 了 Columnar 到行转换
• [SPARK-50235] [ SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
• [SPARK-50516] [ SC-183279][ss][MINOR] 修复 init 状态相关测试以使用 StreamManualClock
• [SPARK-50478] [ SC-183188][sql] 修复 StringType 匹配
• [SPARK-50492] [ SC-183177][ss] 修复删除 dropDuplicatesWithinWatermark 后删除事件时间列时的 java.util.NoSuchElementException
• [SPARK-49566] [ SC-182589][sql] 为 SET 运算符添加 SQL 管道语法
• [SPARK-50449] [ SC-183178][sql] 修复 SQL 脚本语法，允许循环、IF 和 CASE 的空正文
• [SPARK-50251] [SC-180970][python] 添加到 getSystemProperty PySpark SparkContext
• [SPARK-50421] [ SC-183091][core] 修复了多个资源配置文件正常工作时与执行程序相关的内存配置不正确
• [SPARK-49461] [ SC-179572][ss] 持久检查点 ID 以提交日志并将其读回
• [SPARK-50343] [ SC-183119][spark-50344][SQL] 为 DROP 和 AS 运算符添加 SQL 管道语法
• [SPARK-50481] [ SC-182880][core] 改进 SortShuffleManager.unregisterShuffle 以跳过校验和文件逻辑（如果禁用校验和）
• [SPARK-50498] [ SC-183090][python] 避免不必要的 py4j 调用 listFunctions
• [SPARK-50489] [ SC-183053][sql][PYTHON] 修复自联接后 applyInArrow
• [SPARK-49695] [ SC-182967][sc-176968][SQL] Postgres 修复 xor 下推

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 16.2 维护更新。

系统环境

• 作系统：Ubuntu 24.04.1 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.3.0

已安装的 Python 库

已安装的 R 库

R 库安装在 2024-08-04 上的 Posit 包管理器 CRAN 快照中： https://packagemanager.posit.co/cran/2024-08-04/src/contrib/PACKAGES

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）