Databricks Runtime 16.1 （EoS）

以下发行说明提供有关由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.1 的信息。

Databricks 于 2024 年 12 月发布了此版本。

行为更改

重大变更：Photon 正则表达式的处理现已与 Apache Spark 保持一致

在 Databricks Runtime 15.4 及更高版本中，Photon 中的正则表达式处理已更新，以匹配 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。

由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如，表达式 split(str_col, '{')，它包含不匹配的大括号，之前会被 Photon 接受，但现在不会。 若要修复此表达式，可以转义大括号字符：split(str_col, '\\{')。

对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 这也已更新，以便 Photon 特性与 Apache Spark 相匹配。

VARIANT 数据类型不能再用于需要比较的操作

在 Databricks Runtime 16.1 及更高版本中，不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符：

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

此外，不能使用这些 DataFrame 函数：

• df.dropDuplicates()
• df.repartition()

这些操作执行比较，以及使用 VARIANT 数据类型的比较会生成未定义的结果，并且 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT 类型，Databricks 建议进行以下更改：

• 更新查询或表达式，以将 VARIANT 值显式转换为非VARIANT 数据类型。
• 如果字段必须与上述任何操作一起使用，请从 VARIANT 数据类型中提取这些字段，并使用非VARIANT 数据类型存储这些字段。

若要了解详细信息，请参阅 查询变体数据。

新增功能和改进

• BigQuery 连接器升级
• Apache Spark 中的排序规则支持现已进入公开预览阶段
• Delta Lake 中的排序规则支持为公共预览版
• LITE 真空模式目前处于公共预览版
• 支持参数化 USE CATALOG with IDENTIFIER 子句
• 对表和视图的 COMMENT ON COLUMN 支持
• 新的 SQL 函数
• 更多函数的命名参数调用
• SYNC METADATA Hive 元存储支持 REPAIR TABLE 命令的参数
• 已压缩 Apache Arrow 批处理的增强数据完整性
• 在 Unity 目录标准访问模式计算（以前共享访问模式）上添加了对 Scala 方法的支持
• 内置 Teradata JDBC 驱动程序
• StreamingQueryListener 为 Scala 提供支持
• 内置 Oracle JDBC 驱动程序
• 使用路径访问的 Delta 表的更详细的错误信息

BigQuery 连接器升级

• Google BigQuery 连接器已升级为使用 开放源代码 Spark-BigQuery 连接器的版本 0.41.0。

• 适用于 Lakehouse 联合的 Google BigQuery 连接器现在使用 BigQuery 存储 API，而不是 JDBC 驱动程序。 此迁移解决了 JDBC 驱动程序的性能问题，并且基于开源 Spark-BigQuery 连接器。

  通过此更改，BigQuery 视图和外部表的中间查询结果必须写入临时表。 这些对象不会直接存储在 BigQuery 存储中。 临时表将存储在 BigQuery 计费项目中。 验证是否已在 BigQuery 服务帐户上设置适当的权限。

Apache Spark 中的排序规则支持处于公共预览中

现在可以将语言识别、不区分大小写和不区分访问权限的排序规则分配给 STRING 列和表达式。 这些排序规则用于字符串比较、排序、分组操作，并且用在许多字符串函数中。 请参阅排序规则。

Delta Lake 中的排序规则支持目前处于公开预览阶段

现在可以在创建或更改 Delta 表时为列定义排序规则。 请参阅对 Delta Lake 的排序规则支持。

LITE 的真空模式目前为公共预览版

现在可以使用 VACUUM table_name LITE 执行轻量级清扫操作，利用 Delta 事务日志中的元数据。 请参阅 完整模式与精简模式 和 VACUUM。

支持对 USE CATALOG with IDENTIFIER 子句进行参数化

在 Databricks Runtime 16.1 及更高版本中，USE CATALOG 语句支持 IDENTIFIER 子句。 借助此支持，你可以根据字符串变量或参数标记来参数化当前目录。

对表和视图的列注释支持

在 Databricks Runtime 16.1 及更高版本中， COMMENT ON 语句支持更改视图和表列的注释。

新的 SQL 函数

在 Databricks Runtime 16.1 及更高版本中，提供了以下新的内置 SQL 函数：

• dayname(expr) 会返回给定日期的星期几的三个字母英语首字母缩略词。
• uniform(expr1, expr2 [,seed]) 返回一个在指定数值范围内具有独立的同分布值的随机值。
• randstr（length） 返回一个包含 length 个字母数字字符的随机字符串。

更多函数的命名参数调用

在 Databricks Runtime 16.1 及更高版本中，以下函数支持 命名参数调用：

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

在 Hive 元存储中，REPAIR TABLE 命令的 SYNC METADATA 参数受支持。

在 Databricks Runtime 16.1 及更高版本中，可以使用 SYNC METADATA 参数与 REPAIR TABLE 命令一起更新由 Hive 元存储管理的表的元数据。 请参阅 REPAIR TABLE。

Apache Arrow 压缩批处理的数据完整性增强

在 Databricks Runtime 16.1 及更高版本中，为了进一步防止数据损坏，每个 LZ4 压缩的 Arrow 批处理现在都包含 LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。

在 Unity 目录标准访问模式计算（以前共享访问模式）上添加了对 Scala 方法的支持

在 Databricks Runtime 16.1 及更高版本中，在 Unity 目录标准访问模式计算中，添加了对以下 Scala 方法的支持：Dataset.flatMapGroups()和Dataset.mapGroups()DataStreamWriter.foreach()。

内置 Teradata JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Teradata JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

对 Scala 的 StreamingQueryListener 支持

现在可以在配置了标准访问模式的计算上使用 StreamingQueryListener 中的 Scala。

内置 Oracle JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Oracle JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

使用路径访问的 Delta 表的更详细错误

使用路径访问的 Delta 表的新错误消息体验现已推出。 所有异常现在都转发给用户。 现在，DELTA_MISSING_DELTA_TABLE 异常被保留用于无法将基础文件读取为 Delta 表的情况。

其他更改

已重命名 cloudFiles 结构化流式处理源的错误代码

此版本包括重命名以下错误代码的更改：

• _LEGACY_ERROR_TEMP_DBR_0143 已重命名为 CF_INCORRECT_STREAM_USAGE。
• _LEGACY_ERROR_TEMP_DBR_0260 已重命名为 CF_INCORRECT_BATCH_USAGE 。

故障修复

嵌套类型现在正确接受 NULL 约束

此版本修复了一个影响某些 Delta 生成的嵌套类型列的错误，例如，STRUCT。 这些列有时会根据嵌套字段的 NULL 或 NOT NULL 约束错误地拒绝表达式。 此问题已修复。

库升级

• 升级后的 Python 库：
  • ipyflow-core 从 0.0.198 到 0.0.201
  • pyccolo 从 0.0.52 到 0.0.65
• 升级后的 R 库：
• 升级后的 Java 库：
  • io.delta.delta-sharing-client_2.12 从 1.2.1 到 1.2.2
  • org.lz4.lz4-java 从 1.8.0 到 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 到 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 16.0（EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-50482] [SC-182879][core] 弃用 no-op spark.shuffle.spill 配置
• [SPARK-50032] [SC-182706][sql][16.x] 允许使用完全限定的排序规则名称
• [SPARK-50467] [SC-182823][python] 为内置函数添加__all__
• [SPARK-48898] [SC-182828][sql] 修复变体拆解 bug
• [SPARK-50441] [ SC-182668][sql] 修复参数化标识符在引用 CTE 时不起作用的问题
• [SPARK-50446] [ SC-182639][python] 箭头优化 Python UDF 中的并发级别
• [SPARK-50430] [ SC-182536][core] 使用标准 Properties.clone 而不是手动克隆
• [SPARK-50471] [ SC-182790][python] 支持基于箭头的 Python 数据源编写器
• [SPARK-50466] [ SC-182791][python] 优化字符串函数的文档字符串 - 第 1 部分
• [SPARK-50194] [ DBR16.x][sc-182593][SS][python] 将新的计时器 API 和初始状态 API 与计时器集成
• [SPARK-50437] [ SC-182586][ss] 减少在 TransformWithStateExec 中创建反序列化器的开销
• [SPARK-49676] [ DBR16.x][sc-182538][SS][python] 添加对链接操作链的支持
• [SPARK-49294] [ SC-182730][ui] 为 shuffle 写时间复选框添加宽度属性。
• [SPARK-50426] [ SC-182540][python] 使用内置数据源或 Java 数据源时避免静态 Python 数据源查找
• [SPARK-48356] [SC-182603][sql] FOR 语句的支持
• [SPARK-50333] [ SC-182136][sql] Codegen 支持 CsvToStructs （通过 Invoke 和 RuntimeReplaceable）
• [SPARK-50285] [SC-182575] 针对提交至 StagedTable 实例的指标
• [SPARK-50081] [SC-182344][sql] 代码生成支持XPath*（通过Invoke和RuntimeReplaceable）
• [SPARK-50440] [SC-182592] [SQL] 重构 AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][sql] Codegen 为 SchemaOfCsv 提供支持（通过 Invoke 和 RuntimeReplaceable）
• [SPARK-49873] [ SC-178577][sql] 修复错误测试后合并失败的问题
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-49873] [SC-178577][sql] 为 _LEGACY_ERROR_TEMP_1325 分配正确的错误类
• [SPARK-50381] [SC-182197][core] 支持 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] 添加 DAYNAME 函数
• [SPARK-50270] [ SC-181179][ss][PYTHON] 为 TransformWithStateInPandas 添加了自定义状态指标
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50075] [ SC-181820][sql][PYTHON][connect] 为表值函数添加 DataFrame API
• [SPARK-49470] [ SC-175736][ui] 将 dataTables 样式表和 javascript 从 1.13.5 更新到 1.13.11
• [SPARK-50235] 还原“[SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源”
• [SPARK-50324] [ SC-182278][python][CONNECT] 使 createDataFrame 触发 Config RPC 不超过一次
• [SPARK-50387] [SC-182441][ss] 更新计时器到期条件和相关测试
• [SPARK-50287] [ SC-182400][sql] 在 FileTable 中创建 WriteBuilder 时合并表和关系的合并选项
• [SPARK-50066] [ SC-181484][sql] 通过 Invoke 和 RuntimeReplaceable 的 Codegen 支持SchemaOfXml
• [SPARK-50092] [ SC-181568][sql] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-50318] [ SC-181641][sql] 将 IntervalUtils.makeYearMonthInterval 添加到在解释和生成代码之间消除重复代码的方法中
• [SPARK-50312] [ SC-181646][sql] 当 kerberos 为 true 时，SparkThriftServer createServer 参数传递错误
• [SPARK-50246] [ SC-181468][sql] 为_LEGACY_ERROR_TEMP_2167：INVALID_JSON_RECORD_TYPE分配适当的错误条件
• [SPARK-50214] [ SC-180692][sql] 来自 json/xml 的数据不应更改给定架构中的排序规则
• [SPARK-50250] [SC-181466][sql] 为_LEGACY_ERROR_TEMP_2075分配适当的错误条件：UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] 为_LEGACY_ERROR_TEMP_2058：INVALID_PARTITION_VALUE分配适当的错误条件
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50235] [ SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
• [SPARK-50156] [SC-180781][sql] 将_LEGACY_ERROR_TEMP_2113集成到UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] 将_LEGACY_ERROR_TEMP_0028集成到UNSUPPORTED_FROM_TO_EXPRESSION中
• [SPARK-50154] [SC-180663][sql] 分配适当的错误条件：_LEGACY_ERROR_TEMP_0043INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [ SC-179534][sql] Codegen 支持 StructsToJson（to_json）
• [SPARK-50055] [ SC-180978][sql] 添加 TryMakeInterval 替代项
• [SPARK-50397] [ SC-182367][core] 从 --ip 中删除弃用的 -i 和 Master/Worker 参数
• [SPARK-50238] [ SC-181434][python] 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中添加变体支持
• [SPARK-50079] [SC-179830][sql] 为 _LEGACY_ERROR_TEMP_2013 分配适当的错误条件：NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [ SC-180346][示例] 添加 submit-sql.sh REST API 示例
• [SPARK-49966] [ SC-179501][sql] 使用 Invoke 来实现 JsonToStructs（from_json）
• [SPARK-50302] [ SC-182518][ss] 确保具有 TTL 的 TransformWithState 状态变量的辅助索引大小等于主索引大小。
• [SPARK-50301] [ SC-182241][ss][16.x] 使 TransformWithState 指标反映其直观含义
• [SPARK-50175] [ SC-182140][sql] 更改排序规则优先级计算
• [SPARK-50148] [SC-180292][sql] 使 StaticInvoke 与声明抛出异常的方法兼容
• [SPARK-50280] [ SC-181214][Python] 重构结果排序和空箱填充 compute_hist
• [SPARK-50190] [ SC-182458][python] 从直方图中删除 Numpy 的直接依赖项
• [SPARK-50382] [ SC-182368][connect] 添加有关使用/扩展 Spark Connect 进行应用程序开发的常规信息的文档
• [SPARK-50296] [ SC-181464][python][CONNECT] 避免在 Python Connect 客户端的 threadpool 中使用类属性
• [SPARK-49566] [ SC-1822239][sql] 为 EXTEND 运算符添加 SQL 管道语法
• [SPARK-50036] [SC-179533][core][PYTHON] 在 REPL shell 上下文中包含 SPARK_LOG_SCHEMA
• [SPARK-49859] [SC-178259][connect] 用 ThreadPoolExecutor 替换多进程.ThreadPool
• [SPARK-50141] [SC-182378][python] 生成 lpad 和 rpad 接受列类型参数
• [SPARK-50379] [ SC-182142][sql] 修复 WindowExecBase 中的 DayTimeIntevalType 处理
• [SPARK-49954] [ SC-179110][sql] Codegen 对 SchemaOfJson 的支持（通过 Invoke 和 RuntimeReplaceable 实现）
• [SPARK-50398] [ SC-182341][core] 使用 ExitCode 0 在 --help Spark 脚本中使用
• [SPARK-50377] [SC-182238][sql] 允许对可折叠的 RuntimeReplaceable 进行评估
• [SPARK-50241] [SC-181444][sql] 将 NullIntolerant Mixin 替换为 Expression.nullIntolerant 方法
• [SPARK-50084] [SC-179672][sql] 为_LEGACY_ERROR_TEMP_3168分配适当的错误条件：MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [ SC-179649][sql] 为以下项分配适当的错误条件 _LEGACY_ERROR_TEMP_0038： DUPLICATED_CTE_NAMES
• [SPARK-50057] [ SC-179573][sql] 为_LEGACY_ERROR_TEMP_1049分配适当的错误条件INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] 将_LEGACY_ERROR_TEMP_0039集成到UNSUPPORTED_SQL_STATEMENT中
• [SPARK-50378] [ SC-182235][ss] 添加自定义指标以跟踪在 transformWithState 中用于初始状态的消耗
• [SPARK-50029] [SC-179531][sql] 将 StaticInvoke 与返回 Any 的方法兼容
• [SPARK-49990] [ SC-179497][sql] 提高randStr的性能
• [SPARK-50048] [ SC-179528][sql] 为以下_LEGACY_ERROR_TEMP_2114项分配适当的错误条件：UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] 将 _LEGACY_ERROR_TEMP_2104 转换为 INTERNAL_ERROR
• [SPARK-49665] [ SC-180054][sql] 删除字符串函数的排序规则支持
• [SPARK-48549] [ SC-176472][sql][PYTHON] 改进 SQL 函数 sentences
• [SPARK-50022] [SC-179503][core][UI] 修复了禁用 UI 时隐藏应用 UI 链接的问题MasterPage
• [SPARK-50087] [SC-182152] 在 MsSqlServer 和将来的连接器中，可靠处理 CASE WHEN 的布尔表达式
• [SPARK-49991] [ SC-179481][sql] 使 HadoopMapReduceCommitProtocol 遵循“mapreduce.output.basename”生成文件名
• [SPARK-50038][SC-179521][sql] 为 分配适当的错误条件：
• [SPARK-50236] [SC-181671][sql] 为_LEGACY_ERROR_TEMP_1156分配适当的错误条件：COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] 修复了在禁用 UI 时隐藏应用 UI 链接的问题ApplicationPage
• [SPARK-49911] [ SC-179111][sql] 修复支持二进制相等性的语义
• [SPARK-50025] [SC-179496][sql] 将_LEGACY_ERROR_TEMP_1253集成到EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [ SC-179480][ss] 修复了在流-流连接中向状态存储添加输入时的优化问题
• [SPARK-50004] [SC-179499][sql] 将_LEGACY_ERROR_TEMP_3327集成到FIELD_NOT_FOUND中
• [SPARK-50380] [ SC-182210][sql] ReorderAssociativeOperator 应遵守 ConstantFolding 中的约定
• [SPARK-50340] [ SC-181859][sql] 在 INSERT 输入查询中解包 UDT
• [SPARK-50237] [ SC-181660][sql] 为_LEGACY_ERROR_TEMP_2138-9分配合适的错误条件：CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [ SC-181993][sql] 修复 AQE 优化后输出列顺序更改的问题
• [SPARK-49773] [SC-178369][sql] 来自 make_timestamp() 的未捕获 Java 异常，时区错误
• [SPARK-49977] [ SC-179265][sql] 使用基于堆栈的迭代计算以避免为深层表达式树创建许多 Scala List 对象
• [SPARK-50153] [SC-181591][sql] 添加 name 到 RuleExecutor 以使打印 QueryExecutionMetrics 的日志更清晰。
• [SPARK-50320] [SC-181668][core] 通过删除--remote警告使experimental正式选项
• [SPARK-49909] [SC-179492] 还原 “[SQL] 修复某些表达式的漂亮名称”
• [SPARK-50330] [ SC-180720][sc-181764][SQL] 向排序和窗口节点添加提示
• [SPARK-50364] [ SC-182003][sql] 在 Row.jsonValue 中实现 LocalDateTime 类型的序列化
• [SPARK-50016] [ SC-182139][sql] 为_LEGACY_ERROR_TEMP_2067分配适当的错误条件：UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][python][SS] 支持 TransformWithStateInPandas 的 deleteIfExists
• [SPARK-49757] [ SC-177824][sql] 在 SET CATALOG 语句中支持 IDENTIFIER 表达式
• [SPARK-50315] [ SC-181886][sql] 支持 V1Fallback 写入操作的自定义指标
• [SPARK-42838] [SC-181509][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] 重构 ResolveSQLOnFile
• [SPARK-48344] [ SC-181967][sql] 准备 SQL 脚本以添加执行框架
• [SPARK-49345] [ SC-174786][connect] 确保使用当前运行的 Spark 会话
• [SPARK-49925] [ SC-178882][sql] 使用排序字符串添加顺序测试
• [SPARK-50167] [ SC-181199][python][CONNECT] 改进 PySpark 绘制错误消息和导入
• [SPARK-49368] [ SC-174999][connect] 避免直接访问 protobuf lite 类别
• [SPARK-50056] [ SC-181378][sql] Codegen 对 ParseUrl 的支持（由 Invoke 和 RuntimeReplaceable）
• [SPARK-49601] [ SC-180770][ss][PYTHON] 支持 TransformWithStateInPandas 的初始状态处理
• [SPARK-49908] [ SC-178768][sql] 为_LEGACY_ERROR_TEMP_0044分配正确的错误条件
• [SPARK-50144] [ SC-180307][ss] 解决 DSv1 流式处理源对指标计算的限制
• [SPARK-49874] [ SC-178303][sql] 删除 trim 和 ltrim 的排序规则说明符。
• [SPARK-49513] [ SC-180339][ss] 在 transformWithStateInPandas API 中添加对计时器的支持
• [SPARK-49119] [ SC-175607][sql] 修复 v1 和 v2 之间的语法 show columns 不一致问题
• [SPARK-49206] [SC-173704][core][UI] 添加 Environment Variables 表到 Master EnvironmentPage
• [SPARK-49934] [ SC-179581][sql] 添加隐式转换以使用文本访问整理映射
• [SPARK-50049] [ SC-181659][sql] 支持自定义驱动指标写入 v2 表
• [SPARK-50171] [SC-180295][python] 使 numpy 可选用于 KDE 绘图
• [SPARK-49962] [SC-179320][sql] 简化 AbstractStringTypes 类层次结构
• [SPARK-50226] [ SC-181483][sql] 更正 MakeDTInterval 和 MakeYMInterval 以捕获 Java 异常
• [SPARK-48775] [ SC-170801][sql][STS] 将 SQLContext 替换为 STS 中的 SparkSession
• [SPARK-49015] [ SC-175688][core] Connect Server 应遵循 spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][sql][16.x] 提取功能解析以在单次分析器中重复使用
• [SPARK-49995] [ SC-180762][sql] 向更多 TVF 添加命名参数支持
• [SPARK-49268] [SC-174903][core] SHS 历史记录提供程序中记录 IO 异常
• [SPARK-48123] [ SC-164989][core] 提供用于查询结构化日志的常量表架构
• [SPARK-49217] [ SC-174904][core] 在 UnsafeShuffleWriter 中支持单独的缓冲区大小配置
• [SPARK-50325] [ SC-181664][sql][16.x] 把别名解析提取出来，以便在单遍分析器中重复使用
• [SPARK-50322] [ SC-181665][sql] 修复子查询中的参数化标识符
• [SPARK-48400] [SC-175283][core] 提升 PrometheusServlet 为 DeveloperApi
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50306] [ SC-181564][python][CONNECT] 在 Spark Connect 中支持 Python 3.13
• [SPARK-50152] [ SC-181264][ss] 支持使用状态数据源读取器处理InitialState
• [SPARK-50260] [ SC-181271][connect] 重构和优化 Spark C...
• [SPARK-47591] [ SC-163090][sql] Hive-thriftserver：将包含变量的日志信息迁移到结构化日志框架
• [SPARK-49312] [SC-174672][python] 改进 assertSchemaEqual 的错误消息
• [SPARK-49439] [SC-175236][sql] 修复 FromProtobuf 和 ToProtobuf 表达式的漂亮名称
• [SPARK-50092] [ ES-1258521] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-49913] [ SC-181565][sql] 添加检查以确保嵌套标记作用域中的标签名称唯一
• [SPARK-49563] [ SC-181465][sql] 为 WINDOW 运算符添加 SQL 管道语法
• [SPARK-49661] [ SC-179021][sql] 实现剪裁排序规则哈希和比较。
• [SPARK-38912] [ SC-181543][python] 删除与 classmethod 和属性相关的注释
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB 强化] 改进 RocksDB SST 文件映射管理，并修复了使用现有快照重新加载相同版本的问题
• [SPARK-49002] 回退“[SC-172846][sql] 统一处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置”
• [SPARK-49668] [ SC-178268][sql] 为修剪排序规则实现排序键支持
• [SPARK-50262] [ SC-181193][sql] 禁止在更改排序规则期间指定复杂数据类型
• [SPARK-48898] [SC-181435][sql] 添加 Variant 分解函数
• [SPARK-48273] [ SC-181381]撤回 “[SQL] 修复 PlanWithUnresolvedIdentifier 的后期重写"
• [SPARK-50222] [SC-180706][core] 支持 spark.submit.appName
• [SPARK-50208] [SC-180662][core] 支持 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] IsValidUTF8、ValidateUTF8、TryValidateUTF8 和 MakeValidUTF8 的替换项应为 NullIntolerant
• [SPARK-50247] [SC-180962][core] 将BLOCK_MANAGER_REREGISTRATION_FAILED定义为ExecutorExitCode
• [SPARK-50282] [SC-181221][ml] 简化 TargetEncoderModel.transform
• [SPARK-50112] [ SC-180763][sql] 允许 TransformWithState 运算符使用 Avro 编码
• [SPARK-50267] [SC-181180][ml] 使用 DataFrame API 改进TargetEncoder.fit
• [SPARK-37178] [SC-180939][ml] 向 ml.feature 添加目标编码
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50085] [ BEHAVE-176][sc-179809][PYTHON] 使 lit(ndarray) 使用 np.int8 时遵循 numpy 数据类型
• [SPARK-50256] [ SC-181048][sql] 添加轻型验证，以检查逻辑计划在每个优化器规则之后是否变得未解析。
• [SPARK-50196] [ SC-180932][connect] 修复 Python 错误上下文以使用正确的上下文
• [SPARK-50274] [SC-181181][core] 防止 DirectByteBufferOutputStream 中的关闭后使用漏洞
• [SPARK-49999] [ SC-180063][python][CONNECT] 支持 box、kde 和 hist 绘图中的可选“column”参数
• [SPARK-50273] [ SC-181178][ss] 改进 RocksDB 中锁定获取/释放情况下的日志记录
• [SPARK-50033] [ SC-180720][sc-180659][SQL] 向逻辑.Aggregate() 节点添加提示。
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] 修复 RocksDB 中由于完成侦听器导致的 AcquireLock 额外释放问题
• [SPARK-50253] [ SC-180969][ss] Stream-Stream Join 如果不支持，则不应提取检查点 ID。
• [SPARK-50255] [ SC-180964][python] 避免不必要的强制转换 compute_hist
• [SPARK-50228] [SC-180780][sql] 将 RewriteCollationJoin 规则移动到 FinishAnalysis
• [SPARK-50001] [ SC-179524][python][PS][connect] 将“精度”调整为盒状图中 kwargs 的一部分
• [SPARK-49637] [SC-180160][sql] 修改了INVALID_FRACTION_OF_SECOND的错误信息
• [SPARK-49530] [ SC-180658][python] 从数据帧获取活动会话
• [SPARK-50195] [SC-180654][core] 修复StandaloneRestServer以正确传播spark.app.name到SparkSubmit
• [SPARK-50229] [SC-180773] 通过减少逻辑规划期间创建的 AttributeReference 对象的生存期，减少驱动程序上的内存使用率
• [SPARK-50231] [SC-180815][python] 使函数 instr 接受列 substring
• [SPARK-49854] [ SC-179812][16.x][SQL] 在会话克隆期间克隆构件管理器
• [SPARK-50219] [SC-180694][sql] 重构ApplyCharTypePadding，以便在单次遍历解析器中使用辅助方法
• [SPARK-50077] [ SC-179827][sql] 为 LogicalRelation 引入了新的模式对象，以帮助避免默认的完整参数模式
• [SPARK-50128] [ Backport][16x][SC-180677][ss] 在 Scala 中使用隐式编码器添加有状态处理器句柄 API
• [SPARK-50061] [ SC-179961][sql] 为排序列启用分析表
• [SPARK-49993] [ SC-180084][sql] 改进 Sum 和 Average 的错误消息
• [SPARK-49638] [ SC-179665][sql] 删除 INVALID_URL 中的 ANSI 配置建议
• [SPARK-50204] [ SC-180660][sql] 分解 HiveTableRelation 读取路径解析
• [SPARK-50193] [ SC-180651][ss] 修复验证时间模式的异常处理
• [SPARK-50179] [ SC-180342][core] 在 REST API 中使 spark.app.name 属性可选
• [SPARK-50068] [ SC-180300][sql] 重构 TypeCoercion 和 AnsiTypeCoercion 将单节点转换分离
• [SPARK-49411] [ SC-179483][ss] 在驱动程序与有状态运算符之间传递状态存储检查点 ID。
• [SPARK-50124] [ SC-180294][sql] LIMIT/OFFSET 应保留数据排序
• [SPARK-49506] [SC-180165][sql] 优化可折叠数组的 ArrayBinarySearch
• [SPARK-50097] [SC-179908][sql] 为_LEGACY_ERROR_TEMP_1248分配适当的错误条件：ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] 添加 try_make_timestamp（_ltz 和 _ntz）及相关测试
• [SPARK-50054] [SC-180228][python][CONNECT] 支持直方图绘图
• [SPARK-50015] [SC-179964] [sql] 为_LEGACY_ERROR_TEMP_1125分配适当的错误条件：MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [ SC-180240][3.5] 将 scala 和 java 文件移动到其默认文件夹
• [SPARK-49980] [ SC-180353][core][SQL] 修正因任务取消中断而导致的文件流的泄漏问题
• [SPARK-49010] [ SC-172304][sql][XML] 为 XML 架构推理区分大小写添加单元测试
• [SPARK-49562] [ SC-180211][sql] 为聚合添加 SQL 管道语法
• [SPARK-49663] [SC-180239][sql] 在排序规则表达式中启用 RTRIM 建议功能
• [SPARK-48965] [ SC-175926][sql] 使用正确的模式 Dataset#toJSON
• [SPARK-48493] [ SC-175893][python] 使用直接箭头批处理支持增强 Python 数据源读取器以提高性能
• [SPARK-49734] [SC-180226][python] 添加 seed 函数参数 shuffle
• [SPARK-50174] [16.x][sc-180253][SQL] 分解未解析的CatalogRelation 解析
• [SPARK-49989] [ SC-179512][python][CONNECT] 支持 kde/密度绘图
• [SPARK-49805] [SC-180218][sql][ML] 删除 function.scala 中的 private[xxx] 函数
• [SPARK-49808] [ SC-179490][sql] 由于惰性值导致的子查询执行死锁已修复。
• [SPARK-49929] [ SC-180144][python][CONNECT] 支持框绘图
• [SPARK-50008] [SC-179290][ps][CONNECT] 避免不必要的操作 attach_distributed_sequence_column
• [SPARK-49767] [ SC-180161][ps][CONNECT] 重构内部函数调用
• [SPARK-49683] [SC-178341][sql] 阻止剪裁排序规则
• [SPARK-49939] [SC-178941][sql] 通过 Invoke 和 RuntimeReplaceable 为 json_object_keys 提供的 Codegen 支持
• [SPARK-50031] [SC-179582][sql] 添加 TryParseUrl 表达式
• [SPARK-49766] [ SC-178933][sql] Codegen 支持 json_array_length （由 Invoke 和 RuntimeReplaceable）
• [SPARK-50046] [ SC-180026][ss] 使用 EventTimeWatermark 节点的稳定顺序计算水印
• [SPARK-49540] [ SC-180145][ps] 统一使用 distributed_sequence_id
• [SPARK-50060] [ SC-179965][sql] 禁用 TypeCoercion 和 AnsiTypeCoercion 中不同排序类型之间的转换
• [SPARK-49004] [SC-173244][connect] 使用单独的注册表来处理列 API 内部函数
• [SPARK-49811] [SC-177888][sql]重命名 StringTypeAnyCollation
• [SPARK-49202] [SC-180059][ps] 应用 ArrayBinarySearch 直方图
• [SPARK-49203] [SC-175734][sql] 添加表达式 java.util.Arrays.binarySearch
• [SPARK-50034] [ SC-179816][core] 修复将致命错误误报为未捕获异常的问题 SparkUncaughtExceptionHandler
• [SPARK-50093] [ SC-179836][sql] 使用 ICU 的排序规则应具有已用 ICU 库的版本
• [SPARK-49985] [ SC-179644][sql] 删除对 Variant 中的间隔类型的支持
• [SPARK-49103] [SC-173066][core] 支持 spark.master.rest.filters
• [SPARK-50090] [ SC-179819] 重构 ResolveBinaryArithmetic 以单独执行单节点的转换
• [SPARK-49902] [SC-179650][sql] 捕获基础运行时错误RegExpReplace
• [SPARK-49126] [SC-173342][core] 将配置定义移动到spark.history.ui.maxApplicationsHistory.scala
• [SPARK-50094] [SC-179820][python][CONNECT] 在没有行号的编辑器上使用内存探查器时，提供改进的错误信息。
• [SPARK-50062] [ SC-179835][sql] 支持排序规则 InSet
• [SPARK-50035] [ Backport][16x][SC-179530][ss] 添加对有状态处理器的显式 handleExpiredTimer 函数部分的支持
• [SPARK-49982] [ SC-179814][sql] 修复 InMemoryRelation 中的负缓存
• [SPARK-49082] [ SC-173350][sql] 类型扩展提升AvroDeserializer
• [SPARK-50088] [SC-179680][sql] 重构 UnresolvedStarBase.expand
• [SPARK-49802] [ SC-179482][ss] 添加对有状态处理器中使用的映射和列表类型的读取更改日志支持
• [SPARK-49846] [ SC-179506][ss] 添加 numUpdatedStateRows 和 numRemovedStateRows 指标以用于 transformWithState 运算符
• [SPARK-50050] [SC-179643][python][CONNECT][16.x] 使 lit 接受 str 和 bool 类型的 numpy ndarray
• [SPARK-49821] [ SC-179527][ss][PYTHON] 实现 TransformWithStateInPandas 的 MapState 和 TTL 支持
• [SPARK-49558] [ SC-179485][sql] 为 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 添加 SQL 管道语法
• [SPARK-48144] [ SC-165725][lc-4080][SQL] 修复 canPlanAsBroadcastHashJoin 以遵循随机联接提示
• [SPARK-50051] [ SC-179571][python][CONNECT] 支持 lit 与空的 numpy ndarray 配合使用
• [SPARK-50018] [SC-179488][sql] 使 AbstractStringType 可序列化
• [SPARK-50016] [ SC-179491][sql] 改进显式排序规则不匹配错误
• [SPARK-50010] [ SC-179487][sql] 展开隐式排序规则不匹配错误
• [SPARK-48749] [ SC-170116][sql] 简化 UnaryPositive 并使用 RuntimeReplaceable 消除其催化剂规则
• [SPARK-49857] [ SC-178576][sql] 将 storageLevel 添加到数据集 localCheckpoint API
• [SPARK-50058] [SC-179538][sql] 将计划规范化函数提取出来，以便之后在单次分析器测试中使用
• [SPARK-50052] [SC-179535][python][16.X] 让 NumpyArrayConverter 支持空字符串 ndarray
• [SPARK-47261] [ SC-173665][sql] 为错误_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173和_LEGACY_ERROR_TEMP_1174分配更好的名称
• [SPARK-49147] [SC-173471][core] 标记 KryoRegistrator 为 DeveloperApi 开发者接口
• [SPARK-48949] [SC-173070][sql] SPJ： 运行时分区筛选
• [SPARK-50044] [ SC-179523][python] 优化多个数学函数的文档字符串
• [SPARK-48757] [SC-170113][core] 生成 IndexShuffleBlockResolver 显式构造函数
• [SPARK-50037] [SQL] 重构 AttributeSeq.resolve（...）
• [SPARK-48782] [ SC-177056][sql] 添加对目录中执行过程的支持
• [SPARK-49057] [SC-173081][sql] 提交查询阶段时不要阻塞 AQE 循环
• [SPARK-48824] [ SC-176772][行为-167][SQL] 添加标识列 SQL 语法
• [SPARK-48773] [SC-170773] 利用配置生成器框架记录配置“spark.default.parallelism”
• [SPARK-48735] [SC-169810][sql] BIN 函数的性能改进
• [SPARK-48900] [SC-172433] 为所有作业/阶段取消的内部调用新增 reason 字段
• [SPARK-48488] [SC-167605][core] 修复了log[info|warning|error]中的SparkSubmit方法
• [SPARK-48708] [SC-169809][core] 从KryoSerializer中移除三个不必要的类型注册
• [SPARK-49958] [ SC-179312][python] 用于字符串验证函数的 Python API
• [SPARK-49979] [SC-179264][sql] 修复在失败计划上执行两次收集时AQE卡住的问题
• [SPARK-48729] [ SC-169795][sql] 添加 UserDefinedFunction 接口来表示 SQL 函数
• [SPARK-49997] [SC-179279][sql] 将_LEGACY_ERROR_TEMP_2165集成到MALFORMED_RECORD_IN_PARSING
• [SPARK-49259][SC-179271][ss]Kafka读取期间基于大小的分区创建
• [SPARK-48129] [ SC-165006][python] 在 PySpark 中提供常量表架构，用于查询结构化日志
• [SPARK-49951] [ SC-179259][sql] 为 LEGACY_ERROR_TEMP分配正确的错误条件（1099|3085）
• [SPARK-49971] [ SC-179278][sql] 为_LEGACY_ERROR_TEMP_1097分配正确的错误条件
• [SPARK-49998] [SC-179277][sql] 将_LEGACY_ERROR_TEMP_1252集成到EXPECT_TABLE_NOT_VIEW中
• [SPARK-49876] [ SC-179262][connect] 从 Spark Connect 服务中删除全局锁
• [SPARK-49957] [SC-179202][sql] 用于字符串验证函数的 Scala API
• [SPARK-48480] [ SC-173055][ss][CONNECT] StreamingQueryListener 不应受到 spark.interrupt() 的影响。
• [SPARK-49643] [ SC-179239][sql] 将_LEGACY_ERROR_TEMP_2042合并到ARITHMETIC_OVERFLOW
• [SPARK-49959] [ SC-179109][sql] 修复 ColumnarArray.copy() 以从正确的偏移量读取空值项
• [SPARK-49956] 还原“[SC-179070] 禁用collect_set表达式的排序规则”
• [SPARK-49987] [SC-179180][sql] 修复 seedExpression 中当 randstr 不可折叠时的错误提示
• [SPARK-49948] [ SC-179158][ps][CONNECT] 在 Spark 框绘图上向 pandas 添加参数“精度”
• [SPARK-49970] [ SC-179167][sql] 为_LEGACY_ERROR_TEMP_2069分配正确的错误条件
• [SPARK-49916] [SC-179108][sql] 在某些行中抛出 ColumnType 和数据类型类型不匹配的适当异常
• [SPARK-49956] [SC-179070] 禁用collect_set表达式的排序规则
• [SPARK-49974] [16.x][sc-179071][SQL] 将 resolveRelations（...） 移出 Analyzer.scala
• [SPARK-47259] [ SC-176437][sql] 为时间间隔错误的错误条件指定名称
• [SPARK-47430] [ SC-173679][sql] 按映射类型进行分组并重构以修复绑定引用异常
• [SPARK-49067] [ SC-172616][sql] 将 utf-8 文本移动到 UrlCodec 类的内部方法中
• [SPARK-49955] [ SC-178989][sql] 解析 JSON 字符串 RDD 时，NULL 值并不意味着文件已损坏
• [SPARK-49393] [ SC-175212][sql] 在已弃用的目录插件 API 中默认失败
• [SPARK-49952] [ SC-178985][sql] 为_LEGACY_ERROR_TEMP_1142分配正确的错误条件
• [SPARK-49405] [SC-175224][sql] 限制 JsonOptions 中的字符集
• [SPARK-49892] [ SC-178975][sql] 为_LEGACY_ERROR_TEMP_1136分配正确的错误类
• [SPARK-49904] [ SC-178973][sql] 为_LEGACY_ERROR_TEMP_2140分配正确的错误条件
• [SPARK-47257] [ SC-174244][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_105[3-4] 和_LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [ SC-178869][sql] 处理 ReorderAssociativeOperator 中的零和一
• [SPARK-49891] [ SC-178970][sql] 为_LEGACY_ERROR_TEMP_2271分配正确的错误条件
• [SPARK-49918] [SC-178748][core] 在适当情况下使用只读访问配置SparkContext
• [SPARK-49666] [ SC-177891][sql] 为剪裁排序规则功能添加功能标志
• [SPARK-48885] [ SC-171050][sql] 让 RuntimeReplaceable 的某些子类重写替换方法为 lazy val
• [SPARK-49932] [ SC-178931][core] 使用 tryWithResource 发布 JsonUtils#toJsonString 资源以避免内存泄漏
• [SPARK-49949] [ SC-178978][ps] 在attach_sequence_column 避免不必要的分析任务
• [SPARK-49924] [SC-178935][sql] 在替换containsNull后保留ArrayCompact
• [SPARK-49121] [SC-174787][sql] 支持 from_protobuf 和 to_protobuf SQL 函数
• [SPARK-47496] [ SC-160529][sql] Java SPI 支持动态 JDBC 方言注册
• [SPARK-49359] [ SC-174895][sql] 允许 StagedTableCatalog 实现回退到非原子写入
• [SPARK-49895] [ SC-178543][sql][ES-1270338] 在 SELECT 子句中遇到尾随逗号时改进错误
• [SPARK-47945] [ SC-163457][sql] MsSQLServer：文档映射 Microsoft SQL Server 中的 Spark SQL 数据类型并添加测试
• [SPARK-46037] [ SC-175495][sql] 没有 codegen 的随机哈希联接生成的正确性修复
• [SPARK-47813] [SC-162615][sql] 将 getArrayDimension 替换为 updateExtraColumnMeta
• [SPARK-49542] [ SC-178765][sql] 分区转换异常评估错误
• [SPARK-47172] [ SC-169537][core] 添加对 RPC 加密 AES-GCM 的支持
• [SPARK-47666] [ SC-161476][sql] 将 mysql 位数组读取为 LongType 时修复 NPE
• [SPARK-48947] [ SC-174239][sql] 使用小写字符集名称减少 Charset.forName 中的缓存缺失
• [SPARK-49909] [ SC-178552][sql] 修复某些表达式的漂亮名称
• [SPARK-47647] [SC-161377][sql] 使 MySQL 数据源能够读取 bit(n>1) 为 BinaryType（如 Postgres）
• [SPARK-46622] [SC-153004][core] 重写 toString 方法 o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [ SC-171910][python] 使 PySparkException 的参数命名与 JVM 保持一致
• [SPARK-49889] [SC-178474][python] 为函数添加参数trimtrim/ltrim/rtrim
• [SPARK-47537] [ SC-160747][sql] 修复 MySQL 连接器/J 上的错误数据类型映射
• [SPARK-47628] [ SC-161257][sql] 修复 Postgres 位数组问题“无法转换为布尔值”
• [SPARK-49843] [ SC-178084][es-1268164][SQL] 修复对 char/varchar 列的更改注释
• [SPARK-49549] [SC-178764][sql] 为错误条件_LEGACY_ERROR_TEMP_3055, 3146 分配名称
• [SPARK-49791] [ SC-177730][sql] 使 DelegatingCatalogExtension 更具扩展性
• [SPARK-49559] [ SC-178551][sql] 为集合运算添加 SQL 管道语法
• [SPARK-49906] [ SC-178536][sql] 引入并使用 PartitioningUtils 中的 CONFLICTING_DIRECTORY_STRUCTURES 错误
• [SPARK-49877] [ SC-178392][sql] 更改 classifyException 函数签名：添加 isRuntime 参数
• [SPARK-47501] [ SC-160532][sql] 为 JdbcDialect 添加 convertDateToDate，就像现有的 convertTimestampToTimestamp。
• [SPARK-49044] [SC-175746][sql] ValidateExternalType 应在错误时返回子级
• [SPARK-47462] [ SC-160460][sql] 将其他无符号数值类型的映射与 MySQLDialect 中的 TINYINT 对齐
• [SPARK-47435] [ SC-160129][sql] 修复 SPARK-45561 引起的 MySQL UNSIGNED TINYINT 溢出问题
• [SPARK-49398] [ SC-176377][sql] 改进了 CACHE TABLE 和 CREATE VIEW 查询中的参数的错误
• [SPARK-47263] [ SC-177012][sql] 为旧版条件_LEGACY_ERROR_TEMP_13[44-46]分配名称
• [SPARK-49605] [SC-176605][sql] 修复当ascendingOrder在DataTypeMismatch中是SortArray时的提示信息问题
• [SPARK-49806] [SC-178304][sql][CONNECT] 删除blank space和show客户端中的Scala后多余的Connect
• [SPARK-47258] [ SC-175032][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [ SC-178461][sql] 为 JOIN 运算符添加 SQL 管道语法
• [SPARK-49836] [ SC-178339][sql][SS] 修复了在将窗口传递给 window/session_window 函数时可能出现问题的查询
• [SPARK-47390] [ SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] 处理 Postgres 和 MySQL 的 SQL 时间戳映射
• [SPARK-49776] [ SC-177818][python][CONNECT] 支持饼图
• [SPARK-49824] [ SC-178251][ss][CONNECT] 改进 SparkConnectStreamingQueryCache 中的日志记录
• [SPARK-49894] [ SC-178460][python][CONNECT] 优化列字段操作的字符串表示形式
• [SPARK-49764] [ SC-177491][python][CONNECT] 支持区域绘图
• [SPARK-49694] [SC-177376][python][CONNECT] 支持散点图
• [SPARK-49744] [ SC-178363][ss][PYTHON] 在 TransformWithStateInPandas 中实现对 ListState 的 TTL 支持
• [SPARK-49879] [SC-178334][core] 将TransportCipherUtil移动到一个单独的文件中，以消除 Java 编译警告
• [SPARK-49866] [ SC-178353][sql] 改进描述具有分区列的表时的错误信息
• [SPARK-49867] [ SC-178302][es-1260570][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
• [SPARK-49607] [ SC-177373][python] 更新基于采样的图表的采样策略
• [SPARK-49626] [ SC-177276][python][CONNECT] 支持水平和垂直条形图
• [SPARK-49531] [ SC-177770][python][CONNECT] 支持使用 Plotly 后端的线图绘制
• [SPARK-49444] [ SC-177692][es-1203248][SQL] 修改了 UnivocityParser，以便在遇到 ArrayIndexOutOfBounds 错误时抛出带有更多面向用户的消息的运行时异常。
• [SPARK-49870] [ SC-178262][python] 在 Spark 经典版中添加 Python 3.13 支持
• [SPARK-49560] [ SC-178121][sql] 为 TABLESAMPLE 运算符添加 SQL 管道语法
• [SPARK-49864] [ SC-178305][sql] 改进BINARY_ARITHMETIC_OVERFLOW的信息
• [SPARK-48780] [ SC-170274][sql] 使 NamedParametersSupport 的错误处理泛型化，以处理函数和过程
• [SPARK-49358] [ SC-178158][sql] 对字符串进行排序的映射类型的模态表达式
• [SPARK-47341] [ SC-178157][sql] 修复 RuntimeConfig#get 的不准确文档
• [SPARK-48357] [SC-178153][sql] 对 LOOP 语句的支持
• [SPARK-49845] [SC-178059][core] 在 REST API 中生成 appArgs 和 environmentVariables 可选
• [SPARK-49246] [ SC-174679][sql] TableCatalog#loadTable 应指示它是否用于写入
• [SPARK-48048] [ SC-177525][sc-164846][CONNECT][ss] 添加了对 Scala 的客户端侦听器支持
• [SPARK-48700] [SC-177978][sql] 复杂类型的模态表达式（所有排序规则）
• [SPARK-48196] [ SC-177899][sql] 将 QueryExecution lazy val 计划转换为 LazyTry
• [SPARK-49749] [16.x][sc-177877][CORE] 更改日志级别以在 BlockManagerInfo 中进行调试
• [SPARK-49561] [ SC-177897][sql] 为 PIVOT 和 UNPIVOT 运算符添加 SQL 管道语法
• [SPARK-49823] [ SC-177885][ss] 避免在关闭 RocksDB 过程中执行刷新操作
• [SPARK-49820] [SC-177855] [PYTHON] 将raise IOError更改为raise OSError
• [SPARK-49653] [ SC-177266][sql] 相关标量子查询的单一联接
• [SPARK-49552] [ SC-177477][python] 为新的“randstr”和“uniform”SQL 函数添加 DataFrame API 支持
• [SPARK-48303] [16.x][sc-166251][CORE] 重新组织日志键
• [SPARK-49656] [ 16x][backport][SS] 添加对具有值状态集合类型和读取更改源选项的状态变量的支持
• [SPARK-48112] [ SC-165129][connect] 向插件公开 SparkConnectPlanner 中的会话
• [SPARK-48126] [16.x][sc-165309][Core] 使 spark.log.structuredLogging.enabled 有效
• [SPARK-49505] [ SC-176873][sql] 创建新的 SQL 函数“randstr”和“uniform”以在范围内生成随机字符串或数字
• [SPARK-49463] [SC-177474] 支持 TransformWithStateInPandas 的 ListState
• [SPARK-48131] [SC-165007][core] 统一 MDC 密钥 mdc.taskName 和 task_name
• [SPARK-49557] [ SC-177227][sql] 为 WHERE 运算符添加 SQL 管道语法
• [SPARK-49323] [16.x][sc-174689][CONNECT] 将 MockObserver 从 Spark Connect Server 的测试文件夹移动到服务器的主文件夹
• [SPARK-49745] [ SC-177501][ss] 增加功能以通过状态数据源读取器读取已注册的计时器
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] 删除 ColumnFamilyOptions 并将配置直接添加到 RocksDB 中的 dbOptions

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序和升级（下载 ODBC， 下载 JDBC）。

请参阅 Databricks Runtime 16.1 维护更新。

系统环境

• 操作系统：Ubuntu 24.04.1 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.2.1

已安装的 Python 库

已安装的 R 库

R 库是通过 2024-08-04 的 Posit 包管理器 CRAN 快照安装的：https://packagemanager.posit.co/cran/2024-08-04/src/contrib/PACKAGES。

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）