Databricks Runtime 16.1

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.1 的相关信息。

Databricks 于 2024 年 12 月发布了此版本。

行为更改

重大变更：Photon 的正则表达式处理现在变得与 Apache Spark 一致

在 Databricks Runtime 15.4 及更高版本中，Photon 中的正则表达式处理已更新，以匹配 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。

由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如，表达式 split(str_col, '{') 中包含不匹配的大括号，以前 Photon 会接受，现在提示失败。 若要修复此表达式，可以转义大括号字符：split(str_col, '\\{')。

对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 这也是为了让 Photon 的行为与 Apache Spark 一致而进行的更新。

VARIANT 数据类型不能再用于需要比较的操作

在 Databricks Runtime 16.1 及更高版本中，不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符：

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

此外，还将不能使用这些 DataFrame 函数：

• df.dropDuplicates()
• df.repartition()

这些操作会执行比较，使用 VARIANT 数据类型的比较会生成未定义的结果，在 Databricks 中不受支持。 如果在 Azure Databricks 工作负载或表中使用 VARIANT 类型，Databricks 建议进行以下更改：

• 更新查询或表达式以将 VARIANT 值显式强制转换为非 VARIANT 数据类型。
• 如果字段必须与上述任何操作一起使用，请从 VARIANT 数据类型中提取这些字段，并使用非 VARIANT 数据类型存储它们。

有关详细信息，请参阅查询变体数据。

新增功能和改进

• Apache Spark 中的排序规则支持为公共预览版
• Delta Lake 中的排序规则支持为公共预览版
• 清空的 LITE 模式为公共预览版
• 支持参数化 USE CATALOG with IDENTIFIER 子句
• 对表和视图的 COMMENT ON COLUMN 支持
• 新的 SQL 函数
• 更多函数的命名参数调用
• Hive 元存储支持 REPAIR TABLE 命令的 SYNC METADATA 参数
• 已压缩 Apache Arrow 批处理的增强数据完整性
• 增加了对 Unity Catalog 标准访问模式（以前称为共享访问模式）计算的 Scala 方法的支持
• 内置 Teradata JDBC 驱动程序
• 对 Scala 的 StreamingQueryListener 支持
• 内置 Oracle JDBC 驱动程序
• 使用路径访问的 Delta 表的更多具体错误

Apache Spark 中的排序规则支持为公共预览版

现在可以将语言感知的、不区分大小写和不区分访问的排序规则分配给 STRING 列和表达式。 这些排序规则用于字符串比较、排序、分组操作以及许多字符串函数。 请参阅排序规则。

Delta Lake 中的排序规则支持为公共预览版

现在可以在创建或更改 Delta 表时为列定义排序规则。 请参阅 Delta Lake 的排序规则支持。

清空的 LITE 模式为公共预览版

现在，你可以使用 VACUUM table_name LITE 执行轻量级清空操作，以利用 Delta 事务日志中的元数据。 请参阅完整模式与精简模式和 VACUUM。

支持参数化 USE CATALOG with IDENTIFIER 子句

在 Databricks Runtime 16.1 及更高版本中，IDENTIFIER 子句 得到了 USE CATALOG 语句的支持。 借助此支持，你可以根据字符串变量或参数标记来参数化当前目录。

对表和视图的 COMMENT ON COLUMN 支持

在 Databricks Runtime 16.1 及更高版本中， COMMENT ON 语句支持更改视图和表列的注释。

新的 SQL 函数

在 Databricks Runtime 16.1 及更高版本中，提供了以下新的内置 SQL 函数：

• dayname(expr) 返回给定日期的星期几的三个英文首字母缩写。
• uniform(expr1, expr2 [,seed]) 返回一个在指定数值范围内具有独立且同分布值的随机值。
• randstr(length) 返回 length 字母数字字符的一个随机字符串。

更多函数的命名参数调用

在 Databricks Runtime 16.1 及更高版本中，以下函数支持命名参数调用：

• variant_explode
• variant_explode_outer
• 内嵌
• inline_outer
• posexplode
• posexplode_outer

Hive 元存储支持 REPAIR TABLE 命令的 SYNC METADATA 参数

在 Databricks Runtime 16.1 及更高版本中，可以将 SYNC METADATA 参数与 REPAIR TABLE 命令一起使用来更新 Hive 元存储托管表的元数据。 请参阅 REPAIR TABLE。

已压缩 Apache Arrow 批处理的增强数据完整性

在 Databricks Runtime 16.1 及更高版本中，为了进一步防止数据损坏，每个 LZ4 压缩的 Arrow 批处理现在都包含 LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。

在 Unity 目录标准访问模式计算（以前共享访问模式）上添加了对 Scala 方法的支持

在 Databricks Runtime 16.1 及更高版本中，在 Unity 目录标准访问模式计算中，添加了对以下 Scala 方法的支持：Dataset.flatMapGroups()、Dataset.mapGroups()和 DataStreamWriter.foreach()。

内置 Teradata JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Teradata JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

对 Scala 的 StreamingQueryListener 支持

现在可以在标准访问模式配置的计算环境中使用 Scala 中的 StreamingQueryListener。

内置 Oracle JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Oracle JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

使用路径访问的 Delta 表的更多具体错误

对于使用路径访问的 Delta 表，新的错误消息体验现已推出。 所有异常现在都将转发给用户。 现在，当基础文件无法读取为 Delta 表时，异常 DELTA_MISSING_DELTA_TABLE 将保留。

其他更改

已重命名 cloudFiles 结构化流式处理源的错误代码

此版本包括重命名以下错误代码的更改：

• _LEGACY_ERROR_TEMP_DBR_0143 已重命名为 CF_INCORRECT_STREAM_USAGE。
• _LEGACY_ERROR_TEMP_DBR_0260 已重命名为 CF_INCORRECT_BATCH_USAGE 。

Bug 修复

嵌套类型现已适当接受 NULL 约束

此版本修复了影响某些 Delta 生成的嵌套类型的列的漏洞，例如 STRUCT。 这些列有时会根据嵌套字段的 NULL 或 NOT NULL 约束错误地拒绝表达式。 此问题已修复。

库升级

• 升级了 Python 库：
  • ipyflow-core 从 0.0.198 升级到 0.0.201
  • pyccolo 从 0.0.52 升级到 0.0.65
• 升级了 R 库：
• 升级了 Java 库：
  • io.delta.delta-sharing-client_2.12 从 1.2.1 到 1.2.2
  • org.lz4.lz4-java 从 1.8.0 升级到 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 升级到 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 16.0（EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-50482] [SC-182879][core] 已弃用无操作的 spark.shuffle.spill 配置
• [SPARK-50032] [SC-182706][sql][16.x] 允许使用完全限定的排序规则名称
• [SPARK-50467] [SC-182823][python] 为内置函数添加 __all__
• [SPARK-48898] [SC-182828][sql] 修复 Variant 分解 bug
• [SPARK-50441] [SC-182668][sql] 修复引用 CTE 时参数化的标识符不起作用的问题
• [SPARK-50446] [SC-182639][python] 经过 Arrow 优化的 Python UDF 中的并发级别
• [SPARK-50430] [SC-182536][core] 使用标准 Properties.clone 而不是手动克隆
• [SPARK-50471] [SC-182790][python] 支持基于箭头的 Python 数据源编写器
• [SPARK-50466] [SC-182791][python] 优化字符串函数的文档字符串 - 第 1 部分
• [SPARK-50194] [DBR16.x][sc-182593][SS][python] 将新计时器 API 和初始状态 API 与计时器集成
• [SPARK-50437] [SC-182586][ss] 减少在 TransformWithStateExec 中创建反序列化程序的开销
• [SPARK-49676] [DBR16.x][SC-182538][SS][python] 添加对链式操作的支持...
• [SPARK-49294] [SC-182730][ui] 为 shuffle-write-time 复选框添加宽度属性。
• [SPARK-50426] [SC-182540][python] 使用内置数据源或 Java 数据源时避免静态 Python 数据源查找
• [SPARK-48356] [SC-182603][sql] FOR 语句的支持
• [SPARK-50333] [SC-182136][sql] 为 CsvToStructs 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50285] [SC-182575] 提交到 StagedTable 实例的指标
• [SPARK-50081] [SC-182344][sql] 为 XPath* 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50440] [SC-182592] [SQL] 重构 AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][sql] 为 SchemaOfCsv 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-49873] [SC-178577][sql] 修复错误测试导致的合并后失败
• [SPARK-50118] [SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-49873] [SC-178577][sql] 为 _LEGACY_ERROR_TEMP_1325 分配正确的错误类
• [SPARK-50381] [SC-182197][core] 支持 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] 添加 DAYNAME 函数
• [SPARK-50270] [SC-181179][ss][PYTHON] 添加了 TransformWithStateInPandas 的自定义状态指标
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50075] [SC-181820][sql][PYTHON][connect] 为表值函数添加数据帧 API
• [SPARK-49470] [SC-175736][ui] 将 dataTables 样式表和 javascript 从 1.13.5 更新为 1.13.11
• [SPARK-50235] 还原“[SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源”
• [SPARK-50324] [SC-182278][python][CONNECT] 使 createDataFrame 触发器至多触发一次配置 Config RPC
• [SPARK-50387] [SC-182441][ss] 更新计时器过期条件及相关测试
• [SPARK-50287] [SC-182400][sql] 在 FileTable 中创建 WriteBuilder 时合并表和关系选项
• [SPARK-50066] [SC-181484][sql] 为 SchemaOfXml 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50092] [SC-181568][sql] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-50318] [SC-181641][sql] 添加 IntervalUtils.makeYearMonthInterval 以减少解释和 codegen 之间的代码重复
• [SPARK-50312] [SC-181646][sql] 当 kerberos 为 true 时，SparkThriftServer createServer 参数传递错误
• [SPARK-50246] [SC-181468][sql] 为 _LEGACY_ERROR_TEMP_2167分配适当的错误条件： INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] 从 json/xml 中不应更改给定架构中的排序规则
• [SPARK-50250] [SC-181466][sql] 为 _LEGACY_ERROR_TEMP_2075分配适当的错误条件： UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] 为 _LEGACY_ERROR_TEMP_2058分配适当的错误条件： INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50235] [SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
• [SPARK-50156] [SC-180781][sql] 将 _LEGACY_ERROR_TEMP_2113 集成到 UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] 将 _LEGACY_ERROR_TEMP_0028 集成到 UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][sql] 为 _LEGACY_ERROR_TEMP_0043分配适当的错误条件： INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] 为 StructsToJson 提供代码生成支持（to_json）
• [SPARK-50055] [SC-180978][sql] 添加 TryMakeInterval 替代项
• [SPARK-50397] [SC-182367][core] 从 --ip 中删除已弃用的 -i 和 Master/Worker 参数
• [SPARK-50238] [SC-181434][python] 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中添加变体支持
• [SPARK-50079] [SC-179830][sql] 为 _LEGACY_ERROR_TEMP_2013分配适当的错误条件： NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][示例] 添加 submit-sql.sh REST API 示例
• [SPARK-49966] [SC-179501][sql] 使用 Invoke 实现 JsonToStructs（from_json）
• [SPARK-50302] [SC-182518][ss] 确保辅助索引大小与具有 TTL 的 TransformWithState 有状态变量的主索引大小相等
• [SPARK-50301] [SC-182241][ss][16.x] 使 TransformWithState 指标反映其直观含义
• [SPARK-50175] [SC-182140][sql] 更改排序规则优先计算
• [SPARK-50148] [SC-180292][sql] 使 StaticInvoke 与声明引发异常的方法兼容
• [SPARK-50280] [SC-181214][python] 重构结果排序和 compute_histcompute_hist 中的空箱填充
• [SPARK-50190] [SC-182458][python] 从直方图中删除 Numpy 的直接依赖项
• [SPARK-50382] [SC-182368][connect] 添加有关使用/扩展 Spark Connect 进行应用程序开发的常规信息的文档
• [SPARK-50296] [SC-181464][python][CONNECT] 避免在 Python Connect 客户端的 threadpool 中使用类属性
• [SPARK-49566] [SC-182239][sql] 为 EXTEND 运算符添加 SQL 管道语法
• [SPARK-50036] [SC-179533][core][PYTHON] 在 REPL shell 中包含SPARK_LOG_SCHEMA
• [SPARK-49859] [SC-178259][connect] 将 multiprocessing.ThreadPool 替换为 ThreadPoolExecutor
• [SPARK-50141] [SC-182378][python] 使 lpad 和 rpad 接受列类型参数
• [SPARK-50379] [SC-182142][sql] 修复 WindowExecBase 中的 DayTimeIntevalType 处理
• [SPARK-49954] [SC-179110][sql] 为 SchemaOfJson 提供代码生成支持（通过 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50398] [SC-182341][core] 在 Spark 脚本中，使用 ExitCode 0 处理 --help 的用例
• [SPARK-50377] [SC-182238][sql] 允许对可折叠的 RuntimeReplaceable 进行评估
• [SPARK-50241] [SC-181444][sql] 将 NullIntolerant Mixin 替换为 Expression.nullIntolerant 方法
• [SPARK-50084] [SC-179672][sql] 为 _LEGACY_ERROR_TEMP_3168分配适当的错误条件： MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] 为 _LEGACY_ERROR_TEMP_0038分配适当的错误条件： DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] 为 _LEGACY_ERROR_TEMP_1049分配适当的错误条件： INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] 将 _LEGACY_ERROR_TEMP_0039 集成到 UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [SC-182235][ss] 添加自定义指标，用于跟踪在 transformWithState 中进程初始状态的花费
• [SPARK-50029] [SC-179531][sql] 使 StaticInvoke 与返回 Any 的方法兼容
• [SPARK-49990] [SC-179497][sql] 提高 randStr 性能
• [SPARK-50048] [SC-179528][sql] 为 _LEGACY_ERROR_TEMP_2114分配适当的错误条件： UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] 将 _LEGACY_ERROR_TEMP_2104 转换为 INTERNAL_ERROR
• [SPARK-49665] [SC-180054][sql] 为字符串函数剪裁排序规则支持
• [SPARK-48549] [SC-176472][sql][PYTHON] 改进 SQL 函数 sentences
• [SPARK-50022] [SC-179503][core][UI] 修复MasterPage，以在禁用 UI 时隐藏应用 UI 链接
• [SPARK-50087] [SC-182152] 在 CASE WHEN 中针对 MsSqlServer 和未来的连接器可靠处理布尔表达式
• [SPARK-49991] [ SC-179481][sql] 使 HadoopMapReduceCommitProtocol 遵循“mapreduce.output.basename”生成文件名
• [SPARK-50038] [SC-179521][sql] 为 _LEGACY_ERROR_TEMP_0008分配适当的错误条件： MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] 为 _LEGACY_ERROR_TEMP_1156分配适当的错误条件： COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] 修复 ApplicationPage 以便在禁用 UI 时隐藏应用 UI 链接
• [SPARK-49911] [SC-179111][sql] 修复支持二进制相等性的语义
• [SPARK-50025] [SC-179496][sql] 将 _LEGACY_ERROR_TEMP_1253 集成到 EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [SC-179480][ss] 修复优化在流与流联接中向状态存储添加输入时的 bug
• [SPARK-50004] [SC-179499][sql] 将 _LEGACY_ERROR_TEMP_3327 集成到 FIELD_NOT_FOUND
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator 应遵循 ConstantFolding 中的协定
• [SPARK-50340] [ SC-181859][sql] 在 INSERT 输入查询中解包 UDT
• [SPARK-50237] [SC-181660][sql] 为 _LEGACY_ERROR_TEMP_2138-9分配适当的错误条件： CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] 修复 AQE 优化后的输出列顺序更改问题
• [SPARK-49773] [SC-178369][sql] 来自 make_timestamp() 的未捕获 Java 异常，有时区错误
• [SPARK-49977] [SC-179265][sql] 使用基于堆栈的迭代计算以避免为深层表达式树创建许多 Scala List 对象
• [SPARK-50153] [ SC-181591][sql] 添加 name 以 RuleExecutor 使打印 QueryExecutionMetrics的日志更清晰
• [SPARK-50320] [SC-181668][core] 通过删除 --remote 的警告，将 experimental 作为正式选项
• [SPARK-49909] [SC-179492]还原“[SQL] 修复一些表达式的友好名称”
• [SPARK-50330] [SC-180720][sc-181764][SQL] 向排序和窗口节点添加提示
• [SPARK-50364] [SC-182003][sql] 在 Row.jsonValue 中实现 LocalDateTime 类型的序列化
• [SPARK-50016] [SC-182139][sql] 为 _LEGACY_ERROR_TEMP_2067分配适当的错误条件： UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][python][SS] 支持用于 TransformWithStateInPandas 的 deleteIfExists
• [SPARK-49757] [ SC-177824][sql] 在 SET CATALOG 语句中支持 IDENTIFIER 表达式
• [SPARK-50315] [SC-181886][sql] 支持用于 V1Fallback 写入的自定义指标
• [SPARK-42838] [SC-181509][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] 重构 ResolveSQLOnFile
• [SPARK-48344] [SC-181967][sql] 准备 SQL 脚本以添加执行框架
• [SPARK-49345] [SC-174786][connect] 确保使用当前运行的 Spark 会话
• [SPARK-49925] [SC-178882][sql] 为使用排序字符串进行排序添加测试
• [SPARK-50167] [SC-181199][python][CONNECT] 改进 PySpark 绘图错误提示和导入
• [SPARK-49368] [SC-174999][connect] 避免直接访问 protobuf lite 类
• [SPARK-50056] [SC-181378][sql] 为 ParseUrl 提供代码生成支持（由 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-49601] [SC-180770][ss][PYTHON] 支持 TransformWithStateInPandas 的初始状态处理
• [SPARK-49908] [SC-178768][sql] 为_LEGACY_ERROR_TEMP_0044分配正确的错误条件
• [SPARK-50144] [SC-180307][ss] 解决使用 DSv1 流式处理源在指标计算方面的局限性
• [SPARK-49874] [SC-178303][sql] 删除 trim 和 ltrim 归类规则说明符。
• [SPARK-49513] [SC-180339][ss] 在 transformWithStateInPandas API 中添加对计时器的支持
• [SPARK-49119] [SC-175607][sql] 修复 v1 和 v2 之间的语法 show columns 不一致问题
• [SPARK-49206] [SC-173704][core][UI] 将 Environment Variables 环境变量表添加到主环境页面EnvironmentPage
• [SPARK-49934] [SC-179581][sql] 添加隐式强制转换以使用字面值访问已排序的映射
• [SPARK-50049] [SC-181659][sql] 支持将自定义驱动程序指标写入 v2 表
• [SPARK-50171] [SC-180295][python] 将 numpy 在 KDE 绘图中设置为可选
• [SPARK-49962] [SC-179320][sql] 简化 AbstractStringTypes 类层次结构
• [SPARK-50226] [SC-181483][sql] 更正 MakeDTInterval 和 MakeYMInterval 以捕获 Java 异常
• [SPARK-48775] [SC-170801][sql][STS] 将 SQLContext 替换为 STS 中的 SparkSession
• [SPARK-49015] [SC-175688][core] Connect Server 应遵循 spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][sql][16.x] 提取函数解析，以便在单遍分析器中重复使用
• [SPARK-49995] [SC-180762][sql] 向更多 TVF 添加命名参数支持
• [SPARK-49268] [SC-174903][core] SHS 历史记录提供程序中的日志 IO 异常
• [SPARK-48123] [SC-164989][core] 提供用于查询结构化日志的常量表架构
• [SPARK-49217] [SC-174904][core] 在 UnsafeShuffleWriter 中支持单独的缓冲区大小配置
• [SPARK-50325] [SC-181664][sql][16.x] 提取别名解析，以便在单遍分析器中重复使用
• [SPARK-50322] [SC-181665][sql] 修复子查询中的参数化标识符
• [SPARK-48400] [SC-175283][core] 将 PrometheusServlet 提升为 DeveloperApi
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50306] [SC-181564][python][CONNECT] 在 Spark Connect 中支持 Python 3.13
• [SPARK-50152] [SC-181264][ss] 支持使用状态数据源读取器的 handleInitialState
• [SPARK-50260] [SC-181271][connect] 重构和优化 Spark C...
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver： 将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-49312] [SC-174672][python] 改进 assertSchemaEqual 的错误消息
• [SPARK-49439] [SC-175236][sql] 修复 FromProtobuf 和 ToProtobuf 表达式的友好名称
• [SPARK-50092] [ES-1258521] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-49913] [SC-181565][sql] 添加对嵌套标记范围中唯一标签名称的检查
• [SPARK-49563] [ SC-181465][sql] 为 WINDOW 运算符添加 SQL 管道语法
• [SPARK-49661] [SC-179021][sql] 实现剪裁排序规则哈希和比较。
• [SPARK-38912] [SC-181543][python] 删除与 classmethod 和属性相关的注释
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB 强化] 改进 RocksDB SST 文件映射管理，并修复了使用现有快照重新加载同一版本的问题
• [SPARK-49002] 还原“[SC-172846][sql] 一致性地处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
• [SPARK-49668] [SC-178268][sql] 实现对剪裁排序规则的排序规则键支持
• [SPARK-50262] [SC-181193][sql] 在更改排序规则时禁止指定复杂类型
• [SPARK-48898] [SC-181435][sql] 添加 Variant 分解函数
• [SPARK-48273] [SC-181381] 还原“[SQL] 修复了 PlanWithUnresolvedIdentifier 的后期重写”
• [SPARK-50222] [SC-180706][core] 支持 spark.submit.appName
• [SPARK-50208] [SC-180662][core] 支持 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 函数的替代方案应为 NullIntolerant
• [SPARK-50247] [SC-180962][core] 将 BLOCK_MANAGER_REREGISTRATION_FAILED 定义为 ExecutorExitCode
• [SPARK-50282] [SC-181221][ml] 简化 TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] 允许 TransformWithState 运算符使用 Avro 编码
• [SPARK-50267] [SC-181180][ml] 使用数据帧 API 改进 TargetEncoder.fit
• [SPARK-37178] [SC-180939][ml] 向 ml.feature 添加目标编码
• [SPARK-50118] [SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] 使使用 np.int8 的 lit(ndarray) 符合 numpy 数据类型
• [SPARK-50256] [SC-181048][sql] 添加轻量级验证，以检查每个优化程序规则后逻辑计划是否变成未解析状态
• [SPARK-50196] [SC-180932][connect] 修复 Python 错误上下文以使用正确的上下文
• [SPARK-50274] [SC-181181][core] 防止 DirectByteBufferOutputStream 中的 use-after-close
• [SPARK-49999] [ SC-180063][python][CONNECT] 支持 box、kde 和 hist 绘图中的可选“column”参数
• [SPARK-50273] [SC-181178][ss] 改进 RocksDB 锁获取/释放场景的日志记录
• [SPARK-50033] [SC-180720][sc-180659][SQL] 向 logical.Aggregate() 节点添加提示。
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] 修复 RocksDB 因完成侦听器导致的额外 acquireLock 释放
• [SPARK-50253] [SC-180969][ss] Stream-Stream 如果不支持，则 Join 不应提取检查点 ID。
• [SPARK-50255] [SC-180964][python] 避免 compute_hist 中不必要的强制转换
• [SPARK-50228] [SC-180780][sql] 将 RewriteCollationJoin 规则移动到 FinishAnalysis
• [SPARK-50001] [SC-179524][python][PS][connect] 调整“精度”以作为盒状图的 kwargs 的一部分
• [SPARK-49637] [SC-180160][sql] 更改了 INVALID_FRACTION_OF_SECOND 的错误消息
• [SPARK-49530] [SC-180658][python] 从数据帧获取活动会话
• [SPARK-50195] [SC-180654][core] 修复了 StandaloneRestServer 以正确将 spark.app.name 传播到 SparkSubmit
• [SPARK-50229] [SC-180773] 通过减少在逻辑规划期间创建的 AttributeReference 对象的生存期，减少驱动程序上宽架构的内存使用量
• [SPARK-50231] [SC-180815][python] 使函数 instr 接受列 substring
• [SPARK-49854] [SC-179812][16.x][SQL] 在会话克隆期间克隆项目管理程序
• [SPARK-50219] [SC-180694][sql] 重构 ApplyCharTypePadding，以便在单遍解析器中可以使用帮助程序
• [SPARK-50077] [SC-179827][sql] 引入了逻辑关系的新模式对象，以帮助避免默认的完整参数模式
• [SPARK-50128] [Backport][16x][SC-180677][ss] 在 Scala 中使用隐式编码器添加有状态处理器句柄 API
• [SPARK-50061] [SC-179961][sql] 为排序列启用分析表
• [SPARK-49993] [SC-180084][sql] 改进 Sum 和 Average 的错误消息
• [SPARK-49638] [SC-179665][sql] 删除 INVALID_URL 中的 ANSI 配置建议
• [SPARK-50204] [SC-180660][sql] 提取 HiveTableRelation 读取路径解析
• [SPARK-50193] [SC-180651][ss] 修复了验证时间模式的异常处理
• [SPARK-50179] [SC-180342][core] 使 REST API 中的 spark.app.name 属性可选
• [SPARK-50068] [SC-180300][sql] 重构 TypeCoercion 和 AnsiTypeCoercion 以分隔单节点转换
• [SPARK-49411] [SC-179483][ss] 在驱动程序和有状态运算符之间传递状态存储检查点 ID
• [SPARK-50124] [ SC-180294][sql] LIMIT/OFFSET 应保留数据排序
• [SPARK-49506] [SC-180165][sql] 优化用于可折叠数组的 ArrayBinarySearch
• [SPARK-50097] [SC-179908][sql] 为 _LEGACY_ERROR_TEMP_1248分配适当的错误条件： ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] 添加 try_make_timestamp(_ltz and _ntz) 和相关测试
• [SPARK-50054] [SC-180228][python][CONNECT] 支持直方图
• [SPARK-50015] [SC-179964][sql] 为 _LEGACY_ERROR_TEMP_1125分配适当的错误条件： MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] 将 scala 和 java 文件移动到其默认文件夹
• [SPARK-49980] [SC-180353][core][SQL] 修复因已取消任务中断而导致的潜在文件流泄漏
• [SPARK-49010] [SC-172304][sql][XML] 为 XML 架构推理区分大小写添加单元测试
• [SPARK-49562] [SC-180211][sql] 为聚合添加 SQL 管道语法
• [SPARK-49663] [SC-180239][sql] 在排序规则表达式中启用 RTRIM 建议
• [SPARK-48965] [SC-175926][sql] 在 Dataset#toJSON 中使用正确的架构
• [SPARK-48493] [SC-175893][python] 使用直接箭头批处理支持增强 Python 数据源读取器以提高性能
• [SPARK-49734] [SC-180226][python] 为函数 seed 添加 shuffle 参数
• [SPARK-50174] [16.x][sc-180253][SQL] 提取 UnresolvedCatalogRelation 解析
• [SPARK-49989] [SC-179512][python][CONNECT] 支持 KDE 图/密度图
• [SPARK-49805] [SC-180218][sql][ML] 从 function.scala 中删除 private[xxx] 函数
• [SPARK-49808] [SC-179490][sql] 修复由于 lazy val 导致的子查询执行中的死锁问题
• [SPARK-49929] [SC-180144][python][CONNECT] 支持箱图
• [SPARK-50008] [SC-179290][ps][CONNECT] 避免在 attach_distributed_sequence_column 中执行不必要的操作
• [SPARK-49767] [SC-180161][ps][CONNECT] 重构内部函数调用
• [SPARK-49683] [SC-178341][sql] 块剪裁排序规则
• [SPARK-49939] [SC-178941][sql] 为 json_object_keys 提供代码生成支持（由 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50031] [SC-179582][sql] 添加 TryParseUrl 表达式
• [SPARK-49766] [SC-178933][sql] 为 json_array_length 提供代码生成支持（由 Invoke 以及 RuntimeReplaceable 实现）
• [SPARK-50046] [SC-180026][ss] 使用 EventTimeWatermark 节点的稳定顺序计算水印
• [SPARK-49540] [SC-180145][ps] 统一使用 distributed_sequence_id
• [SPARK-50060] [SC-179965][sql] 已禁用在 TypeCoercion 和 AnsiTypeCoercion 中的不同排序类型之间转换
• [SPARK-49004] [SC-173244][connect] 对 Column API 内部函数使用单独的注册表
• [SPARK-49811] [SC-177888][sql]重命名 StringTypeAnyCollation
• [SPARK-49202] [SC-180059][ps] 为直方图应用 ArrayBinarySearch
• [SPARK-49203] [SC-175734][sql] 为 java.util.Arrays.binarySearch 添加表达式
• [SPARK-50034] [SC-179816][core] 修复 SparkUncaughtExceptionHandler 中将致命错误误报为未捕获异常的问题
• [SPARK-50093] [SC-179836][sql] 使用 ICU 的排序规则应包括所用 ICU 库的版本信息
• [SPARK-49985] [SC-179644][sql] 删除对 Variant 中的间隔类型的支持
• [SPARK-49103] [SC-173066][core] 支持 spark.master.rest.filters
• [SPARK-50090] [SC-179819] 重构 ResolveBinaryArithmetic 以分隔单节点转换
• [SPARK-49902] [SC-179650][sql] 捕获 RegExpReplace 中的基础运行时错误
• [SPARK-49126] [SC-173342][core] 将 spark.history.ui.maxApplications 配置定义移动到 History.scala
• [SPARK-50094] [SC-179820][python][CONNECT] 在没有行号的编辑器上使用内存探查器时提供更好的错误消息
• [SPARK-50062] [SC-179835][sql] 支持依据 InSet 的排序规则
• [SPARK-50035] [Backport][16x][SC-179530][ss] 添加对有状态处理器的显式 handleExpiredTimer 函数部分的支持
• [SPARK-49982] [SC-179814][sql] 修复 InMemoryRelation 中的负缓存
• [SPARK-49082] [SC-173350][sql] 扩展 AvroDeserializer 中的类型提升
• [SPARK-50088] [SC-179680][sql] 重构 UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][ss] 对在有状态处理器中使用的映射和列表类型添加读取更改源支持
• [SPARK-49846] [SC-179506][ss] 添加 numUpdatedStateRows 和 numRemovedStateRows 指标以用于 transformWithState 运算符
• [SPARK-50050] [SC-179643][python][CONNECT][16.x] 使 lit 接受 str 和 bool 类型的 numpy ndarray
• [SPARK-49821] [SC-179527][ss][PYTHON] 实现对 TransformWithStateInPandas 的 MapState 和 TTL 支持
• [SPARK-49558] [ SC-179485][sql] 为 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 添加 SQL 管道语法
• [SPARK-48144] [SC-165725][lc-4080][SQL] 修复 canPlanAsBroadcastHashJoin 以遵循随机联接提示
• [SPARK-50051] [SC-179571][python][CONNECT] 确保 lit 能与空的 numpy ndarray 一起工作
• [SPARK-50018] [SC-179488][sql] 使 AbstractStringType 可序列化
• [SPARK-50016] [SC-179491][sql] 改进显式排序规则不匹配错误
• [SPARK-50010] [SC-179487][sql] 展开隐式排序规则不匹配错误
• [SPARK-48749] [SC-170116][sql] 简化 UnaryPositive 并使用 RuntimeReplaceable 消除其催化剂规则
• [SPARK-49857] [SC-178576][sql] 将 storageLevel 添加到数据集 localCheckpoint API
• [SPARK-50058] [SC-179538][sql] 提取计划规范化函数，以便稍后在单遍解析器测试中使用这些函数
• [SPARK-50052] [SC-179535][python][16.X] 使 NumpyArrayConverter 支持空 str ndarray
• [SPARK-47261] [SC-173665][sql] 为错误_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173和_LEGACY_ERROR_TEMP_1174分配更好的名称
• [SPARK-49147] [SC-173471][core] 将 KryoRegistrator 标记为 DeveloperApi 接口
• [SPARK-48949] [SC-173070][sql] SPJ： 运行时分区筛选
• [SPARK-50044] [SC-179523][python] 优化多个数学函数的文档字符串
• [SPARK-48757] [SC-170113][core] 使 IndexShuffleBlockResolver 具有显式构造函数
• [SPARK-50037] [SQL] 重构 AttributeSeq.resolve(…)
• [SPARK-48782] [SC-177056][sql] 添加对目录中执行过程的支持
• [SPARK-49057] [SC-173081][sql] 在提交查询阶段时不要阻止 AQE 循环
• [SPARK-48824] [SC-176772][behave-167][SQL] 添加标识列 SQL 语法
• [SPARK-48773] [SC-170773] 配置生成器框架的文档配置“spark.default.parallelism”
• [SPARK-48735] [SC-169810][sql] BIN 函数的性能改进
• [SPARK-48900] [SC-172433] 为作业/阶段取消的所有内部调用添加 reason 字段
• [SPARK-48488] [SC-167605][core] 修复 log[info|warning|error] 中的 SparkSubmit 方法
• [SPARK-48708] [SC-169809][core] 从 KryoSerializer 中删除三个不必要的类型注册
• [SPARK-49958] [SC-179312][python] 用于字符串验证函数的 Python API
• [SPARK-49979] [SC-179264][sql] 修复在失败计划上进行两次收集时出现的 AQE 挂起问题
• [SPARK-48729] [SC-169795][sql] 添加 UserDefinedFunction 接口来表示 SQL 函数
• [SPARK-49997] [SC-179279][sql] 将 _LEGACY_ERROR_TEMP_2165 集成到 MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [SC-179271][ss]读取 Kafka 时基于大小的分区创建
• [SPARK-48129] [SC-165006][python] 在 PySpark 中提供常量表架构，用于查询结构化日志
• [SPARK-49951] [SC-179259][sql] 为 LEGACY_ERROR_TEMP分配正确的错误条件（1099|3085）
• [SPARK-49971] [SC-179278][sql] 为_LEGACY_ERROR_TEMP_1097分配正确的错误条件
• [SPARK-49998] [SC-179277][sql] 将 _LEGACY_ERROR_TEMP_1252 集成到 EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [SC-179262][connect] 从 Spark Connect 服务中删除全局锁
• [SPARK-49957] [SC-179202][sql] 用于字符串验证函数的 Scala API
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener 不应受到 spark.interrupt() 的影响
• [SPARK-49643] [SC-179239][sql] 将_LEGACY_ERROR_TEMP_2042合并到ARITHMETIC_OVERFLOW
• [SPARK-49959] [SC-179109][sql] 修复 ColumnarArray.copy() 以从正确的偏移量读取空值
• [SPARK-49956] 还原“[SC-179070] 已使用 collect_set 表达式禁用排序规则”
• [SPARK-49987] [SC-179180][sql] 修复当 seedExpression 在 randstr 中不可折叠时出现的错误提示信息
• [SPARK-49948] [ SC-179158][ps][CONNECT] 在 Spark 框绘图上向 pandas 添加参数“精度”
• [SPARK-49970] [SC-179167][sql] 为_LEGACY_ERROR_TEMP_2069分配正确的错误条件
• [SPARK-49916] [SC-179108][sql] 为 ColumnType 和某些行中的数据类型之间的类型不匹配引发适当的异常
• [SPARK-49956] [SC-179070] 已使用 collect_set 表达式禁用排序规则
• [SPARK-49974] [16.x][sc-179071][SQL] 将 resolveRelations（...） 移出 Analyzer.scala
• [SPARK-47259] [SC-176437][sql] 为间隔错误的错误条件分配名称
• [SPARK-47430] [SC-173679][sql] 按映射类型重新分组以修复绑定引用异常
• [SPARK-49067] [SC-172616][sql] 将 utf-8 文本移动到 UrlCodec 类的内部方法中
• [SPARK-49955] [SC-178989][sql] null 值并不意味着分析 JSON 字符串 RDD 时损坏的文件
• [SPARK-49393] [SC-175212][sql] 在已弃用的目录插件 API 中，默认情况为失败
• [SPARK-49952] [SC-178985][sql] 为_LEGACY_ERROR_TEMP_1142分配正确的错误条件
• [SPARK-49405] [SC-175224][sql] 限制 JsonOptions 中的字符集
• [SPARK-49892] [SC-178975][sql] 为 _LEGACY_ERROR_TEMP_1136 分配正确的错误类
• [SPARK-49904] [SC-178973][sql] 为_LEGACY_ERROR_TEMP_2140分配正确的错误条件
• [SPARK-47257] [SC-174244][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_105[3-4] 和_LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][sql] 处理 ReorderAssociativeOperator 中的 0 和 1
• [SPARK-49891] [SC-178970][sql] 为_LEGACY_ERROR_TEMP_2271分配正确的错误条件
• [SPARK-49918] [SC-178748][core] 在 SparkContext 中适当情况下使用对配置的只读访问权限
• [SPARK-49666] [SC-177891][sql] 为剪裁排序规则功能添加功能标志
• [SPARK-48885] [SC-171050][sql] 使 RuntimeReplaceable 的一些子类重写替换为 lazy val
• [SPARK-49932] [SC-178931][core] 使用 tryWithResource 发布 JsonUtils#toJsonString 资源以避免内存泄漏
• [SPARK-49949] [SC-178978][ps] 避免在 attach_sequence_column 中执行不必要的分析任务
• [SPARK-49924] [SC-178935][sql] 替换 containsNull 后保留 ArrayCompact
• [SPARK-49121] [SC-174787][sql] 对 SQL 函数的 from_protobuf 和 to_protobuf 提供支持
• [SPARK-47496] [SC-160529][sql] Java SPI 支持动态 JDBC 方言注册
• [SPARK-49359] [SC-174895][sql] 允许 StagedTableCatalog 实现回退至非原子写入
• [SPARK-49895] [ SC-178543][sql][ES-1270338] 在 SELECT 子句中遇到尾随逗号时改进错误
• [SPARK-47945] [SC-163457][sql] MsSQLServer： 文档映射 Microsoft SQL Server 中的 Spark SQL 数据类型并添加测试
• [SPARK-46037] [SC-175495][sql] 对未使用代码生成的随机哈希联接版本左侧的正确性修复
• [SPARK-47813] [SC-162615][sql] 将 getArrayDimension 替换为 updateExtraColumnMeta
• [SPARK-49542] [SC-178765][sql] 分区转换异常评估错误
• [SPARK-47172] [SC-169537][core] 添加对 RPC 加密 AES-GCM 的支持
• [SPARK-47666] [SC-161476][sql] 将 mysql 位数组读取为 LongType 时修复 NPE
• [SPARK-48947] [SC-174239][sql] 使用小写字符集名称减少 Charset.forName 中缺少的缓存
• [SPARK-49909] [SC-178552][sql] 修复某些表达式的漂亮名称
• [SPARK-47647] [SC-161377][sql] 将 MySQL 数据源能够读取 bit(n>1) 作为 BinaryType 数据类型，如同在 Postgres 中一样。
• [SPARK-46622] [SC-153004][core] 替代 toString 的 o.a.s.network.shuffledb.StoreVersion 方法
• [SPARK-48961] [SC-171910][python] 使 PySparkException 的参数命名与 JVM 一致
• [SPARK-49889] [SC-178474][python] 为函数添加参数 trimtrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] 修复 MySQL 连接器/J 上的错误数据类型映射
• [SPARK-47628] [ SC-161257][sql] 修复 Postgres 位数组问题“无法强制转换为布尔值”
• [SPARK-49843] [SC-178084][es-1268164][SQL] 修复 char/varchar 列的更改注释
• [SPARK-49549] [SC-178764][sql] 将名称分配给错误条件 _LEGACY_ERROR_TEMP_3055,3146
• [SPARK-49791] [SC-177730][sql] 使 DelegatingCatalogExtension 更具扩展性
• [SPARK-49559] [SC-178551][sql] 为集合操作添加 SQL 管道语法
• [SPARK-49906] [SC-178536][sql] 为 PartitioningUtils 引入和使用 CONFLICTING_DIRECTORY_STRUCTURES 的错误
• [SPARK-49877] [SC-178392][sql] 更改 classifyException 函数签名：增加 isRuntime 参数
• [SPARK-47501] [SC-160532][sql] 为 JdbcDialect 添加类似于现有 convertTimestampToTimestamp 的 convertDateToDate
• [SPARK-49044] [SC-175746][sql] ValidateExternalType 应返回 child in error
• [SPARK-47462] [SC-160460][sql] 将其他无符号数值类型的映射与 MySQLDialect 中的 TINYINT 对齐
• [SPARK-47435] [SC-160129][sql] 修复 SPARK-45561 引起的 MySQL UNSIGNED TINYINT 溢出问题
• [SPARK-49398] [ SC-176377][sql] 改进了 CACHE TABLE 和 CREATE VIEW 查询中的参数的错误
• [SPARK-47263] [SC-177012][sql] 为旧条件分配名称_LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] 修复当 ascendingOrder 中 DataTypeMismatch 为 SortArray 时的提示信息
• [SPARK-49806] [SC-178304][sql][CONNECT] 在 blank space 和 show 客户端中展示 Scala 后删除冗余空白空间 Connect
• [SPARK-47258] [SC-175032][sql] 为错误类 _LEGACY_ERROR_TEMP_127[0-5] 分配名称
• [SPARK-49564] [ SC-178461][sql] 为 JOIN 运算符添加 SQL 管道语法
• [SPARK-49836] [SC-178339][sql][SS] 修复提供窗口给 window/session_window fn 时可能损坏的查询
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] 处理 Postgres 和 MySQL 的 SQL 时间戳映射
• [SPARK-49776] [SC-177818][python][CONNECT] 支持饼图
• [SPARK-49824] [SC-178251][ss][CONNECT] 改进 SparkConnectStreamingQueryCache 中的日志记录
• [SPARK-49894] [SC-178460][python][CONNECT] 优化列字段操作的字符串表示形式
• [SPARK-49764] [SC-177491][python][CONNECT] 支持面积图
• [SPARK-49694] [SC-177376][python][CONNECT] 支持散点图
• [SPARK-49744] [SC-178363][ss][PYTHON] 在 TransformWithStateInPandas 中实现对 ListState 的 TTL 支持
• [SPARK-49879] [SC-178334][core] 将 TransportCipherUtil 移动到单独的文件以消除 Java 编译警告
• [SPARK-49866] [SC-178353][sql] 改进了描述包含分区列的表的错误消息
• [SPARK-49867] [SC-178302][es-1260570][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
• [SPARK-49607] [SC-177373][python] 更新基于采样生成图表的采样方法
• [SPARK-49626] [SC-177276][python][CONNECT] 支持水平条形图和垂直条形图
• [SPARK-49531] [SC-177770][python][CONNECT] 支持使用 plotly 后端的线条图
• [SPARK-49444] [SC-177692][es-1203248][SQL] 修改了 UnivocityParser，使由 ArrayIndexOutOfBounds 引发的运行时异常提供更面向用户的信息。
• [SPARK-49870] [SC-178262][python] 在 Spark 经典版中添加 Python 3.13 支持
• [SPARK-49560] [ SC-178121][sql] 为 TABLESAMPLE 运算符添加 SQL 管道语法
• [SPARK-49864] [SC-178305][sql] 改进 BINARY_ARITHMETIC_OVERFLOW 的信息
• [SPARK-48780] [SC-170274][sql] 将 NamedParametersSupport 中的错误处理泛型化，以便支持函数和过程
• [SPARK-49358] [SC-178158][sql] 具有排序字符串的映射类型的模式表达式
• [SPARK-47341] [SC-178157][sql] 修复 RuntimeConfig#get 的不准确文档
• [SPARK-48357] [SC-178153][sql] 对 LOOP 语句的支持
• [SPARK-49845] [SC-178059][core] 将 REST API 中的 appArgs 和 environmentVariables 设置为可选项
• [SPARK-49246] [ SC-174679][sql] TableCatalog#loadTable 应指示它是否用于写入
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] 添加了对 Scala 的客户端侦听器支持
• [SPARK-48700] [SC-177978][sql] 复杂类型的模式表达式（所有排序规则）
• [SPARK-48196] [SC-177899][sql] 将 QueryExecution lazy val 计划转换为 LazyTry
• [SPARK-49749] [16.x][sc-177877][CORE] 更改日志级别以在 BlockManagerInfo 中进行调试
• [SPARK-49561] [ SC-177897][sql] 为 PIVOT 和 UNPIVOT 运算符添加 SQL 管道语法
• [SPARK-49823] [SC-177885][ss] 在 rocksdb 关闭路径中避免关闭时刷新
• [SPARK-49820] [SC-177855] [PYTHON] 将 raise IOError 更改为 raise OSError
• [SPARK-49653] [SC-177266][sql] 相关标量子查询的单一联接
• [SPARK-49552] [ SC-177477][python] 为新的“randstr”和“uniform”SQL 函数添加 DataFrame API 支持
• [SPARK-48303] [16.x][sc-166251][CORE] 重新组织日志键
• [SPARK-49656] [16x][backport][SS] 添加对具有值状态集合类型和读取更改源选项的状态变量的支持
• [SPARK-48112] [SC-165129][connect] 向插件公开 SparkConnectPlanner 中的会话
• [SPARK-48126] [16.x][sc-165309][Core] 使 spark.log.structuredLogging.enabled 有效
• [SPARK-49505] [ SC-176873][sql] 创建新的 SQL 函数“randstr”和“uniform”以在范围内生成随机字符串或数字
• [SPARK-49463] [SC-177474] 为 TransformWithStateInPandas 支持 ListState
• [SPARK-48131] [SC-165007][core] 统一 MDC 密钥 mdc.taskName 和 task_name
• [SPARK-49557] [ SC-177227][sql] 为 WHERE 运算符添加 SQL 管道语法
• [SPARK-49323] [16.x][sc-174689][CONNECT] 将 MockObserver 从 Spark Connect Server 的测试文件夹移动到服务器的主文件夹
• [SPARK-49745] [SC-177501][ss] 添加变更以通过状态数据源读取器读取已注册的计时器
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] 删除 ColumnFamilyOptions 并将配置直接添加到 RocksDB 中的 dbOptions

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 16.1 维护更新。

系统环境

• 操作系统：Ubuntu 24.04.1 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15
• Python：3.12.3
• R：4.4.0
• Delta Lake： 3.2.1

已安装的 Python 库

已安装的 R 库

R 库是从 2024年8月4日的 Posit 包管理器 CRAN 快照中安装的：https://packagemanager.posit.co/cran/2024-08-04/src/contrib/PACKAGES。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）