Databricks Runtime 16.1 （EoS）

以下发行说明提供有关由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.1 的信息。

Databricks 于 2024 年 12 月发布了此版本。

行为更改

中断性变更：Photon 正则表达式处理现在与 Apache Spark 保持一致

在 Databricks Runtime 15.4 及更高版本中，Photon 中的正则表达式处理已更新，以匹配 Apache Spark 正则表达式处理的行为。 以前，Photon 运行的正则表达式函数（如 split() 和 regexp_extract()）接受 Spark 分析器拒绝的某些正则表达式。 为了保持 Apache Spark 的一致性，对于 Spark 认为无效的正则表达式，Photon 查询现在将失败。

由于此更改，如果 Spark 代码包含无效正则表达式，则可能会看到错误。 例如，表达式 split(str_col, '{')，它包含不匹配的大括号，之前会被 Photon 接受，但现在不会。 若要修复此表达式，可以转义大括号字符：split(str_col, '\\{')。

对于非 ASCII 字符的一些正则表达式匹配，Photon 和 Spark 行为也有所不同。 这也已更新，以便 Photon 特性与 Apache Spark 相匹配。

VARIANT 数据类型不能再用于需要比较的操作

在 Databricks Runtime 16.1 及更高版本中，不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符：

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

此外，不能使用这些 DataFrame 函数：

• df.dropDuplicates()
• df.repartition()

这些操作执行比较，以及使用 VARIANT 数据类型的比较会生成未定义的结果，并且 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT 类型，Databricks 建议进行以下更改：

• 更新查询或表达式，以将 VARIANT 值显式转换为非VARIANT 数据类型。
• 如果字段必须与上述任何操作一起使用，请从 VARIANT 数据类型中提取这些字段，并使用非VARIANT 数据类型存储这些字段。

若要了解详细信息，请参阅 查询变体数据。

新增功能和改进

• BigQuery 连接器升级
• Apache Spark 中的排序规则支持为公共预览版
• Delta Lake 中的排序规则支持为公共预览版
• LITE 真空模式为公共预览版
• 支持参数化 USE CATALOG with IDENTIFIER 子句
• 对表和视图的 COMMENT ON COLUMN 支持
• 新的 SQL 函数
• 更多函数的命名参数调用
• SYNC METADATA Hive 元存储支持 REPAIR TABLE 命令的参数
• 已压缩 Apache Arrow 批处理的增强数据完整性
• 在 Unity 目录标准访问模式计算（以前共享访问模式）上添加了对 Scala 方法的支持
• 内置 Teradata JDBC 驱动程序
• 对 Scala 的 StreamingQueryListener 支持
• 内置 Oracle JDBC 驱动程序
• 使用路径访问的 Delta 表的更详细错误

BigQuery 连接器升级

• Google BigQuery 连接器已升级为使用 开放源代码 Spark-BigQuery 连接器的版本 0.41.0。

• 适用于 Lakehouse 联合的 Google BigQuery 连接器现在使用 BigQuery 存储 API，而不是 JDBC 驱动程序。 此迁移解决了 JDBC 驱动程序的性能问题，并且基于开源 Spark-BigQuery 连接器。

  通过此更改，BigQuery 视图和外部表的中间查询结果必须写入临时表。 这些对象不会直接存储在 BigQuery 存储中。 临时表将存储在 BigQuery 计费项目中。 验证是否已在 BigQuery 服务帐户上设置适当的权限。

Apache Spark 中的排序规则支持为公共预览版

现在可以将语言感知、不区分大小写和不区分访问的排序规则分配给 STRING 列和表达式。 这些排序规则用于字符串比较、排序、分组操作，并且用在许多字符串函数中。 请参阅排序规则。

Delta Lake 中的排序规则支持为公共预览版

现在可以在创建或更改 Delta 表时为列定义排序规则。 请参阅对 Delta Lake 的排序规则支持。

LITE 真空模式为公共预览版

现在 VACUUM table_name LITE ，可以使用它执行轻量级清扫作，以利用 Delta 事务日志中的元数据。 请参阅 完整模式与精简模式 和 VACUUM。

支持对 USE CATALOG with IDENTIFIER 子句进行参数化

在 Databricks Runtime 16.1 及更高版本中，USE CATALOG 语句支持 IDENTIFIER 子句。 借助此支持，你可以根据字符串变量或参数标记来参数化当前目录。

对表和视图的 COMMENT ON COLUMN 支持

在 Databricks Runtime 16.1 及更高版本中， COMMENT ON 语句支持更改视图和表列的注释。

新的 SQL 函数

在 Databricks Runtime 16.1 及更高版本中，提供了以下新的内置 SQL 函数：

• dayname(expr) 会返回给定日期的星期几的三个字母英语首字母缩略词。
• uniform(expr1, expr2 [,seed]) 返回一个在指定数值范围内具有独立的同分布值的随机值。
• randstr（length） 返回一个包含 length 个字母数字字符的随机字符串。

更多函数的命名参数调用

在 Databricks Runtime 16.1 及更高版本中，以下函数支持 命名参数调用：

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

SYNC METADATA Hive 元存储支持 REPAIR TABLE 命令的参数

在 Databricks Runtime 16.1 及更高版本中，可以将 SYNC METADATA 参数与命令一起使用 REPAIR TABLE 来更新 Hive 元存储托管表的元数据。 请参阅 REPAIR TABLE。

已压缩 Apache Arrow 批处理的增强数据完整性

在 Databricks Runtime 16.1 及更高版本中，为了进一步防止数据损坏，每个 LZ4 压缩的箭头批处理现在都包含 LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。

在 Unity 目录标准访问模式计算（以前共享访问模式）上添加了对 Scala 方法的支持

在 Databricks Runtime 16.1 及更高版本中，在 Unity 目录标准访问模式计算中，添加了对以下 Scala 方法的支持：Dataset.flatMapGroups()和Dataset.mapGroups()DataStreamWriter.foreach()。

内置 Teradata JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Teradata JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

对 Scala 的 StreamingQueryListener 支持

现在可以 StreamingQueryListener 在配置标准访问模式的计算上使用 Scala。

内置 Oracle JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Oracle JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。 此驱动程序仅支持 Lakehouse 联盟。 对于其他用例，您需要提供自己的驱动程序。

使用路径访问的 Delta 表的更详细错误

使用路径访问的 Delta 表的新错误消息体验现已推出。 所有异常现在都转发给用户。 现在，DELTA_MISSING_DELTA_TABLE 异常被保留用于无法将基础文件读取为 Delta 表的情况。

其他更改

已重命名结构化流式处理源的 cloudFiles 错误代码

此版本包括重命名以下错误代码的更改：

• _LEGACY_ERROR_TEMP_DBR_0143 已重命名为 CF_INCORRECT_STREAM_USAGE。
• _LEGACY_ERROR_TEMP_DBR_0260 已重命名为 CF_INCORRECT_BATCH_USAGE 。

故障修复

嵌套类型现在正确接受 NULL 约束

此版本修复了一个影响某些 Delta 生成的嵌套类型列的错误，例如，STRUCT。 这些列有时会根据嵌套字段的 NULL 或 NOT NULL 约束错误地拒绝表达式。 此问题已修复。

库升级

• 升级后的 Python 库：
  • 从 0.0.198 到 0.0.201 的 ipyflow-core
  • pyccolo 从 0.0.52 到 0.0.65
• 升级后的 R 库：
• 升级后的 Java 库：
  • io.delta.delta-sharing-client_2.12 从 1.2.1 到 1.2.2
  • org.lz4.lz4-java 从 1.8.0 到 1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 到 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 16.0（EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-50482] [SC-182879][core] 弃用 no-op spark.shuffle.spill 配置
• [SPARK-50032] [ SC-182706][sql][16.x] 允许使用完全限定的排序规则名称
• [SPARK-50467] [SC-182823][python] 为内置函数添加__all__
• [SPARK-48898] [SC-182828][sql] 修复变体粉碎 bug
• [SPARK-50441] [ SC-182668][sql] 修复引用 CTE 时的参数化标识符不起作用
• [SPARK-50446] [ SC-182639][python] 箭头优化 Python UDF 中的并发级别
• [SPARK-50430] [ SC-182536][core] 使用标准 Properties.clone 而不是手动克隆
• [SPARK-50471] [ SC-182790][python] 支持基于箭头的 Python 数据源编写器
• [SPARK-50466] [ SC-182791][python] 优化字符串函数的文档字符串 - 第 1 部分
• [SPARK-50194] [ DBR16.x][sc-182593][SS][python] 将新的计时器 API 和初始状态 API 与计时器集成
• [SPARK-50437] [ SC-182586][ss] 减少在 TransformWithStateExec 中创建反序列化程序开销
• [SPARK-49676] [ DBR16.x][sc-182538][SS][python] 添加对链接 o...
• [SPARK-49294] [ SC-182730][ui] 为随机写入时间复选框添加宽度属性。
• [SPARK-50426] [ SC-182540][python] 使用内置数据源或 Java 数据源时避免静态 Python 数据源查找
• [SPARK-48356] [SC-182603][sql] FOR 语句的支持
• [SPARK-50333] [ SC-182136][sql] Codegen 支持 CsvToStructs （由 Invoke 和 RuntimeReplaceable）
• [SPARK-50285] [SC-182575] 提交到 StagedTable 实例的指标
• [SPARK-50081] [ SC-182344][sql] Codegen 支持 XPath*（by Invoke & RuntimeReplaceable）
• [SPARK-50440] [SC-182592] [SQL] 重构 AttributeSeq.resolveCandidates
• [SPARK-50067] [ SC-179648][sql] Codegen 对 SchemaOfCsv 的支持（by Invoke & RuntimeReplaceable）
• [SPARK-49873] [ SC-178577][sql] 修复错误测试后合并失败的问题
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-49873] [SC-178577][sql] 为 _LEGACY_ERROR_TEMP_1325 分配正确的错误类
• [SPARK-50381] [SC-182197][core] 支持 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] 添加 DAYNAME 函数
• [SPARK-50270] [ SC-181179][ss][PYTHON] 为 TransformWithStateInPandas 添加了自定义状态指标
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50075] [ SC-181820][sql][PYTHON][connect] 为表值函数添加 DataFrame API
• [SPARK-49470] [ SC-175736][ui] 将 dataTables 样式表和 javascript 从 1.13.5 更新到 1.13.11
• [SPARK-50235] 还原“[SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源”
• [SPARK-50324] [ SC-182278][python][CONNECT] 使 createDataFrame 触发器 Config RPC 最多一次
• [SPARK-50387] [ SC-182441][ss] 计时器到期和相关测试的更新条件
• [SPARK-50287] [ SC-182400][sql] 在 FileTable 中创建 WriteBuilder 时合并表和关系的合并选项
• [SPARK-50066] [ SC-181484][sql] Codegen 支持 SchemaOfXml （by Invoke 和 RuntimeReplaceable）
• [SPARK-50092] [ SC-181568][sql] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-50318] [ SC-181641][sql] 在解释和 codegen 之间将 IntervalUtils.makeYearMonthInterval 添加到重复数据删除代码
• [SPARK-50312] [ SC-181646][sql] SparkThriftServer createServer createServer 参数在 kerberos 为 true 时传递错误
• [SPARK-50246] [ SC-181468][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2167： INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [ SC-180692][sql] 来自 json/xml 的排序规则不应更改给定架构中的排序规则
• [SPARK-50250] [ SC-181466][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2075： UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [ SC-181467][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2058： INVALID_PARTITION_VALUE
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50235] [ SC-180786][sql] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
• [SPARK-50156] [SC-180781][sql] 集成到_LEGACY_ERROR_TEMP_2113UNRECOGNIZED_STATISTIC
• [SPARK-50069] [SC-180163][sql] 集成到_LEGACY_ERROR_TEMP_0028UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [ SC-180663][sql] 为 _LEGACY_ERROR_TEMP_0043： 分配适当的错误条件： INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [ SC-179534][sql] Codegen 支持 StructsToJson（to_json）
• [SPARK-50055] [ SC-180978][sql] 添加 TryMakeInterval 替代项
• [SPARK-50397] [ SC-182367][core] 从中删除已 --ip 弃用的参数和 -i 自变量 Master/Worker
• [SPARK-50238] [ SC-181434][python] 在 PySpark UDF/UDDF/UDAF 和 Python UC UDF 中添加变体支持
• [SPARK-50079] [ SC-179830][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2013： NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [ SC-180346][示例] 添加 submit-sql.sh REST API 示例
• [SPARK-49966] [ SC-179501][sql] 用于 Invoke 实现 JsonToStructs（from_json）
• [SPARK-50302] [ SC-182518][ss] 确保辅助索引大小等于具有 TTL 的 TransformWithState 有状态变量的主索引大小
• [SPARK-50301] [ SC-182241][ss][16.x] 使 TransformWithState 指标反映其直观含义
• [SPARK-50175] [ SC-182140][sql] 更改排序规则优先计算
• [SPARK-50148] [ SC-180292][sql] 与 StaticInvoke 声明引发异常的方法兼容
• [SPARK-50280] [ SC-181214][python] 重构结果排序和空箱填充 compute_hist
• [SPARK-50190] [ SC-182458][python] 从直方图中删除 Numpy 的直接依赖项
• [SPARK-50382] [ SC-182368][connect] 添加有关使用/扩展 Spark Connect 进行应用程序开发的常规信息的文档
• [SPARK-50296] [ SC-181464][python][CONNECT] 避免在 Python Connect 客户端的 threadpool 中使用类属性
• [SPARK-49566] [ SC-1822239][sql] 为 EXTEND 运算符添加 SQL 管道语法
• [SPARK-50036] [ SC-179533][core][PYTHON] 在 REPL shell 的上下文中包含SPARK_LOG_SCHEMA
• [SPARK-49859] [ SC-178259][connect] 替换多处理。ThreadPoolExecutor 的 ThreadPool
• [SPARK-50141] [SC-182378][python] 生成 lpad 和 rpad 接受列类型参数
• [SPARK-50379] [ SC-182142][sql] 修复 WindowExecBase 中的 DayTimeIntevalType 处理
• [SPARK-49954] [ SC-179110][sql] Codegen 对 SchemaOfJson 的支持（由 Invoke 和 RuntimeReplaceable）
• [SPARK-50398] [ SC-182341][core] 使用 ExitCode 0 在 --help Spark 脚本中使用
• [SPARK-50377] [ SC-182238][sql] 允许评估可折叠 RuntimeReplaceable
• [SPARK-50241] [ SC-181444][sql] 将 NullIntolerant Mixin 替换为 Expression.nullIntolerant 方法
• [SPARK-50084] [ SC-179672][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_3168： MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [ SC-179649][sql] 为以下项分配适当的错误条件 _LEGACY_ERROR_TEMP_0038： DUPLICATED_CTE_NAMES
• [SPARK-50057] [ SC-179573][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_1049： INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] 集成到_LEGACY_ERROR_TEMP_0039UNSUPPORTED_SQL_STATEMENT
• [SPARK-50378] [ SC-182235][ss] 添加用于在 transformWithState 中用于过程初始状态跟踪的自定义指标
• [SPARK-50029] [ SC-179531][sql] 与 StaticInvoke 返回的方法兼容 Any
• [SPARK-49990] [ SC-179497][sql] 提高性能 randStr
• [SPARK-50048] [ SC-179528][sql] 为 _LEGACY_ERROR_TEMP_2114以下项分配适当的错误条件： UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] 转换为_LEGACY_ERROR_TEMP_2104INTERNAL_ERROR
• [SPARK-49665] [ SC-180054][sql] 剪裁字符串函数的排序规则支持
• [SPARK-48549] [ SC-176472][sql][PYTHON] 改进 SQL 函数 sentences
• [SPARK-50022] [SC-179503][core][UI] 修复了禁用 UI 时隐藏应用 UI 链接的修复MasterPage
• [SPARK-50087] [ SC-182152] 在 CASE WHEN for MsSqlServer 和将来的连接器中可靠处理布尔表达式
• [SPARK-49991] [ SC-179481][sql] 使 HadoopMapReduceCommitProtocol 遵循“mapreduce.output.basename”生成文件名
• [SPARK-50038] [ SC-179521][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_0008： MERGE_WITHOUT_WHEN
• [SPARK-50236] [ SC-181671][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_1156： COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] 修复了禁用 UI 时隐藏应用 UI 链接的修复ApplicationPage
• [SPARK-49911] [ SC-179111][sql] 修复支持二进制相等性的语义
• [SPARK-50025] [SC-179496][sql] 集成到_LEGACY_ERROR_TEMP_1253EXPECT_VIEW_NOT_TABLE
• [SPARK-49829] [ SC-179480][ss] 修复了在流联接中向状态存储添加输入的优化 bug
• [SPARK-50004] [SC-179499][sql] 集成到_LEGACY_ERROR_TEMP_3327FIELD_NOT_FOUND
• [SPARK-50380] [ SC-182210][sql] ReorderAssociativeOperator 应遵守 ConstantFolding 中的协定
• [SPARK-50340] [ SC-181859][sql] 在 INSERT 输入查询中解包 UDT
• [SPARK-50237] [ SC-181660][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2138-9： CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [ SC-181993][sql] 修复 AQE 优化后输出列顺序更改的问题
• [SPARK-49773] [ SC-178369][sql] 使用错误的时区取消 make_timestamp() 捕获的 Java 异常
• [SPARK-49977] [ SC-179265][sql] 使用基于堆栈的迭代计算以避免为深层表达式树创建许多 Scala List 对象
• [SPARK-50153] [ SC-181591][sql] 添加 name 以 RuleExecutor 使打印 QueryExecutionMetrics的日志更清晰
• [SPARK-50320] [SC-181668][core] 通过删除experimental警告使--remote正式选项
• [SPARK-49909] [ SC-179492]还原“[SQL] 修复某些表达式的漂亮名称”
• [SPARK-50330] [ SC-180720][sc-181764][SQL] 向排序和窗口节点添加提示
• [SPARK-50364] [ SC-182003][sql] 在 Row.jsonValue 中实现 LocalDateTime 类型的序列化
• [SPARK-50016] [ SC-182139][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_2067： UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [ SC-181175][python][SS] 支持 transformWithStateInPandas 的 deleteIfExists
• [SPARK-49757] [ SC-177824][sql] 在 SET CATALOG 语句中支持 IDENTIFIER 表达式
• [SPARK-50315] [ SC-181886][sql] 支持 V1Fallback 写入的自定义指标
• [SPARK-42838] [ SC-181509][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] 重构 ResolveSQLOnFile
• [SPARK-48344] [ SC-181967][sql] 准备 SQL 脚本以添加执行框架
• [SPARK-49345] [ SC-174786][connect] 确保使用当前运行的 Spark 会话
• [SPARK-49925] [ SC-178882][sql] 使用排序字符串添加顺序测试
• [SPARK-50167] [ SC-181199][python][CONNECT] 改进 PySpark 绘制错误消息和导入
• [SPARK-49368] [ SC-174999][connect] 避免直接访问 protobuf lite 类
• [SPARK-50056] [ SC-181378][sql] Codegen 对 ParseUrl 的支持（由 Invoke 和 RuntimeReplaceable）
• [SPARK-49601] [ SC-180770][ss][PYTHON] 支持 TransformWithStateInPandas 的初始状态处理
• [SPARK-49908] [ SC-178768][sql] 为_LEGACY_ERROR_TEMP_0044分配正确的错误条件
• [SPARK-50144] [ SC-180307][ss] 解决 DSv1 流式处理源的指标计算限制
• [SPARK-49874] [ SC-178303][sql] 删除剪裁和 ltrim 排序规则说明符。
• [SPARK-49513] [ SC-180339][ss] 在 transformWithStateInPandas API 中添加对计时器的支持
• [SPARK-49119] [ SC-175607][sql] 修复 v1 和 v2 之间的语法 show columns 不一致问题
• [SPARK-49206] [SC-173704][core][UI] 将表添加到 Environment Variables Master EnvironmentPage
• [SPARK-49934] [ SC-179581][sql] 添加隐式转换以使用文本访问整理映射
• [SPARK-50049] [ SC-181659][sql] 支持写入 v2 表的自定义驱动程序指标
• [SPARK-50171] [SC-180295][python] 使 numpy 可选用于 KDE 绘图
• [SPARK-49962] [SC-179320][sql] 简化 AbstractStringTypes 类层次结构
• [SPARK-50226] [ SC-181483][sql] 更正 MakeDTInterval 和 MakeYMInterval 以捕获 Java 异常
• [SPARK-48775] [ SC-170801][sql][STS] 将 SQLContext 替换为 STS 中的 SparkSession
• [SPARK-49015] [ SC-175688][core] Connect Server 应遵循 spark.log.structuredLogging.enabled
• [SPARK-50327] [ SC-181667][sql][16.x] 在单次分析器中重复使用的分解函数解析
• [SPARK-49995] [ SC-180762][sql] 向更多 TVF 添加命名参数支持
• [SPARK-49268] [SC-174903][core] SHS 历史记录提供程序中的日志 IO 异常
• [SPARK-48123] [ SC-164989][core] 提供用于查询结构化日志的常量表架构
• [SPARK-49217] [ SC-174904][core] 在 UnsafeShuffleWriter 中支持单独的缓冲区大小配置
• [SPARK-50325] [ SC-181664][sql][16.x] 在单传递分析器中重复使用的排除别名解析
• [SPARK-50322] [ SC-181665][sql] 修复子查询中的参数化标识符
• [SPARK-48400] [SC-175283][core] 提升 PrometheusServlet 为 DeveloperApi
• [SPARK-50118] 还原“[SC-181259][connet] 在任务运行时重置隔离的状态缓存”
• [SPARK-50306] [ SC-181564][python][CONNECT] 在 Spark Connect 中支持 Python 3.13
• [SPARK-50152] [ SC-181264][ss] 支持使用状态数据源读取器处理InitialState
• [SPARK-50260] [ SC-181271][connect] 重构和优化 Spark C...
• [SPARK-47591] [ SC-163090][sql] Hive-thriftserver： 将带变量的 logInfo 迁移到结构化日志记录框架
• [SPARK-49312] [ SC-174672][python] 改进错误消息 assertSchemaEqual
• [SPARK-49439] [SC-175236][sql] 修复 & ToProtobuf 表达式的FromProtobuf漂亮名称
• [SPARK-50092] [ ES-1258521] 修复多维数组的 PostgreSQL 连接器行为
• [SPARK-49913] [ SC-181565][sql] 在嵌套标记作用域中添加对唯一标签名称的检查
• [SPARK-49563] [ SC-181465][sql] 为 WINDOW 运算符添加 SQL 管道语法
• [SPARK-49661] [ SC-179021][sql] 实现剪裁排序规则哈希和比较。
• [SPARK-38912] [ SC-181543][python] 删除与 classmethod 和属性相关的注释
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB 强化] 改进 RocksDB SST 文件映射管理，并修复了使用现有快照重新加载相同版本的问题
• [SPARK-49002] 还原“[SC-172846][sql] 始终处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
• [SPARK-49668] [ SC-178268][sql] 实现剪裁排序规则的排序规则键支持
• [SPARK-50262] [ SC-181193][sql] 更改排序规则期间禁止规范复杂类型
• [SPARK-48898] [SC-181435][sql] 添加 Variant 切碎函数
• [SPARK-48273] [ SC-181381]Revert “[SQL] 修复 PlanWithUnresolvedIdentifier 的后期重写
• [SPARK-50222] [SC-180706][core] 支持 spark.submit.appName
• [SPARK-50208] [SC-180662][core] 支持 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [ SC-180689][sql] IsValidUTF8 的替换项 |ValidateUTF8|TryValidateUTF8|MakeValidUTF8 应为 NullIntolerant
• [SPARK-50247] [SC-180962][core] 定义为BLOCK_MANAGER_REREGISTRATION_FAILEDExecutorExitCode
• [SPARK-50282] [SC-181221][ml] 简化 TargetEncoderModel.transform
• [SPARK-50112] [ SC-180763][sql] 允许 TransformWithState 运算符使用 Avro 编码
• [SPARK-50267] [SC-181180][ml] 使用 DataFrame API 改进TargetEncoder.fit
• [SPARK-37178] [SC-180939][ml] 向 ml.feature 添加目标编码
• [SPARK-50118] [ SC-181259][connet] 在任务运行时重置隔离的状态缓存
• [SPARK-50085] [ BEHAVE-176][sc-179809][PYTHON] 使用 np.int8 实现 lit(ndarray) numpy 数据类型
• [SPARK-50256] [ SC-181048][sql] 添加轻型验证以检查逻辑计划是否在每个优化器规则后未解析
• [SPARK-50196] [ SC-180932][connect] 修复 Python 错误上下文以使用正确的上下文
• [SPARK-50274] [ SC-181181][core] 防止 DirectByteBufferOutputStream 中的 use-after-close
• [SPARK-49999] [ SC-180063][python][CONNECT] 支持 box、kde 和 hist 绘图中的可选“column”参数
• [SPARK-50273] [ SC-181178][ss] 改进 RocksDB 锁获取/发布案例的日志记录
• [SPARK-50033] [ SC-180720][sc-180659][SQL] 向逻辑添加提示。Aggregate（） 节点
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] 修复 RocksDB Extra acquireLock 版本，因为完成侦听器
• [SPARK-50253] [ SC-180969][ss] Stream-Stream Join 如果不支持，则不应提取检查点 ID。
• [SPARK-50255] [ SC-180964][python] 避免不必要的强制转换 compute_hist
• [SPARK-50228] [SC-180780][sql] 将 RewriteCollationJoin 规则移动到 FinishAnalysis
• [SPARK-50001] [ SC-179524][python][PS][connect] 调整“精度”以成为盒状图的 kwargs 的一部分
• [SPARK-49637] [SC-180160][sql] 更改了INVALID_FRACTION_OF_SECOND的错误消息
• [SPARK-49530] [ SC-180658][python] 从数据帧获取活动会话
• [SPARK-50195] [SC-180654][core] 修复StandaloneRestServer以正确传播spark.app.name到SparkSubmit
• [SPARK-50229] [ SC-180773] 通过减少逻辑规划期间创建的 AttributeReference 对象的生存期，减少驱动程序上的内存使用率
• [SPARK-50231] [SC-180815][python] 使函数 instr 接受列 substring
• [SPARK-49854] [ SC-179812][16.x][SQL] 在会话克隆期间克隆项目管理器
• [SPARK-50219] [ SC-180694][sql] 重构 ApplyCharTypePadding ，以便在单传递解析程序中使用帮助程序方法
• [SPARK-50077] [ SC-179827][sql] 为 LogicalRelation 引入了新的模式对象，以帮助避免默认的完整参数模式
• [SPARK-50128] [ Backport][16x][SC-180677][ss] 在 Scala 中使用隐式编码器添加有状态处理器句柄 API
• [SPARK-50061] [ SC-179961][sql] 为排序列启用分析表
• [SPARK-49993] [ SC-180084][sql] 改进 Sum 和 Average 的错误消息
• [SPARK-49638] [ SC-179665][sql] 删除 INVALID_URL 中的 ANSI 配置建议
• [SPARK-50204] [ SC-180660][sql] 分解 HiveTableRelation 读取路径解析
• [SPARK-50193] [ SC-180651][ss] 修复了验证时间模式的异常处理
• [SPARK-50179] [ SC-180342][core] 在 REST API 中使 spark.app.name 属性可选
• [SPARK-50068] [ SC-180300][sql] 重构 TypeCoercion 和 AnsiTypeCoercion 分隔单节点转换
• [SPARK-49411] [ SC-179483][ss] 在驱动程序和有状态运算符之间通信状态存储检查点 ID
• [SPARK-50124] [ SC-180294][sql] LIMIT/OFFSET 应保留数据排序
• [SPARK-49506] [SC-180165][sql] 优化可折叠数组的 ArrayBinarySearch
• [SPARK-50097] [ SC-179908][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_1248： ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [ SC-180159][sql][PYTHON] 添加try_make_timestamp（_ltz和_ntz）和相关测试
• [SPARK-50054] [SC-180228][python][CONNECT] 支持直方图绘图
• [SPARK-50015] [ SC-179964][sql] 为 ： 分配适当的错误条件 _LEGACY_ERROR_TEMP_1125： MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [ SC-180240][3.5] 将 scala 和 java 文件移动到其默认文件夹
• [SPARK-49980] [ SC-180353][core][SQL] 修复因已取消任务中断而导致的潜在文件流泄漏
• [SPARK-49010] [ SC-172304][sql][XML] 为 XML 架构推理区分大小写添加单元测试
• [SPARK-49562] [ SC-180211][sql] 为聚合添加 SQL 管道语法
• [SPARK-49663] [SC-180239][sql] 在排序规则表达式中启用 RTRIM 建议
• [SPARK-48965] [ SC-175926][sql] 使用正确的架构 Dataset#toJSON
• [SPARK-48493] [ SC-175893][python] 使用直接箭头批处理支持增强 Python 数据源读取器以提高性能
• [SPARK-49734] [SC-180226][python] 添加 seed 函数参数 shuffle
• [SPARK-50174] [16.x][sc-180253][SQL] 分解未解析的CatalogRelation 解析
• [SPARK-49989] [ SC-179512][python][CONNECT] 支持 kde/密度绘图
• [SPARK-49805] [ SC-180218][sql][ML] 从中删除 private[xxx] 函数 function.scala
• [SPARK-49808] [ SC-179490][sql] 修复子查询执行中的死锁，因为延迟 vals
• [SPARK-49929] [ SC-180144][python][CONNECT] 支持框绘图
• [SPARK-50008] [ SC-179290][ps][CONNECT] 避免不必要的作 attach_distributed_sequence_column
• [SPARK-49767] [ SC-180161][ps][CONNECT] 重构内部函数调用
• [SPARK-49683] [SC-178341][sql] 阻止剪裁排序规则
• [SPARK-49939] [ SC-178941][sql] 对 json_object_keys 的 Codegen 支持（由 Invoke 和 RuntimeReplaceable）
• [SPARK-50031] [SC-179582][sql] 添加 TryParseUrl 表达式
• [SPARK-49766] [ SC-178933][sql] Codegen 支持 json_array_length （by Invoke & RuntimeReplaceable）
• [SPARK-50046] [ SC-180026][ss] 使用 EventTimeWatermark 节点的稳定顺序计算水印
• [SPARK-49540] [ SC-180145][ps] 统一使用 distributed_sequence_id
• [SPARK-50060] [ SC-179965][sql] 在 TypeCoercion 和 AnsiTypeCoercion 中禁用了不同排序类型之间的转换
• [SPARK-49004] [ SC-173244][connect] 对列 API 内部函数使用单独的注册表
• [SPARK-49811] [SC-177888][sql]Rename StringTypeAnyCollation
• [SPARK-49202] [SC-180059][ps] 申请 ArrayBinarySearch 直方图
• [SPARK-49203] [SC-175734][sql] 添加表达式 java.util.Arrays.binarySearch
• [SPARK-50034] [ SC-179816][core] 修复错误报告错误（如未捕获的异常） SparkUncaughtExceptionHandler
• [SPARK-50093] [ SC-179836][sql] 使用 ICU 的排序规则应具有已用 ICU 库的版本
• [SPARK-49985] [ SC-179644][sql] 删除对 Variant 中的间隔类型的支持
• [SPARK-49103] [SC-173066][core] 支持 spark.master.rest.filters
• [SPARK-50090] [ SC-179819] 重构 ResolveBinaryArithmetic 以分隔单节点转换
• [SPARK-49902] [ SC-179650][sql] 捕获基础运行时错误 RegExpReplace
• [SPARK-49126] [SC-173342][core] 将配置定义移动到spark.history.ui.maxApplicationsHistory.scala
• [SPARK-50094] [ SC-179820][python][CONNECT] 在没有行号的编辑器上使用内存探查器时，更好的错误消息
• [SPARK-50062] [ SC-179835][sql] 支持排序规则 InSet
• [SPARK-50035] [ Backport][16x][SC-179530][ss] 添加对有状态处理器的显式 handleExpiredTimer 函数部分的支持
• [SPARK-49982] [ SC-179814][sql] 修复 InMemoryRelation 中的负缓存
• [SPARK-49082] [ SC-173350][sql] 放大缩小字体功能 放大缩小字体功能 AvroDeserializer
• [SPARK-50088] [SC-179680][sql] 重构 UnresolvedStarBase.expand
• [SPARK-49802] [ SC-179482][ss] 添加对有状态处理器中使用的映射和列表类型的读取更改源的支持
• [SPARK-49846] [ SC-179506][ss] 添加 numUpdatedStateRows 和 numRemovedStateRows 指标以用于 transformWithState 运算符
• [SPARK-50050] [ SC-179643][python][CONNECT][16.x] 使 lit accept str 和 bool 类型 numpy ndarray
• [SPARK-49821] [ SC-179527][ss][PYTHON] 实现 TransformWithStateInPandas 的 MapState 和 TTL 支持
• [SPARK-49558] [ SC-179485][sql] 为 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 添加 SQL 管道语法
• [SPARK-48144] [ SC-165725][lc-4080][SQL] 修复 canPlanAsBroadcastHashJoin 以遵循随机联接提示
• [SPARK-50051] [ SC-179571][python][CONNECT] 使 lit 适用于空 numpy ndarray
• [SPARK-50018] [SC-179488][sql] 使 AbstractStringType 可序列化
• [SPARK-50016] [ SC-179491][sql] 改进显式排序规则不匹配错误
• [SPARK-50010] [ SC-179487][sql] 展开隐式排序规则不匹配错误
• [SPARK-48749] [ SC-170116][sql] 简化 UnaryPositive 并使用 RuntimeReplaceable 消除其催化剂规则
• [SPARK-49857] [ SC-178576][sql] 将 storageLevel 添加到数据集 localCheckpoint API
• [SPARK-50058] [ SC-179538][sql] 将计划规范化函数分解为以后使用单传递分析器测试中的函数
• [SPARK-50052] [ SC-179535][python][16.X] 使 NumpyArrayConverter 支持空 str ndarray
• [SPARK-47261] [ SC-173665][sql] 为错误_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173和_LEGACY_ERROR_TEMP_1174分配更好的名称
• [SPARK-49147] [ SC-173471][core] Mark KryoRegistrator with DeveloperApi 接口
• [SPARK-48949] [SC-173070][sql] SPJ： 运行时分区筛选
• [SPARK-50044] [ SC-179523][python] 优化多个数学函数的文档字符串
• [SPARK-48757] [SC-170113][core] 生成 IndexShuffleBlockResolver 显式构造函数
• [SPARK-50037] [SQL] 重构 AttributeSeq.resolve（...）
• [SPARK-48782] [ SC-177056][sql] 添加对目录中执行过程的支持
• [SPARK-49057] [ SC-173081][sql] 提交查询阶段时不要阻止 AQE 循环
• [SPARK-48824] [ SC-176772][行为-167][SQL] 添加标识列 SQL 语法
• [SPARK-48773] [ SC-170773] config “spark.default.parallelism” by config builder framework
• [SPARK-48735] [SC-169810][sql] BIN 函数的性能改进
• [SPARK-48900] [ SC-172433] 为作业/阶段取消的所有内部调用添加 reason 字段
• [SPARK-48488] [SC-167605][core] 修复了 中的方法log[info|warning|error]SparkSubmit
• [SPARK-48708] [ SC-169809][core] 从中删除三个不必要的类型注册 KryoSerializer
• [SPARK-49958] [ SC-179312][python] 用于字符串验证函数的 Python API
• [SPARK-49979] [ SC-179264][sql] 修复在失败计划上收集两次 AQE 挂起问题
• [SPARK-48729] [ SC-169795][sql] 添加 UserDefinedFunction 接口来表示 SQL 函数
• [SPARK-49997] [SC-179279][sql] 集成到_LEGACY_ERROR_TEMP_2165MALFORMED_RECORD_IN_PARSING
• [SPARK-49259] [ SC-179271][ss]kafka 读取期间基于大小的分区创建
• [SPARK-48129] [ SC-165006][python] 在 PySpark 中提供常量表架构，用于查询结构化日志
• [SPARK-49951] [ SC-179259][sql] 为 LEGACY_ERROR_TEMP分配正确的错误条件（1099|3085）
• [SPARK-49971] [ SC-179278][sql] 为_LEGACY_ERROR_TEMP_1097分配正确的错误条件
• [SPARK-49998] [SC-179277][sql] 集成到_LEGACY_ERROR_TEMP_1252EXPECT_TABLE_NOT_VIEW
• [SPARK-49876] [ SC-179262][connect] 从 Spark Connect 服务中删除全局锁
• [SPARK-49957] [SC-179202][sql] 用于字符串验证函数的 Scala API
• [SPARK-48480] [ SC-173055][ss][CONNECT] StreamingQueryListener 不应受到 spark.interrupt（）
• [SPARK-49643] [ SC-179239][sql] 将_LEGACY_ERROR_TEMP_2042合并到ARITHMETIC_OVERFLOW
• [SPARK-49959] [ SC-179109][sql] 修复 ColumnarArray.copy（） 以从正确的偏移量读取 null
• [SPARK-49956] 还原“[SC-179070] 禁用collect_set表达式的排序规则”
• [SPARK-49987] [ SC-179180][sql] 修复了不可折叠时 seedExpression 的错误提示 randstr
• [SPARK-49948] [ SC-179158][ps][CONNECT] 在 Spark 框绘图上向 pandas 添加参数“精度”
• [SPARK-49970] [ SC-179167][sql] 为_LEGACY_ERROR_TEMP_2069分配正确的错误条件
• [SPARK-49916] [ SC-179108][sql] 在某些行中引发 ColumnType 和数据类型不匹配的相应异常
• [SPARK-49956] [SC-179070] 禁用collect_set表达式的排序规则
• [SPARK-49974] [16.x][sc-179071][SQL] 将 resolveRelations（...） 移出 Analyzer.scala
• [SPARK-47259] [ SC-176437][sql] 将名称分配给间隔错误的错误条件
• [SPARK-47430] [ SC-173679][sql] 按映射类型重新工作组以修复绑定引用异常
• [SPARK-49067] [ SC-172616][sql] 将 utf-8 文本移动到 UrlCodec 类的内部方法中
• [SPARK-49955] [ SC-178989][sql] NULL 值并不意味着分析 JSON 字符串 RDD 时损坏的文件
• [SPARK-49393] [ SC-175212][sql] 在已弃用的目录插件 API 中默认失败
• [SPARK-49952] [ SC-178985][sql] 为_LEGACY_ERROR_TEMP_1142分配正确的错误条件
• [SPARK-49405] [SC-175224][sql] 限制 JsonOptions 中的字符集
• [SPARK-49892] [ SC-178975][sql] 为_LEGACY_ERROR_TEMP_1136分配正确的错误类
• [SPARK-49904] [ SC-178973][sql] 为_LEGACY_ERROR_TEMP_2140分配正确的错误条件
• [SPARK-47257] [ SC-174244][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_105[3-4] 和_LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [ SC-178869][sql] 处理 ReorderAssociativeOperator 中的零和 1
• [SPARK-49891] [ SC-178970][sql] 为_LEGACY_ERROR_TEMP_2271分配正确的错误条件
• [SPARK-49918] [SC-178748][core] 在适当情况下使用只读访问权限进行授予SparkContext
• [SPARK-49666] [ SC-177891][sql] 为剪裁排序规则功能添加功能标志
• [SPARK-48885] [ SC-171050][sql] 使 RuntimeReplaceable 替代的一些子类替换为延迟 val
• [SPARK-49932] [ SC-178931][core] 使用 tryWithResource 发布 JsonUtils#toJsonString 资源以避免内存泄漏
• [SPARK-49949] [ SC-178978][ps] 避免不必要的分析任务 attach_sequence_column
• [SPARK-49924] [SC-178935][sql] 替换后ArrayCompact保留containsNull
• [SPARK-49121] [SC-174787][sql] 支持 from_protobuf 和 to_protobuf SQL 函数
• [SPARK-47496] [ SC-160529][sql] Java SPI 支持动态 JDBC 方言注册
• [SPARK-49359] [ SC-174895][sql] 允许 StagedTableCatalog 实现回退到非原子写入
• [SPARK-49895] [ SC-178543][sql][ES-1270338] 在 SELECT 子句中遇到尾随逗号时改进错误
• [SPARK-47945] [ SC-163457][sql] MsSQLServer：文档映射 Microsoft SQL Server 中的 Spark SQL 数据类型并添加测试
• [SPARK-46037] [ SC-175495][sql] 没有 codegen 的随机哈希联接生成的正确性修复
• [SPARK-47813] [ SC-162615][sql] 将 getArrayDimension 替换为 updateExtraColumnMeta
• [SPARK-49542] [ SC-178765][sql] 分区转换异常评估错误
• [SPARK-47172] [ SC-169537][core] 添加对 RPC 加密 AES-GCM 的支持
• [SPARK-47666] [ SC-161476][sql] 将 mysql 位数组读取为 LongType 时修复 NPE
• [SPARK-48947] [ SC-174239][sql] 使用小写字符集名称减少 Charset.forName 中的缓存缺失
• [SPARK-49909] [ SC-178552][sql] 修复某些表达式的漂亮名称
• [SPARK-47647] [ SC-161377][sql] 使 MySQL 数据源能够读取位（n>1）作为 BinaryType（如 Postgres）
• [SPARK-46622] [SC-153004][core] 重写 toString 方法 o.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [ SC-171910][python] 使 PySparkException 的参数命名与 JVM 保持一致
• [SPARK-49889] [SC-178474][python] 为函数添加参数trimtrim/ltrim/rtrim
• [SPARK-47537] [ SC-160747][sql] 修复 MySQL 连接器/J 上的错误数据类型映射
• [SPARK-47628] [ SC-161257][sql] 修复 Postgres 位数组问题“无法强制转换为布尔值”
• [SPARK-49843] [ SC-178084][es-1268164][SQL] 修复对 char/varchar 列的更改注释
• [SPARK-49549] [ SC-178764][sql] 将名称分配给错误条件_LEGACY_ERROR_TEMP_3055,3146
• [SPARK-49791] [ SC-177730][sql] 使 DelegatingCatalogExtension 更具扩展性
• [SPARK-49559] [ SC-178551][sql] 为设置作添加 SQL 管道语法
• [SPARK-49906] [ SC-178536][sql] 介绍和使用 partitioningUtils CONFLICTING_DIRECTORY_STRUCTURES 错误
• [SPARK-49877] [ SC-178392][sql] 更改 classifyException 函数签名：add isRuntime 参数
• [SPARK-47501] [ SC-160532][sql] 添加 convertDateToDate，如现有的 convertTimestampToTimestamp for JdbcDialect
• [SPARK-49044] [SC-175746][sql] ValidateExternalType 应返回错误中的子级
• [SPARK-47462] [ SC-160460][sql] 将其他无符号数值类型的映射与 MySQLDialect 中的 TINYINT 对齐
• [SPARK-47435] [ SC-160129][sql] 修复 SPARK-45561 引起的 MySQL UNSIGNED TINYINT 溢出问题
• [SPARK-49398] [ SC-176377][sql] 改进了 CACHE TABLE 和 CREATE VIEW 查询中的参数的错误
• [SPARK-47263] [ SC-177012][sql] 将名称分配给旧条件_LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] 修复出现时的ascendingOrderDataTypeMismatch提示SortArray
• [SPARK-49806] [SC-178304][sql][CONNECT] 删除传入Scala和Connect客户端后的show冗余blank space
• [SPARK-47258] [ SC-175032][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [ SC-178461][sql] 为 JOIN 运算符添加 SQL 管道语法
• [SPARK-49836] [ SC-178339][sql][SS] 修复了窗口提供给 window/session_window fn 时可能损坏的查询
• [SPARK-47390] [ SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] 处理 Postgres 和 MySQL 的 SQL 时间戳映射
• [SPARK-49776] [ SC-177818][python][CONNECT] 支持饼图
• [SPARK-49824] [ SC-178251][ss][CONNECT] 改进 SparkConnectStreamingQueryCache 中的日志记录
• [SPARK-49894] [ SC-178460][python][CONNECT] 优化列字段作的字符串表示形式
• [SPARK-49764] [ SC-177491][python][CONNECT] 支持区域绘图
• [SPARK-49694] [SC-177376][python][CONNECT] 支持散点图
• [SPARK-49744] [ SC-178363][ss][PYTHON] 在 TransformWithStateInPandas 中实现对 ListState 的 TTL 支持
• [SPARK-49879] [ SC-178334][core] 移动到 TransportCipherUtil 单独的文件以消除 Java 编译警告
• [SPARK-49866] [ SC-178353][sql] 改进包含分区列的表描述错误消息
• [SPARK-49867] [ SC-178302][es-1260570][SQL] 在调用 GetColumnByOrdinal 时索引超出边界时改进错误消息
• [SPARK-49607] [ SC-177373][python] 更新基于采样的绘图的采样方法
• [SPARK-49626] [ SC-177276][python][CONNECT] 支持水平和垂直条形图
• [SPARK-49531] [ SC-177770][python][CONNECT] 支持具有绘图后端的线条绘图
• [SPARK-49444] [ SC-177692][es-1203248][SQL] 修改了 UnivocityParser 以引发 ArrayIndexOutOfBounds 引发具有更多面向用户的消息的运行时异常
• [SPARK-49870] [ SC-178262][python] 在 Spark 经典版中添加 Python 3.13 支持
• [SPARK-49560] [ SC-178121][sql] 为 TABLESAMPLE 运算符添加 SQL 管道语法
• [SPARK-49864] [ SC-178305][sql] 改进BINARY_ARITHMETIC_OVERFLOW的消息
• [SPARK-48780] [ SC-170274][sql] 在 NamedParametersSupport 泛型中出错以处理函数和过程
• [SPARK-49358] [ SC-178158][sql] 具有排序字符串的映射类型的模式表达式
• [SPARK-47341] [ SC-178157][sql] 修复 RuntimeConfig#get 的不准确文档
• [SPARK-48357] [SC-178153][sql] 对 LOOP 语句的支持
• [SPARK-49845] [SC-178059][core] 在 REST API 中生成 appArgs 和 environmentVariables 可选
• [SPARK-49246] [ SC-174679][sql] TableCatalog#loadTable 应指示它是否用于写入
• [SPARK-48048] [ SC-177525][sc-164846][CONNECT][ss] 添加了对 Scala 的客户端侦听器支持
• [SPARK-48700] [ SC-177978][sql] 复杂类型的模式表达式（所有排序规则）
• [SPARK-48196] [ SC-177899][sql] 将 QueryExecution lazy val 计划转换为 LazyTry
• [SPARK-49749] [16.x][sc-177877][CORE] 更改日志级别以在 BlockManagerInfo 中进行调试
• [SPARK-49561] [ SC-177897][sql] 为 PIVOT 和 UNPIVOT 运算符添加 SQL 管道语法
• [SPARK-49823] [ SC-177885][ss] 避免在 rocksdb 关闭路径中刷新
• [SPARK-49820] [SC-177855] [PYTHON] 更改为raise IOErrorraise OSError
• [SPARK-49653] [ SC-177266][sql] 相关标量子查询的单一联接
• [SPARK-49552] [ SC-177477][python] 为新的“randstr”和“uniform”SQL 函数添加 DataFrame API 支持
• [SPARK-48303] [16.x][sc-166251][CORE] Reorganize LogKeys
• [SPARK-49656] [ 16x][backport][SS] 添加对具有值状态集合类型和读取更改源选项的状态变量的支持
• [SPARK-48112] [ SC-165129][connect] 向插件公开 SparkConnectPlanner 中的会话
• [SPARK-48126] [16.x][sc-165309][Core] 使 spark.log.structuredLogging.enabled 有效
• [SPARK-49505] [ SC-176873][sql] 创建新的 SQL 函数“randstr”和“uniform”以在范围内生成随机字符串或数字
• [SPARK-49463] [ SC-177474] 支持 TransformWithStateInPandas 的 ListState
• [SPARK-48131] [SC-165007][core] 统一 MDC 密钥 mdc.taskName 和 task_name
• [SPARK-49557] [ SC-177227][sql] 为 WHERE 运算符添加 SQL 管道语法
• [SPARK-49323] [16.x][sc-174689][CONNECT] 将 MockObserver 从 Spark Connect Server 的测试文件夹移动到服务器的主文件夹
• [SPARK-49745] [ SC-177501][ss] 通过状态数据源读取器添加对读取已注册计时器的更改
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] 删除 ColumnFamilyOptions 并将配置直接添加到 RocksDB 中的 dbOptions

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序和升级（下载 ODBC， 下载 JDBC）。

请参阅 Databricks Runtime 16.1 维护更新。

系统环境

• 作系统：Ubuntu 24.04.1 LTS
  • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
• Java：Zulu17.54+21-CA
• Scala：2.12.15
• Python：3.12.3
• R：4.4.0
• Delta Lake：3.2.1

已安装的 Python 库

已安装的 R 库

R 库安装在 2024-08-04 上的 Posit 包管理器 CRAN 快照中： https://packagemanager.posit.co/cran/2024-08-04/src/contrib/PACKAGES

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）