Databricks Runtime 15.2 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.2 的相关信息。

Databricks 于 2024 年 5 月发布此版本。

行为更改

Vacuum 会清理 COPY INTO 元数据文件

在对使用写入的表上运行COPY INTO，现在可以清理与跟踪引入的文件相关的未引用元数据。 对 COPY INTO 的操作语义没有影响。

Lakehouse Federation 已正式发布 (GA)

在 Databricks Runtime 15.2 及更高版本中，Lakehouse Federation 连接器已正式发布 (GA)，支持以下数据库类型：

• MySQL
• PostgreSQL
• Amazon Redshift
• Snowflake
• Microsoft SQL Server
• Azure Synapse （SQL Data Warehouse）
• Databricks

此版本还引入了以下改进：

• 支持 Snowflake 和 Microsoft SQL Server 连接器中的单一登录（SSO）身份验证。

• 支持更多下推（字符串、数学和杂项函数）。

• 改进了不同查询形状的下推成功率。

• 其他下推调试功能：

  • EXPLAIN FORMATTED 输出显示下推的查询文本。
  • 查询配置文件界面显示下推的查询文本、联合节点标识符和 JDBC 查询执行时间（在详细模式下）。 请参阅查看系统生成的联合查询。

使用 BY POSITION 与无标头 CSV 文件进行列映射的 COPY INTO

在 Databricks Runtime 15.2 及更高版本中，可以将 BY POSITION 关键字（或替代语法 ( col_name [ , <col_name> ... ] )）与 COPY INTO 用于无标头 CSV 文件，以简化源列到目标表列的映射。 请参阅参数。

当 Spark 任务失败并出现 Resubmitted 错误时减少内存消耗

在 Databricks Runtime 15.2 及更高版本中，当任务失败并出现 TaskInfo.accumulables() 错误时，Spark Resubmitted 方法的返回值为空。 以前，该方法会返回先前成功任务尝试的值。 此行为更改会影响以下使用者：

• 使用 EventLoggingListener 类的 Spark 任务。
• 自定义 Spark 侦听器。

若要还原以前的行为，请将 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled 设置为 false。

已禁用查看自适应查询执行计划版本

为了减少内存消耗，现在在 Spark UI 中默认禁用自适应查询执行 (AQE) 计划版本。 若要在 Spark UI 中启用查看 AQE 计划版本，请将 spark.databricks.sql.aqe.showPlanChangesInUI.enabled 设置为 true。

降低了对保留查询的限制以减少 Spark UI 内存使用量

在 Databricks Runtime 15.2 及更高版本中，为了减少 Spark UI 在Azure Databricks计算中消耗的内存，UI 中可见的查询数限制从 1000 降低到 100。 若要更改限制，请使用 spark.sql.ui.retainedExecutions Spark 配置设置新值。

DESCRIBE HISTORY 现在会显示使用 liquid 聚类分析的表的聚类分析列

运行 DESCRIBE HISTORY 查询时，operationParameters 列默认显示 clusterBy 和 CREATE OR REPLACE 操作的 OPTIMIZE 字段。 对于使用 liquid 聚类的 Delta 表，clusterBy 字段将填充表的聚类列。 如果表不使用 liquid clustering，则字段为空。

笔记本控件语法已弃用

从 Databricks Runtime 15.2 开始，SQL 单元格中用于访问笔记本小组件值的 ${param} 语法已被弃用。 请改用参数标记语法（:param）。 参数标记语法提供更好的 SQL 注入保护和改进的查询性能。

了解迁移指南和示例，请参阅 旧版笔记本控件。 有关当前推荐方法的更多信息，请参阅 Databricks 小组件。

新增功能和改进

对主键和外键的支持已正式发布

Databricks Runtime 中对主键和外键的支持已正式发布。 GA 版本对使用主键和外键所需的权限进行了以下更改：

• 为了定义外键，您必须对外键所引用的主键所在的表具有 SELECT 权限。 你不需要拥有带有主键的表，这一点以前是必需的。
• 使用 CASCADE 子句删除主键时，不需要对定义引用该主键的外键的表具有权限。 以前，你需要拥有引用表。
• 现在，删除包含约束的表所需的权限与删除不包含约束的表所需的权限相同。

要了解如何对表或视图使用主键和外键，请参阅 CONSTRAINT 子句、ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。

liquid 聚类分析已正式发布

现在，Databricks Runtime 15.2 及更高版本已普遍支持 liquid 聚类。 请参阅对表使用 liquid 聚类分析。

类型扩展目前为公共预览版

现在，可以在基于 Delta Lake 的表上启用类型宽化。 启用了类型扩展的表允许将列的类型更改为更宽的数据类型，而无需重写基础数据文件。 请参阅类型扩展。

已将架构演变子句合并到 SQL 合并语法中

现在可以将 WITH SCHEMA EVOLUTION 子句添加到 SQL 合并语句，以便为操作启用架构演变。 请参阅“合并的架构演变语法”。

PySpark 自定义数据源以公共预览版提供

可以使用 Python （PySpark） DataSource API 创建 PySpark DataSource，该 API 允许从自定义数据源读取，并使用 Python 写入 Apache Spark 中的自定义数据接收器。 请参阅 PySpark 自定义数据源

applyInPandas 和 mapInPandas 现已在 Unity Catalog 计算中通过共享访问模式使用。

作为 Databricks Runtime 14.3 LTS 维护版本的一部分，applyInPandas 和 mapInPandas UDF 类型现在在运行 Databricks Runtime 14.3 及更高版本的共享访问模式计算上受支持。

使用 dbutils.widgets.getAll() 获取笔记本中的所有控件

使用 dbutils.widgets.getAll() 以获取笔记本中的所有小组件值。 当将多个小组件值传递给 Spark SQL 查询时，这尤其有用。

真空库存支持

现在可以指定在 Delta 表上运行 VACUUM 命令时要考虑的文件清单。 请参阅 OSS Delta 文档。

支持 Zstandard 压缩功能

现在可以使用 zst_compress、zstd_decompress 和 try_zstd_decompress 函数来压缩和解压缩 BINARY 数据。

缺陷修复

SQL UI 中的查询计划现在会正确显示 PhotonWriteStage

在 SQL UI 中显示时，查询计划中的 write 命令会错误地将 PhotonWriteStage 显示为运算符。 在此版本中，UI 已更新以将 PhotonWriteStage 显示为一个步骤。 这只是一项 UI 更改，不会影响查询的运行方式。

Ray 已更新以修复启动 Ray 群集的问题

此版本包含一个修补后的 Ray 版本，解决了阻止 Ray 群集与 Databricks 机器学习 Runtime 一起启动的问题。 此更改可确保 Ray 功能与 15.2 之前的 Databricks Runtime 版本相同。

更正了 DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的错误类

此版本加入了对 PySpark DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的更新，以确保当 ZERO_INDEX 作为索引参数传递时会引发 0 错误类。 以前引发的是错误类 INDEX_NOT_POSITIVE。

ipywidgets 已从 8.0.4 降级到 7.7.2

为了修复 Databricks Runtime 15.0 中由 ipywidgets 升级到 8.0.4 引入的错误，ipywidgets 已在 Databricks Runtime 15.2 中降级到 7.7.2。 这与以前 Databricks Runtime 版本中包含的版本相同。

软件库升级

• 升级Python库：

  • GitPython 已从 3.1.42 升级到 3.1.43
  • google-api-core 已从 2.17.1 升级到 2.18.0
  • google-auth 已从 2.28.1 升级到 2.29.0
  • google-cloud-storage 已从 2.15.0 升级到 2.16.0
  • googleapis-common-protos 从 1.62.0 升级到 1.63.0
  • ipywidgets 已从 8.0.4 升级到 7.7.2
  • mlflow-skinny 已从 2.11.1 升级到 2.11.3
  • s3transfer 已从 0.10.0 升级到 0.10.1
  • sqlparse 已从 0.4.4 升级到 0.5.0
  • typing_extensions 已从 4.7.1 升级到 4.10.0

• 升级了 R 库：

• 升级Java库：

  • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-codedeploy 已从 <1.12.390> 升级到 <1.12.610>
  • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-config 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-core 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-directory 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ec2 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ecs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-efs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-elastictranscoder 版本已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-emr 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-glacier 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-glue 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-iam 已从版本 1.12.390 升级到版本 1.12.610
  • com.amazonaws.aws-java-sdk-importexport 已从 1.12.390 更新为 1.12.610
  • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-kms 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-lambda 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-logs 已从版本 1.12.390 升至版本 1.12.610
  • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-rds 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-redshift 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-route53 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-s3 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ses 从版本 1.12.390 升级到了版本 1.12.610
  • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sns 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sqs 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-ssm 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-sts 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-support 版本已从 1.12.390 升级到 1.12.610
  • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.390 升级到 1.12.610
  • com.amazonaws.jmespath-java 已从 1.12.390 升级到 1.12.610

Apache Spark

Databricks Runtime 15.2 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-47941] [SC-163568] [SS] [Connect] 将 ForeachBatch 工作线程初始化错误传播给 PySpark 用户
• [SPARK-47412] [SC-163455][sql] 添加对 LPad/RPad 的字符排序支持。
• [SPARK-47907] [ SC-163408][sql] 将 bang 设置为配置项
• [SPARK-46820] [ SC-157093][python] 通过还原修复错误信息回归问题 new_msg
• [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/资源管理器：结构化日志记录迁移
• [SPARK-47890] [SC-163324][connect][PYTHON] 向 Scala 和Python添加变体函数。
• [SPARK-47894] [SC-163086][core][WEBUI] 向主控制界面 UI 添加 Environment 页面
• [SPARK-47805] [SC-163459][ss] 实现 MapState 的 TTL
• [SPARK-47900] [SC-163326] 修复对隐式 (UTF8_BINARY) 排序规则的检查
• [SPARK-47902] [SC-163316][sql]使计算当前时间* 表达式可折叠
• [SPARK-47845] [ SC-163315][sql][PYTHON][connect] 支持 scala 和 python 拆分函数中的列类型
• [SPARK-47754] [ SC-162144][sql] Postgres：支持读取多维数组
• [SPARK-47416] [ SC-163001][sql] 向 CollationBenchmark 添加新函数 #90339
• [SPARK-47839] [ SC-163075][sql] 修复 RewriteWithExpression 中的聚合 bug
• [SPARK-47821] [SC-162967][sql] 实现is_variant_null表达式
• [SPARK-47883] [SC-163184][sql] 使用 RowQueue 实现 CollectTailExec.doExecute 懒加载
• [SPARK-47390] [ SC-163306][sql] PostgresDialect 区分 TIMESTAMP 与 TIMESTAMP_TZ
• [SPARK-47924] [ SC-163282][core] 将 DEBUG 日志添加到 DiskStore.moveFileToBlock
• [SPARK-47897] [ SC-163183][sql][3.5] 修复 scala 2.12 中的 ExpressionSet 性能回归
• [SPARK-47565] [SC-161786][python] PySpark 工作池崩溃恢复能力
• [SPARK-47885] [ SC-162989][python][CONNECT] 使 pyspark.resource 与 pyspark-connect 兼容
• [SPARK-47887] [SC-163122][connect] 删除spark/connect/common.protospark/connect/relations.proto中的未使用导入
• [SPARK-47751] [ SC-161991][python][CONNECT] 使pyspark.worker_utils与 pyspark-connect 兼容
• [SPARK-47691] [ SC-161760][sql] Postgres：支持写入端的多维数组
• [SPARK-47617] [ SC-162513][sql] 为排序规则添加 TPC-DS 测试基础结构
• [SPARK-47356] [ SC-162858][sql] 添加对 ConcatWs 和 Elt 的支持（所有排序规则）
• [SPARK-47543] [SC-161234][connect][PYTHON] 从 Pandas 数据帧中推断dict为MapType，以允许创建数据帧
• [SPARK-47863] [SC-162974][sql] 修复了 ICU 的 startsWith 和 endsWith 排序规则感知实现
• [SPARK-47867] [ SC-162966][sql] 支持 JSON 扫描中的变体。
• [SPARK-47366] [ SC-162475][sql][PYTHON] 为PySpark添加VariantVal
• [SPARK-47803] [ SC-162726][sql] 支持转换为变体。
• [SPARK-47769] [ SC-162841][sql] 添加schema_of_variant_agg表达式。
• [SPARK-47420] [SC-162842][sql] 修复测试输出
• [SPARK-47430] [SC-161178][sql] 支持 MapType 的 GROUP BY
• [SPARK-47357] [ SC-162751][sql] 添加对 Upper、Lower 和 InitCap 支持（适用于所有排序规则）
• [SPARK-47788] [ SC-162729][ss] 确保流式处理有状态的操作具有相同的哈希分区
• [SPARK-47776] [ SC-162291][ss] 禁止在有状态操作符的关键架构中使用二进制不等关系排序规则
• [SPARK-47673] [SC-162824][ss] 为 ListState 实现 TTL
• [SPARK-47818] [ SC-162845][connect] 引入 SparkConnectPlanner 中的计划缓存以提高分析请求的性能
• [SPARK-47694] [SC-162783][connect] 将最大消息大小设置为客户端可配置
• [SPARK-47274] 撤销 “[SC-162479][python][SQL] 提供更多有用...
• [SPARK-47616] [ SC-161193][sql] 添加用于映射 MySQL 中的 Spark SQL 数据类型的用户文档
• [SPARK-47862] [ SC-162837][python][CONNECT]修复 proto 文件的生成
• [SPARK-47849] [ SC-162724][python][CONNECT] 更改发布脚本以发布 pyspark-connect
• [SPARK-47410] [SC-162518][sql] 重构 UTF8String 和 CollationFactory
• [SPARK-47807] [ SC-162505][python][ML] 使 pyspark.ml 与 pyspark-connect 兼容
• [SPARK-47707] [ SC-161768][sql] MySQL Connector/J 5.x 的 JSON 类型特殊处理
• [SPARK-47765] 还原“[SC-162636][sql] 添加 SET COLLATION 以分析...
• [SPARK-47081] [ SC-162151][connect][FOLLOW] 提升进度处理程序的易用性
• [SPARK-47289] [ SC-161877][sql] 允许扩展功能在解释计划中记录详细信息
• [SPARK-47274] [ SC-162479][python][SQL] 为 PySpark 数据帧 API 错误提供更有用的上下文
• [SPARK-47765] [SC-162636][sql] 向解析器规则添加 SET COLLATION
• [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite 因计划无效而失败
• [SPARK-47812] [ SC-162696][connect] 支持 ForEachBatch 辅助角色的 SparkSession 序列化
• [SPARK-47253] [ SC-162698][core] 允许 LiveEventBus 停止而不完全清空事件队列
• [SPARK-47827] [ SC-162625][python] 缺少对已弃用功能的警告
• [SPARK-47733] [ SC-162628][ss] 为查询进度的 transformWithState 运算符部分添加自定义指标
• [SPARK-47784] [ SC-162623][ss] 将 TTLMode 和 TimeoutMode 合并为单个 TimeMode。
• [SPARK-47775] [ SC-162319][sql] 支持变体规格中的剩余标量类型。
• [SPARK-47736] [SC-162503][sql] 添加对 AbstractArrayType 的支持
• [SPARK-47081] [SC-161758][connect] 支持查询执行进度
• [SPARK-47682] [ SC-162138][sql] 支持从变体转换。
• [SPARK-47802] [ SC-162478][sql] 从含义结构（） 还原回含义 *
• [SPARK-47680] [ SC-162318][sql] 添加variant_explode表达式。
• [SPARK-47809] [SC-162511][sql] checkExceptionInExpression 应检查每个代码生成模式的错误
• [SPARK-41811] [ SC-162470][python][CONNECT] 实现 SQLStringFormatter 和 WithRelations
• [SPARK-47693] [ SC-162326][sql] 添加对在UTF8_BINARY_LCASE排序规则中使用的UTF8String的小写字符比较的优化
• [SPARK-47541] [ SC-162006][sql] 复杂类型中的排序字符串支持的操作：reverse、array_join、concat、map
• [SPARK-46812] [ SC-161535][connect][PYTHON] 让 mapInPandas 和 mapInArrow 支持 ResourceProfile
• [SPARK-47727] [ SC-161982][python] 将 SparkConf 设置为 SparkSession 和 SparkContext 的根级别
• [SPARK-47406] [ SC-159376][sql] 在 MYSQLDialect 中处理 TIMESTAMP 和 DATETIME
• [SPARK-47081] 还原“[SC-161758][connect] 支持查询执行...
• [SPARK-47681] [ SC-162043][sql] 添加schema_of_variant表达式。
• [SPARK-47783] [SC-162222] 添加一些缺失的 SQLSTATE 并清理 YY000 以使用...
• [SPARK-47634] [ SC-161558][sql] 添加旧版支持以禁用映射密钥规范化
• [SPARK-47746] [SC-162022] 在 RocksDBStateEncoder 中实现基于序数的范围编码
• [SPARK-47285] [ SC-158340][sql] AdaptiveSparkPlanExec 应始终使用 context.session
• [SPARK-47643] [ SC-161534][ss][PYTHON] 为 python 流源添加 pyspark 测试
• [SPARK-47582] [ SC-161943][sql] 将具有变量的 Catalyst logInfo 迁移到结构化日志记录框架
• [SPARK-47558] [SC-162007][ss] 对 ValueState 的状态 TTL 支持
• [SPARK-47358] [ SC-160912][sql][COLLATION] 改进重复表达式支持以返回正确的数据类型
• [SPARK-47504] [SC-162044][sql] 解析 StringTypeCollated 的 AbstractDataType simpleStrings
• [SPARK-47719] 还原“[SC-161909][sql] 更改 spark.sql.legacy.t...
• [SPARK-47657] [ SC-162010][sql] 实现每个文件源的排序规则筛选器下推支持
• [SPARK-47081] [SC-161758][connect] 支持查询执行进度
• [SPARK-47744] [SC-161999] 添加对范围编码器中负值字节的支持
• [SPARK-47713] [ SC-162009][sql][CONNECT] 修复自联接失败
• [SPARK-47310] [ SC-161930][ss] 为状态存储的值部分中的多个值添加合并作的微基准
• [SPARK-47700] [SC-161774][sql] 修复错误消息中 treeNode 的格式设置
• [SPARK-47752] [ SC-161993][ps][CONNECT] 使 pyspark.pandas 与 pyspark-connect 兼容
• [SPARK-47575] [ SC-161402][spark-47576][SPARK-47654] 在结构化日志记录框架中实现 logWarning/logInfo API
• [SPARK-47107] [ SC-161201][ss][PYTHON] 为 Python 流数据源实现分区读取器
• [SPARK-47553] [SC-161772][ss] 添加对 transformWithState 运算符 API 的Java支持
• [SPARK-47719] [ SC-161909][sql] 更改 spark.sql.legacy.timeParserPolicy 默认值为 CORRECTED
• [SPARK-47655] [ SC-161761][ss] 将计时器与 State-v2 的初始状态处理进行集成
• [SPARK-47665] [ SC-161550][sql] 使用 SMALLINT 将 ShortType 写入 MYSQL
• [SPARK-47210] [SC-161777][sql] 添加不支持不确定结果的隐式转换
• [SPARK-47653] [ SC-161767][ss] 添加对负数值类型和范围扫描密钥编码器的支持
• [SPARK-46743] [SC-160777][sql] 常量折叠后计数错误
• [SPARK-47525] [ SC-154568][sql] 支持映射属性上的子查询关联联接
• [SPARK-46366] [ SC-151277][sql] 在 BETWEEN 中使用 WITH 表达式以避免重复表达式
• [SPARK-47563] [ SC-161183][sql] 在创建时添加映射规范化
• [SPARK-42040] [ SC-161171][sql] SPJ：为 V2 输入分区引入新的 API 来报告分区统计信息
• [SPARK-47679] [ SC-161549][sql] 直接使用 HiveConf.getConfVars 或 Hive conf 名称
• [SPARK-47685] [ SC-161566][sql] 恢复在Stream中的Dataset#groupBy类型的支持
• [SPARK-47646] [ SC-161352][sql] 使try_to_number为格式不正确的输入返回 NULL
• [SPARK-47366] [SC-161324][python] 添加 pyspark 和 数据帧 parse_json 别名
• [SPARK-47491] [ SC-161176][core] 先将 jar 添加到类路径，优先于 slf4j-api 目录中的其他内容
• [SPARK-47270] [ SC-158741][sql] Dataset.isEmpty projects CommandResults 本地
• [SPARK-47364] [SC-158927][core] 在插件回复单向消息时发出PluginEndpoint警告
• [SPARK-47280] [ SC-158350][sql] 删除 ORACLE TIMESTAMP WITH TIMEZONE 的时区限制
• [SPARK-47551] [SC-161542][sql] 添加variant_get表达式。
• [SPARK-47559][SC-161255][sql] 对变体的 Codegen 支持 parse_json
• [SPARK-47572] [ SC-161351][sql] 强制确保 Window partitionSpec 可以排序。
• [SPARK-47546] [ SC-161241][sql] 从 Parquet 读取 Variant 时改进验证
• [SPARK-47543] [SC-161234][connect][PYTHON] 从 Pandas 数据帧中推断dict为MapType，以允许创建数据帧
• [SPARK-47485] [SC-161194][sql][PYTHON][connect] 在数据帧 API 中使用排序规则创建列
• [SPARK-47641] [SC-161376][sql] 提高UnaryMinus 和 Abs 的性能
• [SPARK-47631] [SC-161325][sql] 删除未使用的SQLConf.parquetOutputCommitterClass方法
• [SPARK-47674] [SC-161504][core] 默认启用spark.metrics.appStatusSource.enabled
• [SPARK-47273] [SC-161162][ss][PYTHON] 实现Python数据流编写器接口。
• [SPARK-47637] [ SC-161408][sql] 在更多地方使用错误捕获标识符
• [SPARK-47497] 还原“还原”[SC-160724][sql] 使to_csv支持数组/结构/映射/二进制作为漂亮的字符串的输出”
• [SPARK-47492] [SC-161316][sql] 扩展词法器中的空白规则
• [SPARK-47664] [ SC-161475][python][CONNECT] 使用缓存架构验证列名
• [SPARK-47638] [ SC-161339][ps][CONNECT] 跳过 PS 中的列名称验证
• [SPARK-47363] [ SC-161247][ss] 状态 API v2 的初始状态缺少状态读取器实现。
• [SPARK-47447] [SC-160448][sql] 允许将 Parquet TimestampLTZ 读取为 TimestampNTZ
• [SPARK-47497] 还原“[SC-160724][sql] 使 to_csv 支持作为漂亮的字符串的 array/struct/map/binary 输出”
• [SPARK-47434] [SC-160122][webui] 修复 statistics 中的链接 StreamingQueryPage
• [SPARK-46761] [ SC-159045][sql] JSON 路径中带引号的字符串应支持？ 字符
• [SPARK-46915] [ SC-155729][sql] 简化 UnaryMinusAbs 并使错误类别统一
• [SPARK-47431] [SC-160919][sql] 引入会话级默认排序规则
• [SPARK-47620] [ SC-161242][python][CONNECT] 添加帮助程序函数以对列进行排序
• [SPARK-47570] [ SC-161165][ss] 将范围扫描编码器的更改与计时器实现进行集成
• [SPARK-47497] [ SC-160724][sql] 使 to_csv 支持 array/struct/map/binary 作为美观字符串输出
• [SPARK-47562] [ SC-161166][connect] 从中分离出文本处理plan.py
• [SPARK-47509] [ SC-160902][sql] 阻止 lambda 和高阶函数中的子查询表达式
• [SPARK-47539] [ SC-160750][sql] 使方法 castToString 的返回值成为 Any => UTF8String
• [SPARK-47372] [ SC-160905][ss] 添加支持用于状态存储提供者的基于范围扫描的密钥状态编码器
• [SPARK-47517] [ SC-160642][core][SQL] 优先使用 Utils.bytesToString 显示大小
• [SPARK-47243] [ SC-158059][ss] 更正包名称 StateMetadataSource.scala
• [SPARK-47367] [SC-160913][python][CONNECT] 支持使用 Spark Connect 的 Python 数据源
• [SPARK-47521] [SC-160666][core] 在从外部存储读取洗牌数据时使用 Utils.tryWithResource
• [SPARK-47474] [ SC-160522][core] 还原 SPARK-47461 并添加一些注释
• [SPARK-47560] [ SC-160914][python][CONNECT] 避免 RPC 使用缓存架构验证列名
• [SPARK-47451] [SC-160749][sql] 支持 to_json（variant）。
• [SPARK-47528] [ SC-160727][sql] 向 DataTypeUtils.canWrite 添加 UserDefinedType 支持
• [SPARK-44708] 回退“[SC-160734][python] 迁移test_reset_index assert_eq以使用 assertDataFrameEqual”
• [SPARK-47506] [SC-160740][sql] 为所有文件源格式添加对排序数据类型的支持
• [SPARK-47256] [SC-160784][sql] 给错误类 _LEGACY_ERROR_TEMP_102[4-7] 分配名称
• [SPARK-47495] [ SC-160720][core] 修正主要资源 JAR 包在 k8s 群集模式下被两次添加到 spark.jars
• [SPARK-47398] [ SC-160572][sql] 提取 InMemoryTableScanExec 的特征以允许扩展功能
• [SPARK-47479] [SC-160623][sql] 优化无法将数据写入多个路径的数据关系的错误日志
• [SPARK-47483] [ SC-160629][sql] 添加对排序字符串数组的聚合和联接作的支持
• [SPARK-47458] [ SC-160237][core] 修复了在屏障阶段计算最大并发任务时出现的问题
• [SPARK-47534] [SC-160737][sql] 将o.a.s.variant移动到o.a.s.types.variant
• [SPARK-47396] [ SC-159312][sql] 将 TIME WITHOUT TIME ZONE 的常规映射添加到 TimestampNTZType
• [SPARK-44708] [SC-160734][python] 将 test_reset_index 的 assert_eq 迁移以使用 assertDataFrameEqual
• [SPARK-47309] [ SC-157733][sc-160398][SQL] XML： 为值标记添加架构推理测试
• [SPARK-47007] [SC-160630][sql] 添加 MapSort 表达式
• [SPARK-47523] [SC-160645][sql] 将弃用 JsonParser#getCurrentName 替换为 JsonParser#currentName
• [SPARK-47440] [SC-160635][sql] 修复将不支持的语法推送到 Microsoft SQL Server
• [SPARK-47512] [SC-160617][ss] 用于 RocksDB 状态存储实例锁定获取/释放的标签操作类型
• [SPARK-47346] [SC-159425][python] 在创建 Python 计划程序工作进程时可配置守护进程模式
• [SPARK-47446] [SC-160163][core] 在BlockManager之前发出警告removeBlockInternal
• [SPARK-46526] [SC-156099][sql] 支持在相关子查询中使用LIMIT，其中谓词仅引用外部表
• [SPARK-47461] [SC-160297][core] 移除totalRunningTasksPerResourceProfileExecutorAllocationManager中的私有函数
• [SPARK-47422] [ SC-160219][sql] 支持数组操作中的按规则排列的字符串
• [SPARK-47500] [ SC-160627][python][CONNECT] 因列名称处理不足 plan.py
• [SPARK-47383] [SC-160144][core] 支持 spark.shutdown.timeout 配置
• [SPARK-47342] [SC-159049] 撤销“[SQL] 对 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ 的支持”
• [SPARK-47486] [SC-160491][connect] 删除未使用的专用 ArrowDeserializers.getString 方法
• [SPARK-47233] [ SC-154486][connect][SS][2/2] 客户端流式查询监听器的客户端和服务器逻辑
• [SPARK-47487] [SC-160534][sql] 简化 AnsiTypeCoercion 中的代码
• [SPARK-47443] [ SC-160459][sql] 对排序规则的窗口聚合支持
• [SPARK-47296] [SC-160457][sql][COLLATION] 对于非二进制排序规则，禁止不支持的函数
• [SPARK-47380] [ SC-160164][connect] 确保服务器端 SparkSession 相同
• [SPARK-47327] [ SC-160069][sql] 将排序键并发测试移动到 CollationFactorySuite
• [SPARK-47494] [SC-160495][doc] 添加迁移文档以处理自 Spark 3.3 以来 Parquet 时间戳推理行为的更改。
• [SPARK-47449] [SC-160372][ss] 重构和拆分列表/计时器单元测试
• [SPARK-46473] [SC-155663][sql] 重用 getPartitionedFile 方法
• [SPARK-47423] [ SC-160068][sql] 排序规则 - 为具有排序规则的字符串提供集合操作支持
• [SPARK-47439] [SC-160115][python] 在API参考页中记录Python数据源API
• [SPARK-47457] [ SC-160234][sql] 修复 IsolatedClientLoader.supportsHadoopShadedClient 处理 Hadoop 3.4+
• [SPARK-47366] [ SC-159348][sql] 实现parse_json。
• [SPARK-46331] [ SC-152982][sql] 从 DateTime 表达式和 version（） 表达式的子集中删除 CodegenFallback
• [SPARK-47395] [SC-159404] 将排序和排序规则添加到其他 API
• [SPARK-47437] [ SC-160117][python][CONNECT] 纠正错误类别 DataFrame.sort*
• [SPARK-47174] [ SC-154483][connect][SS][1/2] 服务器端 SparkConnectListenerBusListener 用于客户端流式查询监听器
• [SPARK-47324] [ SC-158720][sql] 为 JDBC 嵌套类型添加缺少的时间戳转换
• [SPARK-46962] [ SC-158834][ss][PYTHON] 为 python 流数据源 API 添加接口并实现 python 辅助角色以运行 python 流数据源
• [SPARK-45827] [SC-158498][sql] 将数据类型检查移动到 CreatableRelationProvider
• [SPARK-47342] [ SC-158874][sql] 为 DB2 的 TIMESTAMP WITH TIME ZONE 提供 TimestampNTZ 支持
• [SPARK-47399] [ SC-159378][sql] 对具有排序规则的表达式禁用生成的列
• [SPARK-47146] [ SC-158247][core] 执行排序合并联接时可能的线程泄漏
• [SPARK-46913] [ SC-159149][ss] 添加对使用 transformWithState 运算符的基于处理/事件时间的计时器的支持
• [SPARK-47375] [ SC-159063][sql] 添加时间戳映射指南 JdbcDialect#getCatalystType
• [SPARK-47394] [ SC-159282][sql] 支持适用于 H2Dialect 的 TIMESTAMP WITH TIME ZONE
• [SPARK-45827] 还原“[SC-158498][sql] 将数据类型检查移动到 ...
• [SPARK-47208] [SC-159279][core] 允许重写基本开销内存
• [SPARK-42627] [SC-158021][spark-26494][SQL] 支持 Oracle TIMESTAMP WITH LOCAL TIME ZONE。
• [SPARK-47055] [ SC-156916][python] 升级 MyPy 1.8.0
• [SPARK-46906] [ SC-157205][ss] 为流式传输添加有状态运算符更改的检查
• [SPARK-47391] [ SC-159283][sql] 删除 JDK 8 的测试用例解决方法
• [SPARK-47272] [ SC-158960][ss] 为 State API v2 添加 MapState 实现。
• [SPARK-47375] [ SC-159278][doc][FollowUp] 修复了 JDBC 的 preferTimestampNTZ 选项文档中的错误
• [SPARK-42328] [ SC-157363][sql] 从错误类中删除_LEGACY_ERROR_TEMP_1175
• [SPARK-47375] [SC-159261][doc][FollowUp] 更正 JDBC 文档中 preferTimestampNTZ 选项说明
• [SPARK-47344] [SC-159146] 将 INVALID_IDENTIFIER 错误扩展到不仅捕获未加引号的标识符中的“-”，还修复了“IS”问题！ NULL等人。
• [SPARK-47340] [ SC-159039][sql] 将 StringType typename 中的“collate”更改为小写
• [SPARK-47087] [ SC-157077][sql] 在配置值检查过程中通过错误类引发 Spark 异常
• [SPARK-47327] [ SC-158824][sql] 修复 ICU 排序器中的线程安全问题
• [SPARK-47082] [ SC-157058][sql] 修复边界外错误条件
• [SPARK-47331] [ SC-158719][ss] 使用 SQL 编码器通过 case 类/基元/POJO 对任意状态 API v2 进行序列化。
• [SPARK-47250] [ SC-158840][ss] 为 RocksDB 状态提供者和列族的使用添加其他验证和 NERF 更改
• [SPARK-47328] [ SC-158745][sql] 将UCS_BASIC排序规则重命名为UTF8_BINARY
• [SPARK-47207] [SC-157845][core] 支持 spark.driver.timeout 和 DriverTimeoutPlugin
• [SPARK-47370] [SC-158956][doc] 添加迁移文档：对 Parquet 文件进行 TimestampNTZ 类型推断
• [SPARK-47309] [ SC-158827][sql][XML] 添加架构推理单元测试
• [SPARK-47295] [ SC-158850][sql] 为 startsWith 和 endsWith 函数添加了 ICU StringSearch
• [SPARK-47343] [ SC-158851][sql] 修复在执行立即语句时变量值为空字符串导致的 NPE问题
• [SPARK-46293] [SC-150117][connect][PYTHON] 利用传递性依赖项
• [SPARK-46795] [SC-154143][sql] 将UnsupportedOperationException替换为SparkUnsupportedOperationException在sql/core中
• [SPARK-46087] [ SC-149023][python] 在文档和开发要求中同步 PySpark 依赖项
• [SPARK-47169] [ SC-158848][sql] 禁用在设置排序顺序的列上的分桶
• [SPARK-42332] [ SC-153996][sql] 将要求更改为 ComplexTypeMergingExpression 中的 SparkException
• [SPARK-45827] [SC-158498][sql] 将数据类型检查移动到 CreatableRelationProvider
• [SPARK-47341] [ SC-158825][connect] 在 SparkConnectClientSuite 中的几个测试中将命令替换为关系
• [SPARK-43255] [SC-158026][sql] 将错误类 _LEGACY_ERROR_TEMP_2020 替换为内部错误
• [SPARK-47248] [ SC-158494][sql][COLLATION] 改进的字符串函数支持：包含
• [SPARK-47334] [ SC-158716][sql] 使 withColumnRenamed 重用 withColumnsRenamed 的实现
• [SPARK-46442] [ SC-153168][sql] DS V2 支持下推PERCENTILE_CONT和PERCENTILE_DISC
• [SPARK-47313] [ SC-158747][sql] 在 QueryExecution.toInternalError 中添加了 scala.MatchError 处理
• [SPARK-45827] [SC-158732][sql] 为 Java 添加变体单例类型
• [SPARK-47337] [ SC-158743][sql][DOCKER] 将 DB2 docker 映像版本升级到 11.5.8.0
• [SPARK-47302] [SC-158609][sql] 将 SQL 关键字整理为标识符
• [SPARK-46817] [SC-154196][core] 通过添加spark-daemon.sh命令修复decommission使用情况
• [SPARK-46739] [SC-153553][sql] 添加错误类 UNSUPPORTED_CALL
• [SPARK-47102] [SC-158253][sql] 添加 COLLATION_ENABLED 配置标志
• [SPARK-46774] [ SC-153925][sql][AVRO] 在 Avro 写作业中使用 mapreduce.output.fileoutputformat.compress 来代替已弃用的 mapred.output.compress
• [SPARK-45245] [ SC-146961][python][CONNECT] PythonWorkerFactory：如果工作进程未建立连接，则超时。
• [SPARK-46835] [ SC-158355][sql][排序规则] 联接对非二进制排序规则的支持
• [SPARK-47131] [ SC-158154][sql][COLLATION] 字符串函数支持：包含、以...开头、以...结尾
• [SPARK-46077] [ SC-157839][sql] 考虑 JdbcDialect.compileValue 中 TimestampNTZConverter 生成的类型。
• [SPARK-47311] [SC-158465][sql][PYTHON] 抑制 PySpark 不在 Python 路径中的 Python 异常
• [SPARK-47319] [SC-158599][sql] 改进 missingInput 的计算
• [SPARK-47316] [SC-158606][sql] 修复 Postgres 数组中的 TimestampNTZ
• [SPARK-47268] [ SC-158158][sql][排序规则] 支持排序规则的重新分区
• [SPARK-47191] [ SC-157831][sql] 在取消缓存表/视图时避免不必要的关系查找
• [SPARK-47168] [SC-158257][sql] 当使用非默认排序字符串时，禁用 Parquet 筛选器下推。
• [SPARK-47236] [ SC-158015][core] 修复 deleteRecursivelyUsingJavaIO 以跳过非现有文件输入
• [SPARK-47238] [ SC-158466][sql] 通过将 WSCG 中生成的代码转换为广播变量来减少执行器内存使用量
• [SPARK-47249] [ SC-158133][connect] 修复了所有连接操作被视为放弃的 bug，无论其实际状态如何
• [SPARK-47202] [ SC-157828][python] 修复拼写错误造成 tzinfo 相关日期时间数据中断的问题
• [SPARK-46834] [SC-158139][sql][排序规则] 对聚合的支持
• [SPARK-47277] [SC-158351][3.5] PySpark util 函数 assertDataFrameEqual 不应支持流式处理 DF
• [SPARK-47155] [ SC-158473][python] 修复错误类问题
• [SPARK-47245] [SC-158163][sql] 改进“INVALID_PARTITION_COLUMN_DATA_TYPE”的错误代码
• [SPARK-39771] [ SC-158425][core] 当要创建过多的随机块时添加一个警告消息 Dependency 。
• [SPARK-47277] [SC-158329] PySpark util 函数 assertDataFrameEqual 不应支持流式处理 DF
• [SPARK-47293] [ SC-158356][core] 使用 sparkSchema 生成 batchSchema，而不是逐个追加
• [SPARK-46732] [ SC-153517][connect]使子查询/广播线程与 Connect 的构件管理协同工作
• [SPARK-44746] [SC-158332][python] 为接受输入表的函数添加更多Python UDTF 文档
• [SPARK-47120] [ SC-157517][sql] Null 比较从 Parquet 筛选器的 NPE 中生成的子查询向下推送数据筛选器
• [SPARK-47251] [SC-158291][python] 阻止args命令中sql参数的无效类型
• [SPARK-47251]还原“[SC-158121][python] 阻止命令参数args中的无效类型sql”
• [SPARK-47015] [ SC-157900][sql] 禁用排序列上的分区
• [SPARK-46846] [SC-154308][core] 使WorkerResourceInfoSerializable显式扩展
• [SPARK-46641] [SC-156314][ss] 添加 maxBytesPerTrigger 阈值
• [SPARK-47244] [SC-158122][connect] SparkConnectPlanner 使内部函数专用
• [SPARK-47266] [ SC-158146][connect] 使 ProtoUtils.abbreviate 返回与输入相同的类型
• [SPARK-46961] [ SC-158183][ss] 使用 ProcessorContext 存储和检索句柄
• [SPARK-46862] [ SC-154548][sql] 在多行模式下禁用 CSV 列修剪
• [SPARK-46950] [ SC-155803][core][SQL] 对齐 not available codec 错误类
• [SPARK-46368] [SC-153236][core] REST 提交 API 中的支持readyz
• [SPARK-46806] [ SC-154108][python] 在参数类型错误时改进 spark.table 的错误消息
• [SPARK-47211] [ SC-158008][connect][PYTHON] 修复 PySpark Connect 中被忽略的字符串排序规则问题
• [SPARK-46552] [SC-151366][sql] 在UnsupportedOperationException中用SparkUnsupportedOperationException替换catalyst
• [SPARK-47147] [SC-157842][python][SQL] 修复 PySpark 排序字符串转换错误
• [SPARK-47144] [ SC-157826][connect][SQL][python] 通过添加 collateId protobuf 字段修复 Spark Connect 排序规则错误
• [SPARK-46575] [ SC-153200][sql][HIVE] 使 HiveThriftServer2.startWithContext DevelopApi 可以重试并修复 ThriftServerWithSparkContextInHttpSuite 的不稳定性
• [SPARK-46696] [ SC-153832][core] 在 ResourceProfileManager 中，函数调用应在变量声明后发生
• [SPARK-47214] [ SC-157862][python] 为“analyze”方法创建 UDTF API 以区分常量 NULL 参数和其他类型的参数
• [SPARK-46766] [ SC-153909][sql][AVRO] ZSTD 缓冲池对 AVRO 数据源的支持
• [SPARK-47192] [SC-157819] 转换一些 _LEGACY_ERROR_TEMP_0035 错误
• [SPARK-46928] [ SC-157341][ss] 添加对任意状态 API v2 中的 ListState 的支持。
• [SPARK-46881] [SC-154612][core] 支持 spark.deploy.workerSelectionPolicy
• [SPARK-46800] [SC-154107][core] 支持 spark.deploy.spreadOutDrivers
• [SPARK-45484] [ SC-146014][sql] 解决使用不正确的 parquet 压缩编解码器 lz4raw 的问题
• [SPARK-46791] [SC-154018][sql] 支持在 JavaTypeInference 中使用 Java 集合
• [SPARK-46332] [SC-150224][sql] 将 CatalogNotFoundException 迁移到错误类 CATALOG_NOT_FOUND
• [SPARK-47164] [ SC-157616][sql] 使 v2 的较宽类型窄文本的默认值的行为与 v1 相同
• [SPARK-46664] [ SC-153181][core] 改进 Master 以在没有工作节点和应用的情况下快速恢复
• [SPARK-46759] [ SC-153839][sql][AVRO] Codec xz 和 zstandard 支持在 avro 文件中设置压缩级别

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 15.2 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.74.0.17-CA-linux64
• Scala：2.12.15
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装Python库

已安装的 R 库

R 库从 Posit Package Manager CRAN 快照中安装。

已安装Java和 Scala 库（Scala 2.12 群集版本）