Databricks Runtime 13.2 （EoS）

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.2 的相关信息。

Databricks 于 2023 年 7 月发布此版本。

新增功能和改进

• RocksDB 状态存储的更改日志检查点
• 在 Unity Catalog 中使用浅表克隆增强 VACUUM 的可靠性。
• 支持在 SQL 中使用 Python UDF
• Delta Lake UniForm for Apache Iceberg 现在处于公开预览阶段
• Delta Lake liquid 聚类分析目前为公共预览版
• Azure Databricks 中的归档支持
• IDENTIFIER 子句支持
• Unity Catalog 对 Python 和 Pandas 用户自定义函数（UDF）的支持
• 使用 Delta Sharing 共享架构
• Bug 修复

RocksDB 状态存储的更改日志检查点

可以启用更改日志检查点，以减少有状态结构化流处理任务的检查点持续时间和端到端延迟。 Databricks 建议为所有结构化流式处理的有状态查询启用变更日志检查点。 请参阅启用更改日志检查点。

在 Unity Catalog 中使用浅克隆提高 VACUUM 的可靠性。

将 Unity Catalog 托管表用于浅克隆操作的源和目标时，Unity Catalog 会管理基础数据文件，以提高克隆操作的源和目标的可靠性。 在浅克隆的源上运行 VACUUM 不会破坏克隆的表。 请参阅“与 Unity 目录浅表克隆一起使用VACUUM”。

支持 SQL 中的 Python UDF

现在可以在 Unity 目录中使用 SQL CREATE FUNCTION 语句中的Python来声明用户定义的函数。 请参阅 Unity Catalog 中的用户定义函数 (UDF)。

Delta Lake UniForm for Apache Iceberg 现处于公共预览阶段

Delta Lake 通用格式（UniForm）允许你使用 Apache Iceberg 客户端读取 Delta 表。 请参阅 使用 Iceberg 客户端读取 Delta 表。

Delta Lake 液态聚类目前为公共预览

Delta Lake liquid 聚类分析取代了表分区和 ZORDER，以简化数据布局决策并优化查询性能。 请参阅对表使用 liquid 聚类分析。

Azure Databricks 中的存档支持

Azure Databricks中的存档支持引入了一系列功能，使你能够对包含 Delta 表的云对象存储使用基于云的生命周期策略，以将文件移动到存档存储层。 请参阅 Azure Databricks 中的 归档支持。

IDENTIFIER 子句支持

使用 IDENTIFIER(:mytable) 在许多 SQL 语句中安全地参数化表、列、函数和架构名。

Unity Catalog 对 Python 和 Pandas 用户自定义函数（UDF）的支持

在 Databricks Runtime 13.2 及更高版本上，在启用了 Unity 目录的工作区中使用标准访问模式（以前共享访问模式）的群集上支持以Python编写的用户定义的函数（UDF）。 这包括Python和Pandas的UDFs。 有关 Python UDF 的详细信息，请参阅 用户定义的标量函数 - Python。

使用 Delta Sharing 共享架构

通过 Databricks Runtime 13.2，可使用 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 来采用 Delta Sharing 共享整个架构，使接收者能够在共享架构时访问该架构中的所有表和视图，以及将来添加到该架构中的任何表和视图。 请参阅将模式添加到共享和ALTER SHARE。

错误修复

• 修复了 JSON 读取器中的一个 bug：如果启用了 PERMISSIVE，会在 failOnUnknownFieldsmode 模式中分析记录。 现在，记录会在 DROPMALFORMEDparser 模式中被删除，或者写出到 badRecordsPath 中（如果设置了任一选项）。 如果列类型不匹配，FAILFAST 会引发错误。

软件库升级

• 升级Python库：
  • 将 nodeenv 从 1.7.0 升级到 1.8.0
• 升级了 R 库：
• 升级Java库：
  • io.delta.delta-sharing-spark_2.12 已从 0.6.7 升级到 0.7.0

Apache Spark

Databricks Runtime 13.2 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-42750] [SC-133452][dbrrm-273] 支持“按名称插入”语句
• [SPARK-43133] [SC-133728] Scala 客户端 DataStreamWriter Foreach 支持
• [SPARK-43663] [SC-134135][connect][PS] 启用 SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] 修复 Spark Connect 的 (NullOps|NumOps).(eq|ne)。
• [SPARK-44021] [SC-134109][sql] 添加 spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] 从错误中的 ID 中删除 __auto_generated_subquery_name
• [SPARK-43976] [SC-133375][core] 处理事件日志中不存在 modifiedConfigs 的情况
• [SPARK-32559] [SC-133992][sql] 修复剪裁逻辑未正确处理 ASCII 控制字符的问题
• [SPARK-43421] [SC-132930][ss] 为 RocksDB 状态存储提供程序实现基于更改日志的检查点
• [SPARK-43594] [SC-133851][sql] 将 LocalDateTime 添加到 anyToMicros
• [SPARK-43884] [SC-133867] DDL 中的参数标记
• [SPARK-43398] [SC-133894][core] 执行程序超时应为 idle、shuffle 和 rdd 超时的最大值
• [SPARK-43610] [SC-133892][connect][PS] 在 Spark Connect 中启用 InternalFrame.attach_distributed_column。
• [SPARK-43971] [SC-133826][connect][PYTHON] 支持 Python 中以流式处理方式创建 DataFrame
• [SPARK-44006] [SC-133652][connect][PYTHON] 支持缓存项目
• [SPARK-43790] [SC-133468][python][CONNECT][ml] 添加 copyFromLocalToFs API
• [SPARK-43921] [SC-133461][protobuf] 在构建时生成 Protobuf 描述符文件
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] 在 SparkSession.addArtifacts 中实现文件支持
• [SPARK-44010] [SC-133744][python][SS][minor] Python StreamingQueryProgress rowsPerSecond 类型修复
• [SPARK-43768] [SC-132398][python][CONNECT] Python Python Spark Connect 中的依赖项管理支持
• [SPARK-43979] [13.X] 还原“[SC-133456][sql] CollectedMetrics 应被视为自联接的相同对象”
• [SPARK-42290] [SC-133696][sql] 修复在启用 AQE 时无法报告 OOM 错误的问题
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] 将 SQL 数学函数添加到 Scala 和Python
• [SPARK-43747] [SC-132047][python][CONNECT] 在 SparkSession.addArtifacts 中实现 pyfile 支持
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] 使用 Spark Connect 启用 TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] 启用奇偶校验测试：test_line_plot，test_pie_plot。
• [SPARK-43867] [SC-132895][sql] 改进未解析属性的建议候选项
• [SPARK-43901] [SC-133454][sql] Avro 支持由 Long 支持的自定义十进制类型
• [SPARK-43267] [SC-133024][jdbc] 将 PostgreSQL 未知的用户定义列在数组中处理为字符串
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] 向 Scala 和 Python 添加 xpath_* 函数
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] 向 Scala 和 Python API 添加百分位
• [SPARK-43717] [SC-133455][connect] Scala 客户端 reduce agg 无法处理 scala 基元输入的空分区
• [SPARK-43984] [SC-133469][sql][PROTOBUF] 修改为在 foreach 不产生结果时使用 map
• [SPARK-43612] [SC-132011][connect][PYTHON] 在 Python 客户端中实现 SparkSession.addArtifact（s）
• [SPARK-44002] [SC-133606][connect] 修复项目状态处理程序
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] 向 Scala 和 Python 添加线性回归聚合函数
• [SPARK-43920] [SC-133614][sql][CONNECT] 创建 sql/api 模块
• [SPARK-43979] [SC-133456][sql] CollectedMetrics 应被视为自联接的相同对象
• [SPARK-43977] [SC-133373][connect] 修复 dev/connect-jvm-client-mima-check 的意外检查结果
• [SPARK-43985] [SC-133412][protobuf] spark protobuf：修复“将枚举视为整数”bug
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] 向 Scala 和 Python 添加 unix_* 函数
• [SPARK-43807] [SC-132545][sql] 将 _LEGACY_ERROR_TEMP_1269 迁移到 PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] 修复 Percentile[Cont|Disc] 不显示列的 sql 的 bug
• [SPARK-42626] [SC-133248][connect] 为 SparkResult 添加破坏性迭代器
• [SPARK-43333] [SC-132898][sql] 允许 Avro 将联合类型转换为字段名随字段稳定的 SQL
• [SPARK-43953] [SC-133134][connect] 移除 pass
• [SPARK-43970] [SC-133403][python][CONNECT] 在自动完成中隐藏不受支持的数据帧方法
• [SPARK-43973] [SC-133272][ss][UI] Structured Streaming UI 应正确显示失败的查询
• [SPARK-42577] [SC-125445][core] 为阶段添加最大尝试限制，以避免潜在的无限重试
• [SPARK-43841] [SC-132699][sql] 处理在 StringUtils#orderSuggestedIdentifiersBySimilarity 中没有前缀的候选属性
• [SPARK-41497] [SC-124795][core][Follow UP]修改配置 spark.rdd.cache.visibilityTracking.enabled 支持版本为 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] 迁移错误类
• [SPARK-43898] [SC-132926][core] 为 Scala 2.13 自动注册 immutable.ArraySeq$ofRef 到 KryoSerializer
• [SPARK-43775] [SC-132891][sql] DataSource V2：允许将更新表示为删除和插入
• [SPARK-43817] [SC-132662][Spark-43702][PYTHON] 支持 createDataFrame 中来自 pandas DataFrame 和 toPandas 的 UserDefinedType
• [SPARK-43418] [sc-132753][SC-130685][CONNECT] 添加 SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][sql] 将 _LEGACY_ERROR_TEMP_0036 转换为 INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] 修复使用 rdd 缓存的重试任务时累加器计数不足的问题
• [SPARK-43892] [SC-133006][python] 在 df[|] 中添加对 pyspark.sql.dataframe.DataFrame 的自动完成支持
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] 为 Catalog.listDatabases 添加可选模式
• [SPARK-43205] [SC-132623] IDENTIFIER 子句
• [SPARK-43545] [SC-132378][sql][PYTHON] 支持嵌套时间戳类型
• [SPARK-43949] [SC-133048][python] 将 cloudpickle 升级到 2.2.1
• [SPARK-43760] [SC-132809][sql] 标量子查询结果的为 Null 性
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] 修复 Spark Connect 中的 TimedeltaOps 问题
• [SPARK-43895] [SC-132897][connect][GO] 准备 go 包路径
• [SPARK-43894] [SC-132892][python] 修复 df.cache（） 中的 bug
• [SPARK-43509] [SC-131625][connect] 支持创建多个 Spark Connect 会话
• [SPARK-43882] [SC-132888][sql] 将名称分配到 _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] 修复 Spark Connect 的 NumOps
• [SPARK-43604] [SC-132165][sql] 重构 INVALID_SQL_SYNTAX 以避免在源代码中嵌入错误的文本
• [SPARK-43859] [SC-132883][sql] 在 LateralColumnAliasReference 中重写 toString
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] 为 Catalog.listCatalogs 添加可选模式
• [SPARK-43353]还原“[SC-132734][python] 将剩余会话错误迁移到错误类”
• [SPARK-43375] [SC-130309][connect] 改进INVALID_CONNECT_URL的错误消息
• [SPARK-43863] [SC-132721][connect] 对于 Scala 2.13，从 toSeq 中移除冗余的 SparkConnectPlanner
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] 修复 Spark Connect DatetimeOps 问题
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] 修复 Spark Connect 的 BinaryOps
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] 修复 Spark Connect 的 NullOps
• [SPARK-43782] [SC-132885][core] 支持使用静态 Spark conf 的日志级别配置
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python客户端 DataStreamWriter foreach（） API
• [SPARK-43290] [SC-131961][sql] 向 ExpressionImplUtils 添加 AES IV 和 AAD 支持
• [SPARK-43795] [SC-132532][connect] 删除不用于 SparkConnectPlanner 的参数
• [SPARK-42317] [SC-129194][sql] 将名称分配至 _LEGACY_ERROR_TEMP_2247：CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] 在 ResolveDefaultColumns 的编译错误中使用错误类
• [SPARK-43749] [SC-132423][spark-43750][SQL] 将名称分配给错误类_LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][core] 从 Core 模块中删除未使用的声明
• [SPARK-43314] [SC-129970][connect][PYTHON] 将 Spark Connect 客户端错误迁移到错误类
• [SPARK-43799] [SC-132715][python] 向 Pyspark Protobuf API 添加描述符二进制选项
• [SPARK-43837] [SC-132678][sql] 将名称分配给错误类 _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] 向错误类分配名称 LEGACY_ERROR_TEMP（1254 & 1315）
• [SPARK-43886] [SC-132808][python] 接受泛型元组作为 Pandas UDF 的键入提示
• [SPARK-43530] [SC-132653][protobuf] 仅读取描述符文件一次
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] 为错误类 _LEGACY_ERROR_TEMP_241[1-7] 分配名称
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] 为 Spark Connect 修复 CategoricalOps
• [SPARK-39979] [SC-132685][sql] 添加用于箭头UDF操作的大型可变宽度向量的选项
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] 修复 Spark Connect 中的 StringOps
• [SPARK-43353] [SC-132734][python] 将剩余会话错误迁移到错误类
• [SPARK-43815] [SC-132781][sql] 为 to_varchar 添加 to_char 别名
• [SPARK-43543] [13.x][sc-131839][PYTHON] 修复 Pandas UDF 中的嵌套 MapType 行为
• [SPARK-43361] [SC-131789][protobuf] 与枚举序列化相关的错误的更新文档
• [SPARK-43740] [SC-132035][python][CONNECT] 在自动完成中隐藏不受支持的 session 方法
• [SPARK-43022] [SC-131681][connect] 对 Scala 客户端的 protobuf 函数的支持
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] 将 NotImplementedError 迁移到 PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] 尽可能启用尾递归
• [SPARK-42421] [SC-132695][core] 使用 utils 获取用于本地检查点的动态分配的开关
• [SPARK-43590] [SC-132012][connect] 使 connect-jvm-client-mima-check 支持使用 protobuf 模块进行 mima 检查
• [SPARK-43315] [13.x][connect][PYTHON][ss] 将 DataFrame(Reader|Writer) 中剩余错误迁移到错误类
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf：允许将枚举视为整数的 serde
• [SPARK-43789] [SC-132397][r] 默认情况下，将 R createDataFrame 中的“spark.sql.execution.arrow.maxRecordsPerBatch”与箭头结合使用
• [SPARK-43596] [SC-126994][sql] 在 rewriteDomainJoins 中处理 IsNull 谓词
• [SPARK-42249] [SC-122565][sql] 优化错误消息中用于说明文档的 html 链接。
• [SPARK-43128] [SC-131628][connect][SS] 使 recentProgress 和 lastProgress 返回与本机 Scala Api 一致的 StreamingQueryProgress
• [SPARK-43387] [SC-130448][sql] 为_LEGACY_ERROR_TEMP_1168提供人工可读错误代码。
• [SPARK-43334] [SC-132358] [UI] 修复将 ExecutorPeakMetricsDistributions 序列化为 API 响应时出现的错误
• [SPARK-42958] [SC-131475][connect] 重构 connect-jvm-client-mima-check 以支持使用 avro 模块进行 mima 检查
• [SPARK-43591] [SC-131977][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] 在 org.apache.spark.io 中使用错误类
• [SPARK-43759] [SC-132189][sql][PYTHON] 在 pyspark.sql.types 中公开 TimestampNTZType
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] 处理 missing row.excludedInStages 字段
• [SPARK-42956] [SC-127257][connect] 支持 Scala 客户端的 avro 函数
• [SPARK-43487] [SC-131975][sql] 修复嵌套的 CTE 错误消息
• [SPARK-43265] [SC-129653] 将错误框架移动到通用 utils 模块
• [SPARK-40912] [SC-131547][core] KryoDeserializationStream 中异常的开销
• [SPARK-43583] [SC-131976][core] 从委托中获取 MergedBlockedMetaReqHandler，而不是从 SaslRpcHandler 实例中获取
• [SPARK-42996] [SC-131997][connect][PS][ml] 为所有失败的测试创建 & 分配正确的 JIRA 票证。
• [SPARK-38469] [SC-131425][core] 在 org.apache.spark.network 中使用错误类
• [SPARK-43718] [SC-132014][sql] 为 USING 联接中的键正确设置“可为空”
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop 应接受空列
• [SPARK-43743] [SC-132038][sql] 端口 HIVE-12188（DoAs 在非 kerberos 保护的 HS2 中没有正常工作）
• [SPARK-43598] [SC-131929][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] 修复迁移期间的 ClassNotFoundException
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala 客户端 StreamingQueryManager
• [SPARK-38467] [SC-131025][core] 在 org.apache.spark.memory 中使用错误类
• [SPARK-43345] [SC-131790][spark-43346][SQL] 重命名错误类 LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] 子表达式消除支持快捷方式表达式
• [SPARK-38462] [SC-130449][core] 添加错误类 INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] 修复 cannotBroadcastTableOverMaxTableBytesError 以使用 bytesToString
• [SPARK-43539] [SC-131830][sql] 向错误类分配名称_LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] 克隆 InMemoryRelation 缓存计划，以防止克隆的计划引用相同的对象
• [SPARK-43309] [SC-129746][spark-38461][CORE] 使用类别扩展 INTERNAL_ERROR 并添加错误类 INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] 修复并发写入器未更新文件指标的问题
• [SPARK-43383] [SC-130660][sql] 向 LocalRelation 添加 rowCount 统计信息
• [SPARK-43574] [SC-131739][python][SQL] 支持在运行时期间为工作进程中的 UDF 和 pandas 函数 API 设置 Python 可执行文件
• [SPARK-43569] [SC-131694][sql] 删除 HADOOP-14067 的解决方法
• [SPARK-43183] [SC-128938][ss][13.x] 向 StreamingQueryListener 引入新的回调“onQueryIdle”
• [SPARK-43528] [SC-131531][sql][PYTHON] 在 createDataFrame 中使用 pandas DataFrame 支持重复的字段名
• [SPARK-43548] [SC-131686][ss] 移除针对 HADOOP-16255 的解决方法
• [SPARK-43494] [SC-131272][core] 直接调用 replicate() 的 HdfsDataOutputStreamBuilder，而不是在 SparkHadoopUtil#createFile 中调用反射
• [SPARK-43471] [SC-131063][core] 处理缺少 hadoopProperties 和 metricsProperties 的情况
• [SPARK-42899] [SC-126456][sql] 修复 DataFrame.to(schema)，以处理在可为空的字段中存在不可为 null 的嵌套字段的情况
• [SPARK-43302] [SC-129747][sql] 使 Python UDAF 成为 AggregateFunction
• [SPARK-43223] [SC-131270][connect] 键入了 agg，reduce 函数，RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] 扩展 QueryTerminatedEvent 以包含错误类（如果异常中存在）
• [SPARK-43359] [SC-131463][sql] 从 Hive 表中删除应会引发“UNSUPPORTED_FEATURE.TABLE_OPERATION”
• [SPARK-43284] [SC-130313] 切换回 URL 编码的字符串
• [SPARK-43492] [SC-131227][sql] 添加 具有 3 个参数的函数的别名 DATE_ADD 和 DATE_DIFF
• [SPARK-43473] [SC-131372][python] 支持 createDataFrame 中来自 pandas DataFrame 的结构类型
• [SPARK-43386] [SC-131110][sql] 优化 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类中的建议列/属性列表
• [SPARK-43443] [SC-131332][sql] 使用无效值时为时间戳类型推理添加基准
• [SPARK-43518] [SC-131420][sql] 将 _LEGACY_ERROR_TEMP_2029 转换为 INTERNAL_ERROR
• [SPARK-42604] [SC-130648][connect] 实现 functions.typedlit
• [SPARK-42323] [ES-669513] 还原“[SC-123479][sql] 为 _LEGACY_ERROR_TEMP_2332 分配名称”
• [SPARK-43357] [SC-130649][sql] 筛选日期类型引用日期
• [SPARK-43410] [SC-130526][sql] 改进 Packed skipValues 的矢量化循环
• [SPARK-43441] [SC-130995][core] makeDotNode 不应在 DeterministicLevel 不存在时失败
• [SPARK-43324] [SC-130455][sql] 处理基于增量的源的 UPDATE 命令
• [SPARK-43272] [SC-131168][core] 直接调用 createFile 而不是反射
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] 将 Spark Connect 会话错误迁移到错误类
• [SPARK-43405] [SC-130987][sql] 删除无用的 getRowFormatSQL，inputRowFormatSQL，outputRowFormatSQL 方法
• [SPARK-43447] [SC-131017][r] 支持 R 4.3.0
• [SPARK-43425] [SC-130981][sql] 将 TimestampNTZType 添加到 ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] 为涉及多个数据帧的操作添加检查
• [SPARK-43262] [SC-129270][connect][SS][python] 将 Spark Connect 结构化流式处理错误迁移到错误类
• [SPARK-42992] [13.x][sc-129465][PYTHON] 引入 PySparkRuntimeError
• [SPARK-43422] [SC-130982][sql] 具有元数据输出的情况下将标记保留在 LogicalRelation 上
• [SPARK-43390] [SC-130646][sql] DSv2 允许 CTAS/RTAS 保留架构为 Null 性
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest 支持任意请求选项。
• [SPARK-43313] [SC-130254][sql] 为 MERGE INSERT 操作添加缺少的列默认值
• [SPARK-42842] [SC-130438][sql] 将错误类_LEGACY_ERROR_TEMP_2006合并到REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] 默认启用 spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][core][CONNECT] 将 ExecutorClassLoader 移动到 core 模块并简化 Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] 改进 JDBC 数据源中的 TimestampNTZ 类型支持
• [SPARK-43343] [SC-130629][ss] FileStreamSource 在创建 DataSource 时应禁用额外的文件 glob 检查
• [SPARK-43312] [SC-130294][protobuf] 将任何字段转换为 JSON 的选项
• [SPARK-43404] [SC-130586][ss] 跳过对同一版本的 RocksDB 状态存储重用 sst 文件以避免 ID 不匹配错误
• [SPARK-43397] [SC-130614][core] executorLost 方法中的日志执行程序解除授权持续时间
• [SPARK-42388] [SC-128568][sql] 避免在矢量化读取器中读取 parquet 页脚两次
• [SPARK-43306] [13.x][sc-130320][PYTHON] 将 ValueError 从 Spark SQL 类型迁移到错误类
• [SPARK-43337] [SC-130353][ui][3.4] 用于排序列的升序/降序箭头图标不会显示在表格列中
• [SPARK-43279] [SC-130351][core] 清理 SparkHadoopUtil 中未使用的成员
• [SPARK-43250] [SC-130147][sql] 将错误类替换为内部错误 _LEGACY_ERROR_TEMP_2014
• [SPARK-43363] [SC-130299][sql][PYTHON] 仅在未提供箭头类型时才对类别类型调用 astype
• [SPARK-43261] [SC-130154][python] 将 TypeError 从 Spark SQL 类型迁移到错误类
• [SPARK-41971] [SC-130230][sql][PYTHON] 为 pandas 转换添加如何处理结构类型的配置
• [SPARK-43381] [SC-130464][connect] 使“transformStatCov”延迟
• [SPARK-43362] [SC-130481][sql] MySQL 连接器的 JSON 类型特殊处理
• [SPARK-42843] [SC-130196][sql] 将错误类 _LEGACY_ERROR_TEMP_2007 更新为 REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] 本地关系的流式处理
• [SPARK-43181] [SC-130476][sql] 在 spark-sql shell 中显示 UI WebURL
• [SPARK-43051] [SC-130194][connect] 添加输出默认值的选项
• [SPARK-43204] [SC-129296][sql] 将 MERGE 分配与表属性对齐
• [SPARK-43348] [SC-130082][python] 支持 PyPy3 中的 Python 3.8
• [SPARK-42845] [SC-130078][sql] 将错误类 _LEGACY_ERROR_TEMP_2010 更新为 InternalError
• [SPARK-43211] [SC-128978][hive] 删除 IsolatedClientLoader 中的 Hadoop2 支持

系统环境

• 操作系统：Ubuntu 22.04.2 LTS
• Java：Zulu 8.70.0.23-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.2.2
• Delta Lake：2.4.0

已安装Python库

已安装的 R 库

R 库是从 2023-02-10 的 Microsoft CRAN 快照中安装的。

已安装Java和 Scala 库（Scala 2.12 群集版本）