Databricks Runtime 13.2 (EoS)

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.2 的相关信息。

Databricks 于 2023 年 7 月发布了这些映像。

新增功能和改进

• RocksDB 状态存储的更改日志检查点
• 在 Unity Catalog 中使用浅表克隆增强 VACUUM 的可靠性。
• SQL 中对 Python UDF 的支持
• Delta Lake UniForm for Iceberg 目前为公共预览版
• Delta Lake liquid 聚类分析目前为公共预览版
• Azure Databricks 中的存档支持
• IDENTIFIER 子句支持
• Unity Catalog 支持 Python 和 Pandas 用户定义函数 (UDF)
• 使用 Delta Sharing 共享架构
• Bug 修复

RocksDB 状态存储的更改日志检查点

可启用更改日志检查点，以降低有状态“结构化流式处理”工作负载的检查点持续时间和端到端延迟。 Databricks 建议为所有“结构化流式处理”有状态查询启用更改日志检查点。 请参阅启用更改日志检查点。

在 Unity Catalog 中使用浅表克隆增强 VACUUM 的可靠性。

将 Unity Catalog 托管表用于浅克隆操作的源和目标时，Unity Catalog 会管理基础数据文件，以提高克隆操作的源和目标的可靠性。 在浅克隆的源上运行 VACUUM 不会破坏克隆的表。 请参阅 Vacuum 和 Unity Catalog 浅表克隆。

SQL 中对 Python UDF 的支持

现在可以在 Unity Catalog 的 SQL CREATE FUNCTION 语句中使用 Python 来声明用户定义的函数。 请参阅 Unity Catalog 中的用户定义函数 (UDF)。

Delta Lake UniForm for Iceberg 目前为公共预览版

借助 Delta Lake 通用格式 (UniForm)，可使用 Iceberg 客户端读取 Delta 表。 请参阅通过 Iceberg 客户端使用 UniForm 读取 Delta 表。

Delta Lake liquid 聚类分析目前为公共预览版

Delta Lake liquid 聚类分析取代了表分区和 ZORDER，以简化数据布局决策并优化查询性能。 请参阅对 Delta 表使用 liquid 聚类分析。

Azure Databricks 中的存档支持

Azure Databricks 中的存档支持引入了一系列功能，使你能够在包含 Delta 表的云对象存储上使用基于云的生命周期策略将文件移动到存档存储层。 请参阅 Azure Databricks 中的存档支持。

IDENTIFIER 子句支持

使用 IDENTIFIER(:mytable) 在许多 SQL 语句中安全地参数化表、列、函数和架构名。

Unity Catalog 支持 Python 和 Pandas 用户定义函数 (UDF)

在 Databricks Runtime 13.2 及更高版本中，在启用了 Unity Catalog 的工作区中使用共享访问模式的群集支持用 Python 编写的用户定义函数 (UDF)。 这包括支持 Python UDF 和 Pandas UDF。 有关 Python UDF 的详细信息，请参阅用户定义的标量函数 - Python。

使用 Delta Sharing 共享架构

通过 Databricks Runtime 13.2，可使用 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 来采用 Delta Sharing 共享整个架构，使接收者能够在共享架构时访问该架构中的所有表和视图，以及将来添加到该架构中的任何表和视图。 请参阅更改共享。

Bug 修复

• 修复了 JSON 读取器中的一个 bug：如果启用了 failOnUnknownFieldsmode，会在 PERMISSIVE 模式中分析记录。 现在，记录会在 DROPMALFORMEDparser 模式中被删除，或者写出到 badRecordsPath 中（如果设置了任一选项）。 如果列类型不匹配，FAILFAST 会引发错误。

库升级

• 升级了 Python 库：
  • 将 nodeenv 从 1.7.0 升级到 1.8.0
• 升级了 R 库：
• 升级了 Java 库：
  • io.delta.delta-sharing-spark_2.12 已从 0.6.7 升级到 0.7.0

Apache Spark

Databricks Runtime 13.2 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.1 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-42750] [SC-133452][DBRRM-273] 支持“按名称插入”语句
• [SPARK-43133] [SC-133728] Scala 客户端 DataStreamWriter Foreach 支持
• [SPARK-43663] [SC-134135][CONNECT][PS] 启用 SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] 修复 Spark Connect 的 (NullOps|NumOps).(eq|ne)。
• [SPARK-44021] [SC-134109][SQL] 添加 spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] 从错误中的 ID 中删除 __auto_generated_subquery_name
• [SPARK-43976] [SC-133375][CORE] 处理事件日志中没有 modifiedConfigs 的情况
• [SPARK-32559] [SC-133992][SQL] 修复剪裁逻辑未正确处理 ASCII 控制字符的问题
• [SPARK-43421] [SC-132930][SS] 为 RocksDB 状态存储提供程序实现基于更改日志的检查点
• [SPARK-43594] [SC-133851][SQL] 将 LocalDateTime 添加到 anyToMicros
• [SPARK-43884] [SC-133867] DDL 中的参数标记
• [SPARK-43398] [SC-133894][CORE] 执行程序超时应为 idle、shuffle 和 rdd 超时的最大值
• [SPARK-43610] [SC-133892][CONNECT][PS] 在 Spark Connect 中启用 InternalFrame.attach_distributed_column。
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] 以流式处理方式支持 Python 的 createDataFrame
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] 支持缓存项目
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] 添加 copyFromLocalToFs API
• [SPARK-43921] [SC-133461][PROTOBUF] 在生成时生成 Protobuf 描述符文件
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] 在 SparkSession.addArtifacts 中实现文件支持
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Python StreamingQueryProgress rowsPerSecond 类型修复
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Python Spark Connect 中的 Python 依赖项管理支持
• [SPARK-43979] [13.X] 还原“[SC-133456][SQL] CollectedMetrics 应被视为自联接的相同对象”
• [SPARK-42290] [SC-133696][SQL] 修复在启用 AQE 时无法报告 OOM 错误的问题
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] 将 SQL 数学函数添加到 Scala 和 Python
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] 在 SparkSession.addArtifacts 中实现 pyfile 支持
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] 使用 Spark Connect 启用 TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] 启用奇偶校验测试：test_line_plottest_pie_plot.
• [SPARK-43867] [SC-132895][SQL] 改进未解析属性的建议候选项
• [SPARK-43901] [SC-133454][SQL] Avro 支持由 Long 支持的自定义十进制类型
• [SPARK-43267] [SC-133024][JDBC] 将 postgres 未知的用户定义列作为数组中的字符串进行处理
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] 将 xpath_* 函数添加到 Scala 和 Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] 将 percentile 添加到 Scala 和 Python API
• [SPARK-43717] [SC-133455][CONNECT] Scala 客户端 reduce agg 无法处理 scala 基元输入的空分区
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] 当 map 不生成结果时，改用 foreach
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] 在 Python 客户端中实现 SparkSession.addArtifact
• [SPARK-44002] [SC-133606][CONNECT] 修复项目状态处理程序
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] 向 Scala 和 Python 添加线性回归聚合函数
• [SPARK-43920] [SC-133614][SQL][CONNECT] 创建 sql/api 模块
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics 应被视为自联接的相同对象
• [SPARK-43977] [SC-133373][CONNECT] 修复 dev/connect-jvm-client-mima-check 的意外检查结果
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf：修复“将枚举视为整数”bug
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] 将 unix_* 函数添加到 Scala 和 Python
• [SPARK-43807] [SC-132545][SQL] 将 _LEGACY_ERROR_TEMP_1269 迁移到 PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] 修复 Percentile[Cont|Disc] 不显示列的 sql 的 bug
• [SPARK-42626] [SC-133248][CONNECT] 为 SparkResult 添加破坏性迭代器
• [SPARK-43333] [SC-132898][SQL] 允许 Avro 将联合类型转换为字段名随字段稳定的 SQL
• [SPARK-43953] [SC-133134][CONNECT] 移除 pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] 在自动完成中隐藏不受支持的数据帧方法
• [SPARK-43973] [SC-133272][SS][UI] 结构化流式处理 UI 应正确显示失败的查询
• [SPARK-42577] [SC-125445][CORE] 为阶段添加最大尝试次数限制，以避免潜在的无限重试
• [SPARK-43841] [SC-132699][SQL] 处理 StringUtils#orderSuggestedIdentifiersBySimilarity 中没有前缀的候选属性
• [SPARK-41497] [SC-124795][CORE][Follow UP] 将配置 spark.rdd.cache.visibilityTracking.enabled 支持版本修改为 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] 迁移错误类
• [SPARK-43898] [SC-132926][CORE] 为 Scala 2.13 自动注册 immutable.ArraySeq$ofRef 到 KryoSerializer
• [SPARK-43775] [SC-132891][SQL] DataSource V2：允许将更新表示为删除和插入
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] 支持 createDataFrame 中来自 pandas DataFrame 和 toPandas 的 UserDefinedType
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] 添加 SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] 将 _LEGACY_ERROR_TEMP_0036 转换为 INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] 修复在重试任务具有 rdd 缓存时累加器计数不足的问题
• [SPARK-43892] [SC-133006][PYTHON] 在 pyspark.sql.dataframe.DataFrame 中添加对 df[|] 的自动完成支持
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] 为 Catalog.listDatabases 添加可选模式
• [SPARK-43205] [SC-132623] IDENTIFIER 子句
• [SPARK-43545] [SC-132378][SQL][PYTHON] 支持嵌套时间戳类型
• [SPARK-43949] [SC-133048][PYTHON] 将 cloudpickle 升级到 2.2.1
• [SPARK-43760] [SC-132809][SQL] 标量子查询结果的为 Null 性
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] 修复 Spark Connect 的 TimedeltaOps
• [SPARK-43895] [SC-132897][CONNECT][GO] 准备 go 包路径
• [SPARK-43894] [SC-132892][PYTHON] 修复 df.cache() 中的 bug
• [SPARK-43509] [SC-131625][CONNECT] 支持创建多个 Spark Connect 会话
• [SPARK-43882] [SC-132888][SQL] 为 _LEGACY_ERROR_TEMP_2122 分配名称
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] 修复 Spark Connect 的 NumOps
• [SPARK-43604] [SC-132165][SQL] 重构 INVALID_SQL_SYNTAX 以避免在源代码中嵌入错误文本
• [SPARK-43859] [SC-132883][SQL] 在 LateralColumnAliasReference 中重写 toString
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] 为 Catalog.listCatalogs 添加可选模式
• [SPARK-43353]还原“[SC-132734][PYTHON] 将剩余会话错误迁移到错误类”
• [SPARK-43375] [SC-130309][CONNECT] 改进 INVALID_CONNECT_URL 的错误消息
• [SPARK-43863] [SC-132721][CONNECT] 对于 Scala 2.13，从 SparkConnectPlanner 中移除冗余的 toSeq
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] 修复 Spark Connect 的 DatetimeOps
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] 修复 Spark Connect 的 BinaryOps
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] 修复 Spark Connect 的 NullOps
• [SPARK-43782] [SC-132885][CORE] 支持使用静态 Spark conf 进行日志级别配置
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 客户端 DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] 向 ExpressionImplUtils 添加 AES IV 和 AAD 支持
• [SPARK-43795] [SC-132532][CONNECT] 删除不用于 SparkConnectPlanner 的参数
• [SPARK-42317] [SC-129194][SQL] 将名称分配至 _LEGACY_ERROR_TEMP_2247：CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] 为错误类 _LEGACY_ERROR_TEMP_0017 分配名称
• [SPARK-43834] [SC-132679][SQL] 在 ResolveDefaultColumns 的编译错误中使用错误类
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] 为错误类 _LEGACY_ERROR_TEMP_240[4-5] 分配名称
• [SPARK-43576] [SC-132533][CORE] 从 Core 模块中删除未使用的声明
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] 将 Spark Connect 客户端错误迁移到错误类
• [SPARK-43799] [SC-132715][PYTHON] 向 Pyspark Protobuf API 添加描述符二进制选项
• [SPARK-43837] [SC-132678][SQL] 为错误类 _LEGACY_ERROR_TEMP_103[1-2] 分配名称
• [SPARK-43862] [SC-132750][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][PYTHON] 接受泛型元组作为 Pandas UDF 的键入提示
• [SPARK-43530] [SC-132653][PROTOBUF] 仅读取一次描述符文件
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] 为错误类 _LEGACY_ERROR_TEMP_241[1-7] 分配名称
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] 修复 Spark Connect 的 CategoricalOps
• [SPARK-39979] [SC-132685][SQL] 添加选项以将大型可变宽度向量用于箭头 UDF 操作
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] 修复 Spark Connect 的 StringOps
• [SPARK-43353] [SC-132734][PYTHON] 将剩余会话错误迁移到错误类
• [SPARK-43815] [SC-132781][SQL] 为 to_char 添加 to_varchar 别名
• [SPARK-43543] [13.x][SC-131839][PYTHON] 修复 Pandas UDF 中的嵌套 MapType 行为
• [SPARK-43361] [SC-131789][PROTOBUF] 与枚举序列化相关的错误的更新文档
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] 在自动完成中隐藏不受支持的 session 方法
• [SPARK-43022] [SC-131681][CONNECT] 支持 Scala 客户端的 protobuf 函数
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] 将 NotImplementedError 迁移到 PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] 尽可能启用尾递归
• [SPARK-42421] [SC-132695][CORE] 使用 utils 获取用于本地检查点的动态分配的开关
• [SPARK-43590] [SC-132012][CONNECT] 使 connect-jvm-client-mima-check 支持使用 protobuf 模块进行 mima 检查
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] 将剩余错误从 DataFrame(Reader|Writer) 迁移到错误类
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf：允许将枚举视为整数的 serde
• [SPARK-43789] [SC-132397][R] 默认情况下，将 R createDataFrame 中的“spark.sql.execution.arrow.maxRecordsPerBatch”与箭头结合使用
• [SPARK-43596] [SC-126994][SQL] 在 rewriteDomainJoins 中处理 IsNull 谓词
• [SPARK-42249] [SC-122565][SQL] 优化错误消息中文档的 html 链接。
• [SPARK-43128] [SC-131628][CONNECT][SS] 使 recentProgress 和 lastProgress 返回与本机 Scala API 保持一致的 StreamingQueryProgress
• [SPARK-43387] [SC-130448][SQL] 为 _LEGACY_ERROR_TEMP_1168 提供用户可读的错误代码。
• [SPARK-43334] [SC-132358] [UI] 修复将 ExecutorPeakMetricsDistributions 序列化为 API 响应时出现的错误
• [SPARK-42958] [SC-131475][CONNECT] 重构 connect-jvm-client-mima-check 以支持使用 avro 模块进行 mima 检查
• [SPARK-43591] [SC-131977][SQL] 为错误类 _LEGACY_ERROR_TEMP_0013 分配名称
• [SPARK-38464] [SC-132211][CORE] 在 org.apache.spark.io 中使用错误类
• [SPARK-43759] [SC-132189][SQL][PYTHON] 在 pyspark.sql.types 中公开 TimestampNTZType
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] 为错误类 _LEGACY_ERROR_TEMP_240[1-3] 分配名称
• [SPARK-43719] [SC-132016][WEBUI] 处理 missing row.excludedInStages 字段
• [SPARK-42956] [SC-127257][CONNECT] 支持 Scala 客户端的 avro 函数
• [SPARK-43487] [SC-131975][SQL] 修复嵌套的 CTE 错误消息
• [SPARK-43265] [SC-129653] 将错误框架移动到通用 utils 模块
• [SPARK-40912] [SC-131547][CORE] KryoDeserializationStream 中异常的开销
• [SPARK-43583] [SC-131976][CORE] 从委托中获取 MergedBlockedMetaReqHandler，而不是从 SaslRpcHandler 实例中获取
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] 为所有失败的测试创建和分配适当的 JIRA 票证。
• [SPARK-38469] [SC-131425][CORE] 在 org.apache.spark.network 中使用错误类
• [SPARK-43718] [SC-132014][SQL] 为 USING 联接中的键正确设置“可为空”
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop 应接受空列
• [SPARK-43743] [SC-132038][SQL] 端口 HIVE-12188（DoAs 在非 kerberos 保护的 HS2 中没有正常工作）
• [SPARK-43598] [SC-131929][SQL] 为错误类 _LEGACY_ERROR_TEMP_2400 分配名称
• [SPARK-43138] [SC-131031][CORE] 在迁移期间修复 ClassNotFoundException
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala 客户端 StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] 在 org.apache.spark.memory 中使用错误类
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] 重命名错误类 LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] 子表达式消除支持快捷方式表达式
• [SPARK-38462] [SC-130449][CORE] 添加错误类INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] 修复 cannotBroadcastTableOverMaxTableBytesError 以使用 bytesToString
• [SPARK-43539] [SC-131830][SQL] 为错误类 _LEGACY_ERROR_TEMP_0003 分配名称
• [SPARK-43157] [SC-131688][SQL] 克隆 InMemoryRelation 缓存计划，以防止克隆计划引用相同的对象
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] 使用类别扩展 INTERNAL_ERROR 并添加错误类 INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] 修复并发编写器不更新文件指标的问题
• [SPARK-43383] [SC-130660][SQL] 向 LocalRelation 添加 rowCount 统计信息
• [SPARK-43574] [SC-131739][PYTHON][SQL] 支持在运行时为辅助角色中的 UDF 和 pandas 函数 API 设置 Python 可执行文件
• [SPARK-43569] [SC-131694][SQL] 移除针对 HADOOP-14067 的解决方法
• [SPARK-43183] [SC-128938][SS][13.x] 向 StreamingQueryListener 引入新的回调“onQueryIdle”
• [SPARK-43528] [SC-131531][SQL][PYTHON] 在 createDataFrame 中使用 pandas DataFrame 支持重复的字段名
• [SPARK-43548] [SC-131686][SS] 移除针对 HADOOP-16255 的解决方法
• [SPARK-43494] [SC-131272][CORE] 直接调用 HdfsDataOutputStreamBuilder 的 replicate()，而不是在 SparkHadoopUtil#createFile 中调用反射
• [SPARK-43471] [SC-131063][CORE] 处理缺少 hadoopProperties 和 metricsProperties 的情况
• [SPARK-42899] [SC-126456][SQL] 修复 DataFrame.to(schema)，以处理在可为空的字段中存在不可为 null 的嵌套字段的情况
• [SPARK-43302] [SC-129747][SQL] 使 Python UDAF 成为 AggregateFunction
• [SPARK-43223] [SC-131270][Connect] 键入了 agg，reduce 函数，RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] 扩展 QueryTerminatedEvent 以包含异常中存在的错误类
• [SPARK-43359] [SC-131463][SQL] 从 Hive 表中删除应会引发“UNSUPPORTED_FEATURE.TABLE_OPERATION”
• [SPARK-43284] [SC-130313] 切换回 URL 编码的字符串
• [SPARK-43492] [SC-131227][SQL] 添加 3-args 函数别名 DATE_ADD 和 DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] 支持 createDataFrame 中来自 pandas DataFrame 的结构类型
• [SPARK-43386] [SC-131110][SQL] 改进 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类中建议的列/属性的列表
• [SPARK-43443] [SC-131332][SQL] 为使用无效值时的时间戳类型推理添加基准
• [SPARK-43518] [SC-131420][SQL] 将 _LEGACY_ERROR_TEMP_2029 转换为 INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] 实现 functions.typedlit
• [SPARK-42323] [ES-669513] 还原“[SC-123479][SQL] 为 _LEGACY_ERROR_TEMP_2332 分配名称”
• [SPARK-43357] [SC-130649][SQL] 筛选日期类型引用日期
• [SPARK-43410] [SC-130526][SQL] 改进 Packed skipValues 的矢量化循环
• [SPARK-43441] [SC-130995][CORE] 在缺少 DeterministicLevel 时，makeDotNode 不应失败
• [SPARK-43324] [SC-130455][SQL] 处理基于增量的源的 UPDATE 命令
• [SPARK-43272] [SC-131168][CORE] 直接调用 createFile 而不是反射
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] 将 Spark Connect 会话错误迁移到错误类
• [SPARK-43405] [SC-130987][SQL] 移除无用的 getRowFormatSQL、inputRowFormatSQL 和 outputRowFormatSQL 方法
• [SPARK-43447] [SC-131017][R] 支持 R 4.3.0
• [SPARK-43425] [SC-130981][SQL] 将 TimestampNTZType 添加到 ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][CLIENT] 为涉及多个数据帧的操作添加检查
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] 将 Spark Connect 结构化流式处理错误迁移到错误类
• [SPARK-42992] [13.x][SC-129465][PYTHON] 引入 PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] 具有元数据输出的情况下将标记保留在 LogicalRelation 上
• [SPARK-43390] [SC-130646][SQL] DSv2 允许 CTAS/RTAS 保留架构为 Null 性
• [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest 支持任意请求选项。
• [SPARK-43313] [SC-130254][SQL] 为 MERGE INSERT 操作添加缺少的列默认值
• [SPARK-42842] [SC-130438][SQL] 将错误类 _LEGACY_ERROR_TEMP_2006 合并到 REGEX_GROUP_INDEX 中
• [SPARK-43377] [SC-130405][SQL] 默认启用 spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][CORE][CONNECT] 将 ExecutorClassLoader 移动到 core 模块并简化 Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] 改进 JDBC 数据源中的 TimestampNTZ 类型支持
• [SPARK-43343] [SC-130629][SS] FileStreamSource 在创建 DataSource 时应禁用额外的文件 glob 检查
• [SPARK-43312] [SC-130294][PROTOBUF] 用于将任意字段转换为 JSON 的选项
• [SPARK-43404] [SC-130586][SS] 不再对相同版本的 RocksDB 状态存储重用 sst 文件，以避免出现 ID 不匹配错误
• [SPARK-43397] [SC-130614][CORE] executorLost 方法中的日志执行程序解除授权持续时间
• [SPARK-42388] [SC-128568][SQL] 避免在矢量化读取器中读取 parquet 页脚两次
• [SPARK-43306] [13.x][SC-130320][PYTHON] 将 ValueError 从 Spark SQL 类型迁移到错误类
• [SPARK-43337] [SC-130353][UI][3.4] 用于进行列排序的的 Asc/desc 箭头图标没有在表列中显示
• [SPARK-43279] [SC-130351][CORE] 清理 SparkHadoopUtil 中未使用的成员
• [SPARK-43250] [SC-130147][SQL] 将错误类 _LEGACY_ERROR_TEMP_2014 替换为内部错误
• [SPARK-43363] [SC-130299][SQL][PYTHON] 仅在未提供箭头类型时才对类别类型调用 astype
• [SPARK-43261] [SC-130154][PYTHON] 将 TypeError 从 Spark SQL 类型迁移到错误类
• [SPARK-41971] [SC-130230][SQL][PYTHON] 为 pandas 转换添加如何处理结构类型的配置
• [SPARK-43381] [SC-130464][CONNECT] 使“transformStatCov”延迟
• [SPARK-43362] [SC-130481][SQL] MySQL 连接器 JSON 类型的特殊处理
• [SPARK-42843] [SC-130196][SQL] 将错误类 _LEGACY_ERROR_TEMP_2007 更新为 REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] 本地关系的流式处理
• [SPARK-43181] [SC-130476][SQL] 在 spark-sql shell 中显示 UI WebURL
• [SPARK-43051] [SC-130194][CONNECT] 添加用于发出默认值的选项
• [SPARK-43204] [SC-129296][SQL] 使 MERGE 分配与表属性保持一致
• [SPARK-43348] [SC-130082][PYTHON] 在 PyPy3 中支持 Python 3.8
• [SPARK-42845] [SC-130078][SQL] 将错误类 _LEGACY_ERROR_TEMP_2010 更新为 InternalError
• [SPARK-43211] [SC-128978][HIVE] 移除 IsolatedClientLoader 中的 Hadoop2 支持

系统环境

• 操作系统：Ubuntu 22.04.2 LTS
• Java：Zulu 8.70.0.23-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.2.2
• Delta Lake：2.4.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）