Databricks Runtime 14.2 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.2 的相关信息。

Databricks 于 2023 年 11 月发布了此版本。

新增功能和改进

• 现在已忽略 CACHE SELECT
• 改进的缓存行为
• 修复了 DML 命令中处理已损坏文件的问题
• 支持在共享集群中为 protobuf 和 Avro 相关函数提供的架构注册表
• foreachBatch 和 StreamingListener 支持
• 行级并发已正式发布并默认启用
• Delta Sharing：受众可以对带有删除向量的共享表执行批处理、CDF 和流式查询（公开预览版）
• Unity Catalog 外部表的浅表克隆（公共预览版）
• 新的磁盘缓存分配算法
• 使用架构注册表连接器来添加对架构演变的支持
• 更快的多线程统计信息收集
• DeltaSource 中用于 Delta 文件的下推筛选器
• 在共享群集上支持 Scala 标量用户定义的函数（公共预览版）

CACHE SELECT 已被忽略

现在已忽略 SQL 命令 CACHE SELECT，以支持改进的缓存算法。 请参阅 使用 Azure Databricks 上的缓存来优化性能。

改进的缓存行为

Spark 调度器的 DiskCache 放置策略现在具备更快的分区分配、更好的均衡性能以及在集群自动扩展期间更加一致的查询执行。

修复了在执行 DML 命令时处理已损坏文件的错误

DML 命令 DELETE、UPDATE 和 MERGE INTO 不再遵循读取选项 ignoreCorruptFiles 和 ignoreMissingFiles。 在表中遇到不可读的文件时，即使指定了这些选项，这些命令现在也会失败。

支持共享群集中用于 protobuf 和 Avro 相关函数的架构注册表

现在可以将 from_avro、to_avro、from_protobuf 和 to_protobuf Python 函数与共享群集中的架构注册表配合使用。

foreachBatch 和 StreamingListener 支持

现在可以在共享群集中将 foreachBatch() 和 StreamingListener API 与结构化流式处理配合使用。 请参阅 使用 foreachBatch 写入任意数据接收器 和 在 Azure Databricks 上监视结构化流式处理查询。

行级并发普遍提供，并在默认情况下处于打开状态

行级别并发通过在行级别检测更改来减少并发写入操作之间的冲突。 仅支持无分区表的行级并发，包括采用液态聚类的表。 默认情况下，启用了删除向量的 Delta 表上会启用行级并发。 请参阅 行级并发。

Delta 共享：接收方可以对具有删除矢量的共享表执行批处理、CDF 和流式查询（公开预览）

Delta Sharing 接收方可以对使用删除向量的共享表执行批处理、CDF 和流式查询。 在 Databricks Runtime 14.1 上，他们只能执行批处理查询。 请参阅将带有删除向量或列映射的表添加到共享中、读取启用了删除向量或列映射的表和读取启用了删除向量或列映射的表。

Unity Catalog 外部表的浅克隆（公共预览版）

现在，可以将浅克隆与 Unity Catalog 外部表一起使用。 请参阅适用于 Unity Catalog 表的浅表克隆。

新的磁盘缓存分配算法

Spark 计划程序现在使用新的磁盘缓存算法。 该算法改进了节点间的磁盘利用率和分区分配，加快了初始和群集缩放事件后的分配速度。 粘滞缓存分配提升了各运行间的一致性，并减少了在重新均衡操作期间移动的数据。

使用架构注册表连接器的 from_avro 添加了对架构演变的支持

现在可以启用管道，使得在检测到已演变的记录时自动重启。 以前，如果 from_avro 连接器发生了架构演变，新列会返回 null。 请参阅读取和写入流式 Avro 数据。

更快的多线程统计信息收集

运行 CONVERT TO DELTA 或从 Apache Iceberg 和 Parquet 表克隆时，小型集群上的统计信息收集速度最高可提高至 10 倍。 请参阅转换为 Delta Lake 和克隆 Parquet 和 Iceberg 表。

在 Delta 文件上的 DeltaSource 中使用下推筛选器

为了实现更佳的利用率，Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta，然后再进行速率限制。

在共享群集上支持 Scala 标量用户定义的函数（公共预览版）

现在可以在配置了共享访问模式的已启用 Unity Catalog 的群集上使用 Scala 用户定义的标量函数。 请参阅用户定义的标量函数 - Scala。

软件库升级

• 升级Python库：
  • fastjsonschema 已从 2.18.0 升级到 2.19.0
  • filelock 从 3.12.3 到 3.12.4
  • googleapis-common-protos 从 1.60.0 到 1.61.0
• 升级了 R 库：
• 升级Java库：

Apache Spark

Databricks Runtime 14.2 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.1 （EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-45592] [ DBRRM-624] 还原“[SC-146977][sql] 使用 InMemoryTableScanExec 的 AQE 中的正确性问题”
• [SPARK-45524] [DBRRM-625] 还原“[SC-146319][python][SQL] 初步支持..."
• [SPARK-45433] [DBRRM-621] 还原“[SC-145163][sql] 修复 CSV/JSON 架构推断…
• [SPARK-45592] [SC-146977][sql]AQE 中使用 InMemoryTableScanExec 的正确性问题
• [SPARK-45354] 还原“[SC-143991][sql] 解析自下而上函数”
• [SPARK-45680][仅测试][sasp-2347][CONNECT] 修复测试
• [SPARK-45680] [CONNECT] 释放会话
• [SPARK-43380] [ SC-146726][es-897115][SQL] 修复 Avro 读取速度变慢的问题
• [SPARK-45649] [ SC-146742][sql] 统一准备框架 OffsetWindowFunctionFrame
• [SPARK-40820] [ SC-146727][python][SQL] 从 Json 创建结构类型
• [SPARK-45620] [SC-146225][python] 修复与使用 camelCase Python UDTF 相关的面向用户的 API
• [SPARK-45727] [ SC-146978][ss] 删除水印传播模拟中未使用的地图
• [SPARK-45723] [ SC-146890][python][CONNECT] 目录方法避免 pandas 转换
• [SPARK-45574] [SC-146106][sql] 添加 :: 语法作为类型转换的简写
• [SPARK-45670] [SC-146725][core][3.5] SparkSubmit 在 K8s 上部署时不支持--total-executor-cores
• [SPARK-45661] [ SC-146594][sql][PYTHON] 在 StructType、MapType 和 ArrayType 中新增 toNullable
• [SPARK-45524] [SC-146319][python][SQL] Python数据源读取 API 的初始支持
• [SPARK-45542] [SC-145892][core] 替换为setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [ SC-146641][sql] SPJ：在动态筛选后处理空输入分区
• [SPARK-45454] [ SC-144846][sql] 将表的默认所有者设置为current_user
• [SPARK-45554] [ SC-146875][python] 引入灵活参数向 assertSchemaEqual
• [SPARK-45242] [ SC-143410][sql] 使用 DataFrame ID 以语义方式验证 CollectMetrics
• [SPARK-45674] [ SC-146862][connect][PYTHON] 改进了 Spark Connect 上 JVM 相关属性的错误消息。
• [SPARK-45646] [ SC-146276][sql] 删除 Hive 2.0 之前的硬编码时间变量
• [SPARK-43380] [ SC-146726][es-897115][SQL] 修复 Avro 读取速度变慢的问题
• [SPARK-45545] [ SC-146484][core] 在任何创建 SparkTransportConf 的地方都传递 SSLOptions
• [SPARK-45641] [ SC-146260][ui] 在 AllJobsPage 上显示应用程序开始时间
• [SPARK-40154] [ SC-146491][python][Docs] 更正 Dataframe.cache docstring 中的存储级别
• [SPARK-45626] [ SC-146259][sql] 将_LEGACY_ERROR_TEMP_1055转换为REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [ SC-145900][sql] 嵌套相关标量子查询与 COUNT 聚合的正确性修复
• [SPARK-45619] [ SC-146226][connect][PYTHON] 将观察到的指标应用于观察对象
• [SPARK-45588] [ SC-145909][protobuf][CONNECT][minor] StreamingForeachBatchHelper 的 Scaladoc 改进
• [SPARK-45616] [SC-146120][core] 避免使用 ParVector，因为它不会传播 ThreadLocals 或 SparkSession
• [SPARK-45604] [ SC-146105][sql] 在 INT64 上添加 LogicalType 检查 -> Parquet 矢量化读取器上的 DateTime 转换
• [SPARK-44649] [ SC-145891][sql] 运行时筛选器支持传递等效的创建端表达式
• [SPARK-41674] [SC-128408][sql] 运行时筛选器应支持多级洗牌连接端作为筛选器创建端
• [SPARK-45547] [ SC-146228][ml] 使用内置函数验证矢量
• [SPARK-45558] [ SC-145890][ss] 为有状态流式运算符引入元数据文件
• [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
• [SPARK-45638] [ SC-146251][sql][Avro] 改进小数转换的测试覆盖率
• [SPARK-44837] [SC-146020][sql] 更改ALTER TABLE ALTER PARTITION的列相关错误信息
• [SPARK-45561][SC-146264][sql] 为 MySQLDialect 添加 TINYINT 的正确转换
• [SPARK-45632] [SC-146255][sql] 在启用 AQE 的情况下，表缓存应避免不必要的 ColumnarToRow 操作。
• [SPARK-45569] [SC-145932][sql] 为错误_LEGACY_ERROR_TEMP_2152 指定名称
• [SPARK-44784] [SC-141015][connect] 使 SBT 测试更为封闭。
• [SPARK-45452] [SC-144836][sql] 改进 InMemoryFileIndex 为使用 FileSystem.listFiles API
• [SPARK-44735] [ SC-146186][sql] 当按行插入具有相同名称但不匹配的列时添加警告消息
• [SPARK-45351] [ SC-144791][core] 将默认值更改为 spark.shuffle.service.db.backend ROCKSDB
• [SPARK-45553] [SC-145906][ps] 弃用 assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][core] 将 DeterministicLevel 公开为 DeveloperApi
• [SPARK-45549] [SC-145895][core] 删除未使用的 numExistingExecutors 在 CoarseGrainedSchedulerBackend
• [SPARK-45609] [connect][SC-146030] 在 SparkThrowable proto 消息中包含 SqlState
• [SPARK-45595] [SC-146037] 公开错误消息中的 sqlstate
• [SPARK-45628] [SC-146123][ml] 改进vector_to_array以改善.mllib.linalg.SparseVector
• [SPARK-45009] [ SC-145884][sql][FOLLOW UP] 在 AQE InSubquery 测试的联接条件中关闭解码
• [SPARK-45576] [ SC-145883][core] 在 ReloadingX509TrustManagerSuite 中删除不必要的调试日志
• [SPARK-45485] [ SC-145719][connect] 用户代理改进：使用 SPARK_CONNECT_USER_AGENT env 变量并包括特定于环境的属性
• [SPARK-45508] [SC-145513][core] 添加“-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”，以便平台可以在 Java 9+ 中访问 Cleaner。
• [SPARK-45595] 恢复“[SC-146037] 在错误消息中公开 SQLSTATE”
• [SPARK-45595] [SC-146037]在错误消息中公开 SQLSTATE
• [SPARK-45112] 还原“[SC-143259][sql] 使用 UnresolvedFunction ba...
• [SPARK-45257] [SC-143411][core] 默认情况下启用spark.eventLog.compress
• [SPARK-45586] [ SC-145899][sql] 减少具有大型表达式树的计划的编译器延迟
• [SPARK-45517] [ SC-145691][connect][14.x] 展开更多异常构造函数以支持错误框架参数
• [SPARK-45581] [SC-145896]强制使用 SQLSTATE。
• [SPARK-45427] [ SC-145590][core] 将 RPC SSL 设置添加到 SSLOptions 和 SparkTransportConf
• [SPARK-45261] [SC-143357][core] 修复了将EventLogFileWriters用作编解码器的处理问题none
• [SPARK-45582] [ SC-145897][ss] 确保在调用提交后不使用输出模式的流式聚合中的存储实例
• [SPARK-45562] [ SC-145720][sc-144650][SQL] XML： 将“rowTag”设为必需选项
• [SPARK-45392] [SC-144362][core][SQL][ss] 将Class.newInstance()替换为Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [ SC-145163][sql] 修复时间戳与指定 timestampFormat 不匹配时的 CSV/JSON 架构推理
• [SPARK-45458] [ SC-145011][sql] 在 bitwiseExpressions 中将 IllegalArgumentException 转换为 SparkIllegalArgumentException
• [SPARK-45564] [ SC-145735][sql] 使用“BloomFilterAggregate”表达式简化“DataFrameStatFunctions.bloomFilter”
• [SPARK-45566] [SC-145777][ps] 支持 Spark 上 Pandas API 的类似 Pandas 的测试工具
• [SPARK-45498] [SC-145509][core] 后续：忽略旧阶段 a 的任务完成...
• [SPARK-45483] [ SC-145152][connect] 更正 connect.functions 中的函数组
• [SPARK-45577] [ SC-145781][python] 修复 UserDefinedPythonTableFunctionAnalyzeRunner 以便从命名参数传递折叠值
• [SPARK-45009] [ SC-138223][跟进] 在 AetherSQLQuerySuite 的联接条件中关闭去相关化
• [SPARK-45415] [SC-145344] 允许在 RocksDB 状态存储中选择性禁用“fallocate”
• [SPARK-45500] [ SC-145134][core][WEBUI] 显示 MasterPage 中异常完成的驱动程序数
• [SPARK-44120] [SC-144349][python] 支持 Python 3.12
• [SPARK-45439] [ SC-145589][sql][UI] 减少 LiveStageMetrics.accumIdsToMetricType 的内存使用量
• [SPARK-45565] [ SC-145717][ui] 阶段详情中的任务列表不必要的 JSON.stringify 和 JSON.parse 循环
• [SPARK-45567] [SC-145718][connect] 删除 org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run 中冗余的 if
• [SPARK-45112] [SC-143259][sql]在 SQL 数据集函数中使用基于 UnresolvedFunction 的解析
• [SPARK-45486] [SASP-2457][sc-145612][CONNECT] 使 add_artifact 请求幂等
• [SPARK-44913] [ SC-144326][sql] DS V2 支持向下推送具有 magic 方法的 V2 UDF
• [SPARK-45538] [ SC-145635][python][CONNECT]pyspark connect overwrite_partitions bug
• [SPARK-45491] [SC-145622]添加缺少的 SQLSTATES 2/2
• [SPARK-45009] [SC-145620][sc-138223][SQL] 在联接条件中去相关化谓词子查询
• [SPARK-45377] [SC-144377][core] 处理 NettyLogger 中的 InputStream
• [SPARK-45248] [SC-143759][core] 设置 Spark UI 服务器的超时
• [SPARK-44594] [ SC-145611][ss] 删除 kafka 连接器中的冗余方法参数
• [SPARK-45539] [ SC-145621][ss] 添加断言和日志以指示在追加模式下进行流式聚合查询时需要水印定义。
• [SPARK-44262] [SC-145639][sql] 添加 dropTable 和 getInsertStatement 添加到 JdbcDialect
• [SPARK-45516] [SC-145480][connect] 在 SparkThrowable 协议消息中包含 QueryContext
• [SPARK-45310] [ SC-145127][核心] 报告洗牌块状态应在撤销迁移期间遵守洗牌服务
• [SPARK-45521] [SC-145487][ml] 避免在计算 nnz（非零元素个数）时进行重复计算 VectorAssembler
• ** [SPARK-45418] [ SC-145485][sql][PYTHON][connect] 将 current_database() 的列别名更改为 current_schema()
• [SPARK-45116] [ SC-145142][sql] 为 JdbcDialect 的 param 添加一些注释 createTable
• [SPARK-45495] [SC-145529][core] 禁用动态分配时，支持 k8s 群集的阶段级任务资源配置文件
• [SPARK-45487] [SC-145559]修正 SQLSTATE 和临时错误
• [SPARK-45505] [ SC-145550][python] 重构 Python 分析功能以提高重用性
• [SPARK-45132] [ SC-145425][sql] 修复函数调用的标识符
• [SPARK-45213] [SC-145020][sql] 为错误 _LEGACY_ERROR_TEMP_2151 分配名称
• [SPARK-45416] [SC-145126][connect] 校验箭头结果的一致性
• [SPARK-45163] [ SC-143386][sql] 合并 UNSUPPORTED_VIEW_OPERATION 和 UNSUPPORTED_TABLE_OPERATION 并修复了一些问题
• [SPARK-45421] [ SC-144814][sql] 捕获 InlineCTE 上的 AnalysisException
• [SPARK-43664] [ SC-145404][connect][PS] 在 Spark Connect 上引发 Pandas-on-Spark 对象的异常 ps.sql 。
• [SPARK-45402] [SC-145371][sql][PYTHON] 为“eval”和“terminate”方法添加 UDTF API 以利用先前的“分析”结果
• [SPARK-36112] [SC-67885][SQL] 使用 DecorrelateInnerQuery 框架支持相关的 EXISTS 和 IN 子查询
• [SPARK-45383] [SC-144929][sql] 修复关于尝试对不存在的表进行时间旅行的错误消息
• [SPARK-43254] [SC-143318][sql] 为错误_LEGACY_ERROR_TEMP_2018 指定一个名称
• [SPARK-45204] [ SC-145167][connect] 向 SparkConnectPlanner 添加可选的 ExecuteHolder
• [SPARK-45451] [SC-145144][sql] 使数据集缓存的默认存储级别可配置
• [SPARK-45192] [ SC-143194][ui] 修复 graphviz 边缘的 overdue lineInterpolate 参数
• [SPARK-45467] [SC-145146][core] 替换为Proxy.getProxyClass()Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ml][CONNECT] 添加数组组装特征变换器
• [SPARK-44855] [ SC-145226][connect] 对将 ExecuteGrpcResponseSender 附加到 ExecuteResponseObserver 进行小调整
• [SPARK-45398] [SC-144796][sql] 在ESCAPE表达式的sql()中追加Like
• [SPARK-45494] [ SC-145129][core][PYTHON] 引入 util 函数来读取/写入 PythonWorkerUtils 的字节数组
• [SPARK-45464] [SC-145125][core] 修复 network-yarn 分发构建
• [SPARK-45461] [ SC-144851][core][SQL][mllib] 引入了 StorageLevel 的映射器
• [SPARK-45450] [SC-145009][python] 根据 PEP8 修复导入问题：pyspark.pandas 和 pyspark（核心）
• [SPARK-45475] [SC-145018][sql] 在 JdbcUtils 中采用 DataFrame.foreachPartition 而不是 RDD.foreachPartition
• [SPARK-45271] [ SC-143778][sql] 将_LEGACY_ERROR_TEMP_1113合并到 TABLE_OPERATION 并删除 QueryCompilationErrors 中的一些未使用的方法
• [SPARK-45449] [SC-145013][sql] JDBC 表的缓存无效问题
• [SPARK-45473] [ SC-145017][sql] 修复了 RoundBase 的错误错误消息
• [SPARK-43299] [ SC-145022][ss][CONNECT] 在 Scala 客户端中转换 StreamingQueryException
• [SPARK-45474] [ SC-145014][core][WEBUI] 支持 MasterPage JSON API 中的顶级筛选
• [SPARK-45205] [ SC-145012][sql] CommandResultExec 重写迭代器方法，以避免触发多个作业。
• [SPARK-45472] [ SC-145004][ss] RocksDB 状态存储不需要重新检查检查点路径是否存在
• [SPARK-45470] [ SC-145010][sql] 避免粘贴 hive orc 压缩类型的字符串值
• [SPARK-45448] [SC-144829][python] 修复导入以符合 PEP8：pyspark.testing、pyspark.mllib、pyspark.resource 和 pyspark.streaming
• [SPARK-45446] [ SC-144828][python] 按照 PEP8 修正导入顺序：pyspark.errors 和 pyspark.ml
• [SPARK-45239] [SC-144832][connect] 减小 spark.connect.jvmStacktrace.maxSize 默认值
• [SPARK-45436] [ SC-144831][python][CONNECT] DataFrame 方法验证同样的会话
• [SPARK-45413] [SC-144847][core] 添加关于准备删除 LevelDB 支持的警告
• [SPARK-45462] [SC-144848][core][WEBUI] 显示DurationApplicationPage
• [SPARK-44527] [ SC-144855][sql] 如果 ScalarSubquery 的 maxRows 为 0，请将 ScalarSubquery 替换为 null
• [SPARK-45401] [SC-144854][python] 在 UDTF 接口中添加新方法cleanup
• [SPARK-43704] [SC-144849][connect][PS] 支持MultiIndexto_series()
• [SPARK-45424] [ SC-144888][sql] 修复 TimestampFormatter 仅当前缀匹配时返回可选解析结果
• [SPARK-45441] [ SC-144833][python] 为 PythonWorkerUtils 引入更多 util 函数
• [SPARK-45412] [ SC-144803][python][CONNECT] 在DataFrame.__init__中验证计划和会话
• [SPARK-45408] [ SC-144810][core] 将 RPC SSL 设置添加到 TransportConf
• [SPARK-45432] [SC-144818][core] 删除弃用的 Hadoop-2 LocatedFileStatus 构造函数
• [SPARK-45434] [ SC-144819][ml][CONNECT] LogisticRegression 检查训练标签
• [SPARK-45420] [ SC-144808][sql][PYTHON][connect] 将 DataType.fromDDL 添加到 PySpark
• [SPARK-45406] [SC-144793][python][CONNECT] 从 DataFrame 构造函数中删除schema
• [SPARK-45404] [SC-144799][core] 支持 AWS_ENDPOINT_URL env 变量
• [SPARK-43620] [ SC-144792][connect][PS] 修复 Pandas API 依赖未支持功能的问题
• [SPARK-45354] [ SC-143991][sql] 解析自下而上函数
• [SPARK-45394] [ SASP-1480][sc-144712][PYTHON][connect] 为工件 API 添加重试机制。 改进错误处理（[SPARK-45093] 的跟进）。
• [SPARK-45120] [ SC-142780][spark-45150][UI] 将 d3 从 v3 升级到 v7（v7.8.5），并在 UI 中应用 API 更改
• [SPARK-44838] [SC-143983][sql] raise_error改进
• [SPARK-45312] [SC-143754][sql][UI] 在执行页上支持切换显示/隐藏计划图 svg
• [SPARK-45378] [ SC-144448][core] 将 convertToNettyForSsl 添加到 ManagedBuffer
• [SPARK-44762] [ SC-144338][connect][CORE] SparkConnect.addJobTag 和 Connect SparkSession.addTag 文档
• [SPARK-45383] 灵活优雅地处理未解析的 RelationTimeTravel
• [SPARK-45347] [SC-144512][sql][CONNECT] 在 FetchErrorDetailsResponse 中包含 SparkThrowable
• [SPARK-45012] [ SC-141512][sql] CheckAnalysis 应抛出附带内联计划的 AnalysisException
• [SPARK-45359] [ SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} 在计划无效时应抛出异常
• [SPARK-45227] [ SC-144233][core] 修复了 CoarseGrainedExecutorBackend 的微妙线程安全问题
• [SPARK-45266] [ SC-144171][python] 重构 ResolveFunctions 分析器规则，以在使用表参数时延迟进行横向联接
• [SPARK-45266] 还原“[SC-144171][python] 重构 ResolveFunctions 分析规则，以在使用表参数时延迟执行横向连接”
• [SPARK-45371] [ SC-144389][connect] 修复 Spark Connect Scala 客户端中的底纹问题
• [SPARK-45057] [SC-144214][core] 当 keepReadLock 为 false 时避免获取读取锁
• [SPARK-45385] [SC-144357][sql] 弃用 spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][sql] 删除 SQL 配置 spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [ SC-144171][python] 重构 ResolveFunctions 分析器规则，以在使用表参数时延迟进行横向联接
• [SPARK-45362] [SC-144198][python] 在 Python UDTF 'eval' 方法使用之前，先投影出去 PARTITION BY 表达式。
• [SPARK-45346] [ SC-143925][sql] 合并架构时，Parquet 架构推理应遵循区分大小写的标志
• [SPARK-45341] [SC-143933][core] 更正 KVStore.java 注释中的标题级别，使 sbt doc 能在 Java 17 上成功运行。
• [SPARK-45334] [ SC-143914][sql] 删除 parquetSchemaConverter 中的误导性注释
• [SPARK-45337] [SC-143932][core] 重构 AbstractCommandBuilder#getScalaVersion 以删除对 Scala 2.12 的检查
• [SPARK-45329] [SC-143918][python][CONNECT] 跳过 pandas 转换的 DataFrame 方法
• [SPARK-43662] [ SC-143923][ps][CONNECT] 支持 Spark Connect 中的 merge_asof
• [SPARK-44126] [ SC-143751][核心] 当目标执行程序解除授权时，不应增加随机迁移失败计数
• [SPARK-44550] [SC-119768][sql] 在 ANSI 下启用 null IN (empty list) 的正确性修复
• [SPARK-45316] [SC-143783][core][SQL] 向ignoreCorruptFiles和/添加新参数ignoreMissingFilesHadoopRDDNewHadoopRDD
• [SPARK-45093] [SC-143414][connect][PYTHON] addArtifacts查询的错误报告
• [SPARK-44756] [ SC-143787][core] 当 RetryingBlockTransferor 无法启动重试时，执行器会挂起
• [SPARK-45333] [ SC-143768][core] 修复了与 spark.eventLog.buffer.kb 相关的一个单元错误
• [SPARK-45317] [SC-143750][sql][CONNECT] 处理异常堆栈跟踪中的空文件名问题
• [SPARK-45191] [ SC-143407][sql] InMemoryTableScanExec simpleStringWithNodeId 添加列式信息
• [SPARK-45235] [ SC-143314][connect][PYTHON] 支持映射和数组参数 sql()
• [SPARK-45138] [ SC-143309][ss] 定义新的错误类，并在检查点状态为 DFS 失败时应用它
• [SPARK-45297] [SC-143644][sql] 删除 SPARK-31827 中添加的 dateformatter 的解决方案
• [SPARK-44345] [ SC-143593][core] 如果启用了 Shuffle 迁移，则将日志级别降至 WARN
• [SPARK-44463] [SC-143251][ss][CONNECT] 改进 Connect 流处理 Python 工作器的错误处理
• [SPARK-45207] [ SC-143603][sql][CONNECT] 实现 Scala 客户端的错误扩充
• [SPARK-45240] [SC-143602][sql][CONNECT] 为 Python 客户端实现错误扩充
• [SPARK-45216] [ SC-143288][sql] 修复非确定性种子数据集 API
• [SPARK-45251] [SC-143419][connect] 为 FetchErrorDetails 添加client_type字段
• [SPARK-45137] [ SC-143001][connect] 支持参数化中的映射/数组参数 sql()
• [SPARK-45224] [ SC-143257][python] 添加使用 map 和数组作为参数的示例 sql()
• [SPARK-44622] [ SC-143205][sql][CONNECT] 实现 FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] 对于具有不受支持的源的 Trigger.AvailableNow，回退以执行单个批处理而不使用包装器
• [SPARK-44823] [14.x][sc-142979][PYTHON] 将黑色更新为 23.9.1 并修复错误检查
• [SPARK-45078] [SC-142954][sql] 修复 array_insert ImplicitCastInputTypes 无效问题
• [SPARK-44579] [ SC-138428][sql] 支持在 SQLExecution 中取消操作时中断执行
• [SPARK-45252] [ SC-143371][core] 转义注释中的大于/小于符号，以使 sbt doc 成功执行
• [SPARK-45189] [ SC-142973][sql] 从 TableIdentifier 创建 UnresolvedRelation 应包括目录字段
• [SPARK-45229] [ SC-143254][core][UI] 显示 MasterPage 中等待提交状态的驱动程序数
• [SPARK-43453]还原“[SC-143135][ps] 忽略namesMultiIndex何时axis=1为concat”

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 14.2 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.3 LTS
• Java：Zulu 8.72.0.17-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.3.1
• Delta Lake：3.0.0

已安装Python库

已安装的 R 库

R 库是从 2023-02-10 的 Posit Package Manager CRAN 快照中安装的。

已安装Java和 Scala 库（Scala 2.12 群集版本）