Databricks Runtime 14.1

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.1 的相关信息。

Databricks 于 2023 年 10 月发布了这些映像。

新增功能和改进

• array_insert() 是基于 1 的负索引
• 默认情况下，使用液体聚类分析启用增量 v2 检查点
• 在公共预览版中删除 Delta 表功能
• 增量共享：收件人可以对使用删除向量的共享表执行批处理查询（公共预览版）
• 增量共享：收件人可以对使用列映射的共享表执行批处理查询（公共预览版）
• 在公共预览版中从 Unity Catalog 视图流式传输
• 公共预览版中的 Apache Pulsar 连接器
• 升级后的 Snowflake 驱动程序
• SQL 会话变量
• SQL 和 Python UDF 的命名参数调用。
• 函数的表参数支持分区和排序。
• 新的和增强的内置 SQL 函数
• 改进了相关子查询的处理

array_insert() 是基于 1 的负索引

对于正索引和负索引，array_insert 函数是基于 1的。 现在，它会在输入数组的末尾插入索引为 -1 的新元素。 若要还原以前的行为，请将 spark.sql.legacy.negativeIndexInArrayInsert 设置为 true。

默认情况下，使用液体聚类分析启用增量 v2 检查点

默认情况下，使用液体聚类分析新建的 Delta 表会使用 v2 检查点。 请参阅表与液体聚类分析的兼容性。

在公共预览版中删除 Delta 表功能

现在，可以删除 Delta 表的某些表功能。 当前支持包括删除 deletionVectors 和 v2Checkpoint。 请参阅删除 Delta 表功能。

增量共享：收件人可以对使用删除向量的共享表执行批处理查询（公共预览版）

增量共享收件人现在可以对使用删除向量的共享表执行批处理查询。 请参阅将带有删除向量或列映射的表添加到共享中、读取启用了删除向量或列映射的表和读取启用了删除向量或列映射的表。

增量共享：收件人可以对使用列映射的共享表执行批处理查询（公共预览版）

增量共享收件人现在可以对使用列映射的共享表执行批处理查询。 请参阅将带有删除向量或列映射的表添加到共享中、读取启用了删除向量或列映射的表和读取启用了删除向量或列映射的表。

在公共预览版中从 Unity Catalog 视图流式传输

现在可以使用结构化流式处理从注册到 Unity 目录的视图执行流式传输读取。 Azure Databricks 仅支持从针对 Delta 表定义的视图流式读取。 请参阅从 Unity Catalog 视图流式传输。

公共预览版中的 Apache Pulsar 连接器

现在可以使用结构化流式传输功能从 Azure Databricks 上的 Apache Pulsar 流式传输数据。 请参阅从 Apache Pulsar 流式传输。

升级后的 Snowflake 驱动程序

Snowflake JDBC 驱动程序现在使用版本 3.13.33。

SQL 会话变量

此版本引入了在会话中声明临时变量的功能，可以对该会话进行设置，然后从查询中引用这些变量。 请参阅 变量。

SQL 和 Python UDF 的命名参数调用。

现在可以在 SQL 和 Python UDF 上使用 命名的参数调用。

函数的表参数支持分区和排序。

现在可以使用 PARTITION BY 和 ORDER BY 子句控制在函数调用期间如何将表参数传递给函数。

新的和增强的内置 SQL 函数

添加了以下内置函数：

• from_xml：将 XML STRING 分析为 STRUCT。
• schema_of_xml：从 XML STRING 派生架构。
• session_user：返回已登录用户。
• try_reflect：如果 Java 方法失败，则返回 NULL 而不是异常。

增强了以下内置函数：

• mode：支持强制确定性结果的可选参数。
• to_char：新增对 DATE、TIMESTAMP 和 BINARY 的支持。
• to_varchar：新增对 DATE、TIMESTAMP 和 BINARY 的支持。

改进了相关子查询的处理

扩展了在子查询中处理关联的能力：

• 在相关标量（横向）子查询中处理限制和排序依据。
• 支持相关标量子查询中的窗口函数。
• 支持标量和横向子查询的连接谓词中的相关引用

行为变更

Photon Parquet 阅读器中的严格类型检查

尝试从非小数类型的 Parquet 列读取小数值时，Photon 会失败。 从 Parquet 读取固定长度字节数组作为字符串时，Photon 也会失败。

库升级

• 升级了 Python 库：
  • filelock 已从 3.12.2 升级到 3.12.3
  • s3transfer 已从 0.6.1 升级到 0.6.2
• 升级了 Java 库：
  • com.uber.h3 已从 3.7.0 升级到 3.7.3
  • io.airlift.aircompressor 已从 0.24 升级到 0.25
  • io.delta.delta-sharing-spark_2.12 已从 0.7.1 升级到 0.7.5
  • io.netty.netty-all 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-buffer 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-http 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-http2 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-codec-socks 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-common 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-handler 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-handler-proxy 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-resolver 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-classes-epoll 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-classes-kqueue 已从 4.1.93.Final 升级到 4.1.96.Final
  • io.netty.netty-transport-native-epoll 已从 4.1.93.Final-linux-x86_64 升级到 4.1.96.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue 已从 4.1.93.Final-osx-x86_64 升级到 4.1.96.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common 已从 4.1.93.Final 升级到 4.1.96.Final
  • net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.33
  • org.apache.orc.orc-core 已从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
  • org.apache.orc.orc-mapreduce 已从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
  • org.apache.orc.orc-shims 已从 1.9.0 升级到 1.9.1

Apache Spark

Databricks Runtime 14.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.0（不受支持）中所包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

• [SPARK-45088] [DBRRM-557] 还原“[SC-142785][PYTHON][CONNECT] 使 getitem 适用于重复的列”
• [SPARK-43453] [DBRRM-557] 还原“[SC-143135][PS] 当 axis=1 适用于 concat 时忽略 MultiIndex 的 names”
• [SPARK-45225] [SC-143207][SQL] XML：SD 文件 URL 支持
• [SPARK-45156] [SC-142782][SQL] 在 NON_FOLDABLE_INPUT 错误类中使用反引号为 inputName 换行
• [SPARK-44910] [SC-143082][SQL] Encoders.bean 不支持具有泛型类型参数的超级类
• [SPARK-43453] [SC-143135][PS] 当 axis=1 用于 concat 时忽略 MultiIndex 的 names
• [SPARK-44463] [SS][CONNECT] 改进 Connect steaming Python 工作线程的错误处理
• [SPARK-44960] [SC-141023][UI] 跨 UI 页面取消转义并包含错误摘要
• [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] 将 from_xml 和 schema_of_xml 添加到 pyspark、spark connect 和 sql 函数
• [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] 在 setup.py 中添加缺少的包
• [SPARK-45151] [SC-142861][CORE][UI] 任务级线程转储支持
• [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] streamingQueryListener 和 foreachBatch 的终止测试
• [SPARK-45084] [SC-142828][SS] StateOperatorProgress 使用准确的有效洗牌分区数
• [SPARK-44872] [SC-142405][CONNECT] 服务器测试基础设施和 ReattachableExecuteSuite
• [SPARK-45197] [SC-142984][CORE] [SPARK-45197] [SC-142984][CORE] 让 StandaloneRestServer 将 JavaModuleOptions 添加到驱动程序
• [SPARK-44404] [SC-139601][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
• [SPARK-44647] [SC-142297][SQL] 支持 SPJ，其中连接键小于集群键
• [SPARK-45088] [SC-142785][PYTHON][CONNECT] 使 getitem 能够处理重复的列
• [SPARK-45128] [SC-142851][SQL] 支持 Arrow 中的 CalendarIntervalType
• [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] 避免 Spark 连接 ML 模型来更改输入 pandas 数据帧
• [SPARK-45034] [SC-142959][SQL] 支持确定性模式函数
• [SPARK-45173] [SC-142931][UI] 移除 UI 中一些不必要的 sourceMapping 文件
• [SPARK-45162] [SC-142781][SQL] 支持通过 call_function 构造的映射和数组参数
• [SPARK-45143] [SC-142840][PYTHON][CONNECT] 使 PySpark 与 PyArrow 13.0.0 兼容
• [SPARK-45174] [SC-142837][CORE] 支持 spark.deploy.maxDrivers
• [SPARK-45167] [SC-142956][CONNECT][PYTHON] Python 客户端必须调用 release_all
• [SPARK-36191] [SC-142777][SQL] 在相关标量（横向）子查询中处理限制和排序依据
• [SPARK-45159] [SC-142829][PYTHON] 仅在必要时处理命名参数
• [SPARK-45133] [SC-142512][CONNECT] 将 Spark Connect 查询设置为在最后一个结果任务完成时处于“已完成”状态
• [SPARK-44801] [SC-140802][SQL][UI] 在侦听器和 UI 中捕获分析失败的查询
• [SPARK-45139] [SC-142527][SQL] 添加 DatabricksDialect 来处理 SQL 类型转换
• [SPARK-45157] [SC-142546][SQL] 避免在 [On|Off|HeapColumnVector 中重复检查 if
• [SPARK-45077] 还原“[SC-142069][UI] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4”
• [SPARK-45145] [SC-142521][EXAMPLE] 添加 JavaSparkSQLCli 示例
• [SPARK-43295] 还原“[SC-142254][PS] 支持 DataFrameGroupBy.sum的字符串类型列”
• [SPARK-44915] [SC-142383][CORE] 在恢复之前验证重新装载 PVC 的随机数据的校验和
• [SPARK-45147] [SC-142524][CORE] 移除 System.setSecurityManager 使用情况
• [SPARK-45104] [SC-142206][UI] 将 graphlib-dot.min.js 升级到 1.0.2
• [SPARK-44238] [SC-141606][CORE][SQL] 为 BloomFilter 引入带有字节数组输入的新 readFrom 方法
• [SPARK-45060] [SC-141742][SQL] 修复 NULL 格式上 to_char() 的内部错误
• [SPARK-43252] [SC-142381][SQL] 将错误类 _LEGACY_ERROR_TEMP_2016 替换为内部错误
• [SPARK-45069] [SC-142279][SQL] SQL 变量应始终在外部引用后解析
• [SPARK-44911] [SC-142388][SQL] 创建具有无效列的 hive 表应返回错误类
• [SPARK-42754] [SC-125567][SQL][UI] 修复嵌套 SQL 执行中的后向兼容性问题
• [SPARK-45121] [SC-142375][CONNECT][PS] Spark Connect 支持 Series.empty。
• [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/ 等应该在有字典的列向量中工作
• [SPARK-45027] [SC-142248][PYTHON] 隐藏 pyspark.sql.functions 中的内部函数/变量以防止自动完成
• [SPARK-45073] [SC-141791][PS][CONNECT] 将 LastNotNull 替换为 Last(ignoreNulls=True)
• [SPARK-44901] [SC-141676][SQL] 手动回送：在 Python UDTF“analyze”方法中添加 API 以返回分区/排序表达式
• [SPARK-45076] [SC-141795][PS] 切换到内置 repeat 函数
• [SPARK-44162] [SC-141605][CORE] 在 Spark 指标中支持 G1GC
• [SPARK-45053] [SC-141733][PYTHON][次要] python 版本不匹配的日志改进
• [SPARK-44866] [SC-142221][SQL] 添加 SnowflakeDialect 以正确处理 BOOLEAN 类型
• [SPARK-45064] [SC-141775][PYTHON][CONNECT] 在 ceil/ceiling 中添加缺少的 scale 参数
• [SPARK-45059] [SC-141757][CONNECT][PYTHON] 将 try_reflect 函数添加到 Scala 和 Python
• [SPARK-43251] [SC-142280][SQL] 将错误类 _LEGACY_ERROR_TEMP_2015 替换为内部错误
• [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] 使函数别名输出列名称与 SQL 一致
• [SPARK-44239] [SC-141502][SQL] 重置向量时由大向量分配可用内存
• [SPARK-43295] [SC-142254][PS] 支持 DataFrameGroupBy.sum 的字符串类型列
• [SPARK-45080] [SC-142062][SS] 明确调用 DSv2 流数据源中对列式的支持
• [SPARK-45036] [SC-141768][SQL] SPJ：简化处理部分集群分布的逻辑
• [SPARK-45077] [SC-142069][UI] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4
• [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] 函数 floor/round/bround 接受列类型 scale
• [SPARK-45090] [SC-142019][PYTHON][CONNECT] DataFrame.{cube, rollup} 支持列序号
• [SPARK-44743] [SC-141625][SQL] 添加 try_reflect 函数
• [SPARK-45086] [SC-142052][UI] 显示线程锁哈希码的十六进制
• [SPARK-44952] [SC-141644][SQL][PYTHON] 支持聚合 Pandas UDF 中的命名参数
• [SPARK-44987] [SC-141552][SQL] 为错误类 _LEGACY_ERROR_TEMP_1100 指定名称
• [SPARK-45032] [SC-141730][CONNECT] 修复与 Top-level wildcard is not allowed and will error under -Xsource:3 相关的编译警告
• [SPARK-45048] [SC-141629][CONNECT] 添加针对 Python 客户端和可附加执行的附加测试
• [SPARK-45072] [SC-141807][CONNECT] 修复二元类的外部范围
• [SPARK-45033] [SC-141759][SQL] 通过参数化 sql() 支持映射
• [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] 使函数 repeat 重复接受列类型 n
• [SPARK-44860] [SC-141103][SQL] 添加 SESSION_USER 函数
• [SPARK-45074] [SC-141796][PYTHON][CONNECT] DataFrame.{sort, sortWithinPartitions} 支持列序号
• [SPARK-45047] [SC-141774][PYTHON][CONNECT] DataFrame.groupBy 支持列序号
• [SPARK-44863] [SC-140798][UI] 添加一个按钮以在 Spark UI 中将线程转储下载为 txt
• [SPARK-45026] [SC-141604][CONNECT] spark.sql 应该支持与 arrow 不兼容的数据类型
• [SPARK-44999] [SC-141145][CORE] 重构 ExternalSorter 以减少调用 getPartition 时对 shouldPartition 的检查
• [SPARK-42304] [SC-141501][SQL] 将 _LEGACY_ERROR_TEMP_2189 重命名为 GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION
• [SPARK-43781] [SC-139450][SQL] 修复从同一源派生两个数据集时的 IllegalStateException
• [SPARK-45018] [SC-141516][PYTHON][CONNECT] 将 CalendarIntervalType 添加到 Python 客户端
• [SPARK-45024] [SC-141513][PYTHON][CONNECT] 筛选出会话创建中的一些配置
• [SPARK-45017] [SC-141508][PYTHON] 将 CalendarIntervalType 添加到 PySpark
• [SPARK-44720] [SC-139375][CONNECT] 让数据集使用编码器而不是 AgnosticEncoder
• [SPARK-44982] [SC-141027][CONNECT] 在创建过程中将配置应用于sparksession
• [SPARK-44839] [SC-140900][SS][CONNECT] 在用户尝试序列化 Spark 会话时优化错误日志记录
• [SPARK-44865] [SC-140905][SS] 使 StreamingRelationV2 支持元数据列
• [SPARK-45001] [SC-141141][PYTHON][CONNECT] 实施 DataFrame.foreachPartition
• [SPARK-44497] [SC-141017][WEBUI] 在任务表中显示任务分区 ID
• [SPARK-45006] [SC-141143][UI] 对时间线 x 轴使用其他 UI 日期元素的相同日期格式
• [SPARK-45000] [SC-141135][PYTHON][CONNECT] 实施 DataFrame.foreach
• [SPARK-44967] [SC-141137][SQL][CONNECT] 单元应先考虑使用 Boolean for TreeNodeTag
• [SPARK-44993] [SC-141088][CORE] 通过重用 ShuffleChecksumTestHelp.compareChecksums 添加 ShuffleChecksumUtils.compareChecksums
• [SPARK-44807] [SC-140176][CONNECT] 将 Dataset.metadataColumn 添加到 Scala 客户端
• [SPARK-44965] [SC-141098][PYTHON] 隐藏 pyspark.sql.functions 中的内部函数/变量
• [SPARK-44983] [SC-141030][SQL] 通过 to_char 将二进制转换为字符串，格式为：hex、base64、utf-8
• [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 修复继承的命名元组以在 createDataFrame 中工作
• [SPARK-44985] [SC-141033][CORE] 对任务收获器 threadDump 使用 toString 而不是 stacktrace
• [SPARK-44984] [SC-141028][PYTHON][CONNECT] 从 DataFrame 中移除 _get_alias
• [SPARK-44975] [SC-141013][SQL] 删除已解析的 BinaryArithmetic 无用替代
• [SPARK-44969] [SC-140957][SQL] 在 ArrayAppend 中重用 ArrayInsert
• [SPARK-44549] [SC-140714][SQL] 支持相关标量子查询中的窗口函数
• [SPARK-44938] [SC-140811][SQL] 将默认值 spark.sql.maxSinglePartitionBytes 更改为 128m
• [SPARK-44918] [SC-140816][SQL][PYTHON] 支持标量 Python/Pandas UDF 中的命名参数
• [SPARK-44966] [SC-140907][CORE][CONNECT] 将从未更改的 var 更改为 val
• [SPARK-41471] [SC-140804][SQL] 仅当联接的一端为 KeyGroupedPartitioning 时减少 Spark 随机
• [SPARK-44214] [SC-140528][CORE] 支持 Spark 驱动程序实时日志 UI
• [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44776] [SC-140519][CONNECT] 将 ProducedRowCount 添加到 SparkListenerConnectOperationFinished
• [SPARK-42017] [SC-140765][PYTHON][CONNECT] df['col_name'] 应验证列名称
• [SPARK-40178] [SC-140433][SQL][COONECT] 轻松支持 PySpark 和 R 的合并提示
• [SPARK-44840] [SC-140593][SQL] 为负索引创建基于 1 的 array_insert()
• [SPARK-44939] [SC-140778][R] 在 SparkR SystemRequirements 中支持 Java 21
• [SPARK-44936] [SC-140770][CORE] 当 Spark HybridStore 达到内存限制时简化日志
• [SPARK-44908] [SC-140712][ML][CONNECT] 修复交叉验证程序 foldCol param 功能
• [SPARK-44816] [SC-140717][CONNECT] 在找不到 UDF 类时改进错误消息
• [SPARK-44909] [SC-140710][ML] 跳过启动 torch 分发服务器日志流式处理服务器（如果不可用）
• [SPARK-44920] [SC-140707][CORE] 在 TransportClientFactory.createClient() 中使用await() 而不是awaitUninterruptically()
• [SPARK-44905] [SC-140703][SQL] 有状态的 lastRegex 导致 regexp_replace 的 eval 出现 NullPointerException
• [SPARK-43987] [SC-139594][Shuffle] 将 FinalizeShuffleMerge 处理单独分配给专用线程池
• [SPARK-42768] [SC-140549][SQL] 当 ROWID 类型的列包含 NULL 值时抛出 NullPointerException
• [SPARK-44741] [SC-139447][CORE] 在 StatsdSink 中支持基于正则表达式的 MetricFilter
• [SPARK-44751] [SC-140532][SQL] XML FileFormat 接口实现
• [SPARK-44868] [SC-140438][SQL] 通过 to_char/to_varchar 将日期时间转换为字符串
• [SPARK-44748] [SC-140504][SQL] UDTF TABLE 参数中 PARTITION BY 子句的查询执行
• [SPARK-44873] [SC-140427] 在 Hive 客户端中支持具有嵌套列的更改视图
• [SPARK-44876] [SC-140431][PYTHON] 修复 Spark Connect 上经过 Arrow 优化的 Python UDF
• [SPARK-44520] [SC-137845][SQL] 将术语 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 替换为 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 和公开根 AE
• [SPARK-42664] [SC-139769][CONNECT] 支持 DataFrameStatFunctions 的 bloomFilter 函数
• [SPARK-43567] [SC-139227][PS] 支持 factorize 的 use_na_sentinel
• [SPARK-44859] [SC-140254][SS] 修复结构化流式处理文档中不正确的属性名称
• [SPARK-44822] [SC-140182][PYTHON][SQL] 默认情况下将 Python UDF 设为非确定性
• [SPARK-44731] [SC-139524][PYTHON][CONNECT] 使 TimestampNTZ 适用于 Python Spark Connect 中的文本
• [SPARK-44836] [SC-140180][PYTHON] 重构 Arrow Python UDTF
• [SPARK-44714] [SC-139238] 放宽对具有以下查询的 LCA 解析的限制
• [SPARK-44749] [SC-139664][SQL][PYTHON] 支持 Python UDTF 中的命名参数
• [SPARK-44737] [SC-139512][SQL][UI] 不应在 SQL 页上显示 SQL 页上非 SparkThrowables 的 json 格式错误
• [SPARK-44665] [SC-139307][PYTHON] 添加对 pandas DataFrame assertDataFrameEqual 的支持
• [SPARK-44736] [SC-139622][CONNECT] 将 Dataset.explode 添加到 Spark Connect Scala 客户端
• [SPARK-44732] [SC-139422][SQL] 内置 XML 数据源支持
• [SPARK-44694] [SC-139213][PYTHON][CONNECT] 重构活动会话并将其公开为 API
• [SPARK-44652] [SC-138881] 当只有一个 df 为 None 时引发错误
• [SPARK-44562] [SC-138824][SQL] 在子查询批处理中添加 OptimizeOneRowRelationSubquery
• [SPARK-44717] [SC-139319][PYTHON][PS] 在重采样中遵循 TimestampNTZ
• [SPARK-42849] [SC-139365] [SQL] 会话变量
• [SPARK-44236] [SC-139239][SQL] 在将 spark.sql.codegen.factoryMode 设置为 NO_CODEGEN 时禁用 WholeStageCodegen
• [SPARK-44695] [SC-139316][PYTHON] 改进 DataFrame.toDF 的错误消息
• [SPARK-44680] [SC-139234][SQL] 改进 DEFAULT 中的参数错误
• [SPARK-43402] [SC-138321][SQL] FileSourceScanExec 支持使用标量子查询向下推送数据筛选器
• [SPARK-44641] [SC-139216][SQL] 未触发 SPJ 时，某些情况下结果不正确
• [SPARK-44689] [SC-139219][CONNECT] 使函数 SparkConnectPlanner#unpackScalarScalaUDF 的异常处理更加通用
• [SPARK-41636] [SC-139061][SQL] 确保 selectFilters 按确定性顺序返回谓词
• [SPARK-44132] [SC-139197][SQL] 具体化联接列名称 Stream 以避免 codegen 失败
• [SPARK-42330] [SC-138838][SQL] 将名称 RULE_ID_NOT_FOUND 分配到错误类 _LEGACY_ERROR_TEMP_2175
• [SPARK-44683] [SC-139214][SS] 日志记录级别未正确传递给 RocksDB 状态存储提供程序
• [SPARK-44658] [SC-138868][CORE] ShuffleStatus.getMapStatus 应返回 None 而不是 Some(null)
• [SPARK-44603] [SC-138353] 将 pyspark.testing 添加到 setup.py
• [SPARK-44252] [SC-137505][SS] 定义新的错误类并申请从 DFS 加载状态失败的情况
• [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] 在 UDF 不可反序列化时抛出错误。
• [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] 如果初始请求未到达服务器，则重试 ExecutePlan
• [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] 删除 Connect Client Catalyst 依赖项
• [SPARK-44059] [SC-138833][SQL] 为 SQL 命令的参数添加更好的错误消息
• [SPARK-44620] [SC-138831][SQL][PS][CONNECT] 使 ResolvePivot 保留 Plan_ID_TAG
• [SPARK-43838] [SC-137413][SQL] 修复具有子句的单个表上的子查询无法优化
• [SPARK-44555] [SC-138820][SQL] 使用 checkError() 检查命令套件中的异常并分配一些错误类名称
• [SPARK-44280] [SC-138821][SQL] 在 JDBCDialect API 中添加 ConvertJavaTimestampToTimestamp
• [SPARK-44602] [SC-138337][SQL][CONNECT][PS] 使 WidenSetOperationTypes 保留 Plan_ID_TAG
• [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
• [SPARK-43838] 还原“[SC-137413][SQL] 修复单个 ta 上的子查询…
• [SPARK-44538] [SC-138178][CONNECT][SQL] Reinstate Row.jsonValue 和 friends
• [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Spark Connect 中的可重新附加执行
• [SPARK-43838] [SC-137413][SQL] 修复具有子句的单个表上的子查询无法优化
• [SPARK-44587] [SC-138315][SQL][CONNECT] 增加 protobuf 封送器递归限制
• [SPARK-44605] [SC-138338][CORE] 优化内部 ShuffleWriteProcessor API
• [SPARK-44394] [SC-138291][CONNECT][WEBUI] 为 Spark Connect 添加 Spark UI 页面
• [SPARK-44585] [SC-138286][MLLIB] 修复 MLLib RankingMetrics ndcgAk 中的警告条件
• [SPARK-44198] [SC-138137][CORE] 支持将日志级别传播到执行程序
• [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType 支持回退
• [SPARK-44425] [SC-138135][CONNECT] 验证用户提供的 sessionId 是否为 UUID
• [SPARK-43611] [SC-138051][SQL][PS][CONNCECT] 使 ExtractWindowExpressions 保留 PLAN_ID_TAG
• [SPARK-44560] [SC-138117][PYTHON][CONNECT] 改进 Arrow Python UDF 的测试和文档
• [SPARK-44482] [SC-138067][CONNECT] Connect 服务器应指定绑定地址
• [SPARK-44528] [SC-138047][CONNECT] 支持为 Connect 数据帧正确使用 hasattr()
• [SPARK-44525] [SC-138043][SQL] 在找不到调用方法时改进错误消息
• [SPARK-44355] [SC-137878][SQL] 将 WithCTE 移动到命令查询中

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 22.04.3 LTS
• Java：Zulu 8.72.0.17-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.3.1
• Delta Lake：3.0.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）