Databricks Runtime 17.3 LTS （Beta）

以下发行说明提供有关由 Apache Spark 4.0.0 提供支持的 Databricks Runtime 17.3 LTS（Beta 版）的信息。

Azure Databricks 于 2025 年 10 月发布了此 LTS 版本。

新功能和改进

• 使用常量表达式执行 IMMEDIATE
• 使用 LIMIT ALL 暂停递归 CTE 的总大小限制
• 允许 spark.sql.files.maxPartitionBytes 在无服务器计算中
• 将文件追加到 Unity Catalog 卷时，会返回准确的错误信息
• st_dump 函数现在受支持
• st_interiorringn 函数现在受支持
• st_numinteriorrings 函数现在受支持

使用常量表达式执行 IMMEDIATE

可以将常量表达式作为 SQL 字符串以及参数标记的参数传递。 这种通用化无需使用临时变量编写查询和参数。 有关详细信息，请参阅： EXECUTE IMMEDIATE

使用 LIMIT ALL 暂停递归 CTE 的总大小限制

在 Databricks Runtime 17.3 及更高版本中，可用于 LIMIT ALL 暂停对递归公共表表达式的总大小的任何限制。

允许 spark.sql.files.maxPartitionBytes 在无服务器计算（Serverless compute）中

现在可以在无服务器计算中配置 spark.sql.files.maxPartitionBytes 。 此设置已在无服务器 SQL 仓库中提供，现在也已列入无服务器计算允许列表。 请参阅 性能优化。

将文件追加到 Unity Catalog 卷时会正确返回错误消息

尝试将内容追加到 Unity 目录卷文件的任何代码现在都失败，并显示“非法查找”错误消息。 以前，它失败并出现错误的“操作不支持”错误。

st_dump 函数现在受支持

现在，您可以使用 st_dump 函数来获取包含输入几何体的单个几何体的数组。 请参阅 st_dump 函数。

st_interiorringn 函数现在受支持

现在 st_interiorringn 可以使用函数提取多边形的第 n 个内部边界，并将其作为线字符串返回。 请参阅 st_interiorringn 函数。

st_numinteriorrings 函数现在受支持

现在可以使用函数 st_numinteriorrings 获取多边形的内部边界（环）数。 请参阅 st_numinteriorrings 函数。

行为变更

• 支持在 中的 MV/ST 刷新信息
• 修复使用 Connect 模式时结构文本中的时态值转换
• 支持 Spark Connect Scala 客户端观察结果中的复杂数据类型
• 在数组、映射和结构文本中保留 null 值
• 命令的默认模式更改FSCK REPAIR TABLE
• 保留类型化文本的可为 null 性
• 修复数组和映射文本中的 case 类转换
• 改进了对 Parquet 空结构体的处理
• 升级 aws-msk-iam-auth 用于 Kafka 的库

在DESCRIBE EXTENDED AS JSON中支持 MV/ST 刷新信息

Azure Databricks 现在为输出中 DESCRIBE EXTENDED AS JSON 具体化视图和流式处理表刷新信息生成一个部分，包括上次刷新时间、刷新类型、状态和计划。

修复使用 Connect 模式时结构文本中的时态值转换

在 Spark Connect 模式下，结构文本 TypedLit 现在正确处理时态值，而不是引发异常。

支持 Spark Connect Scala 客户端观察中的复杂类型

Spark Connect Scala 客户端现在支持观察中的数组、映射和结构类型，使行为与专用群集保持一致。

在数组、映射和结构文本中保留 null 值

在 Spark Connect 模式下，数组、映射和结构文本中的 null 值现在会保留，而不是替换为 protobuf 默认值。

FSCK REPAIR TABLE命令的默认模式已更改

该 FSCK REPAIR TABLE 命令现在包含初始元数据修复步骤，在删除对缺失数据文件的引用之前验证检查点和分区值。

保留类型化字面值的可为空性

Spark Connect Scala 客户端现在正确保留类型化文本的数组和映射类型的可为 null 性。 以前，数组元素和映射值始终被视为可为 null。

修复数组和映射文本中的 case 类转换

在 Spark Connect 模式下，数组和映射字面值 TypedLit 现在正确处理 case 类值，而不是引发异常。

改进了 Parquet 中空结构体的处理

现在，当 Parquet 文件中缺少所有请求的结构字段时，Azure Databricks 现在可以正确检测 null 结构，这使得 Photon 和非 Photon 读取器之间的行为保持一致。

升级 aws-msk-iam-auth 库 以用于 Kafka

库 aws-msk-iam-auth 已升级到版本 2.0.1+ 以支持为 Apache Kafka （MSK） IAM 身份验证的托管流式处理设置区域安全令牌服务（STS）终结点。

图书馆升级

升级后的 Python 库：

此版本中没有升级 Python 库。

升级后的 R 库：

此版本中未升级 R 库。

升级后的 Java 库：

此版本中未升级任何 Java 库。

Apache Spark

Databricks Runtime 17.3（Beta 版）包括 Apache Spark 4.0.0。 此版本包括版本 17.2 中包含的所有 Spark 修复和改进，以及以下对 Spark 进行的其他 bug 修复和改进：

• SPARK-53507 向错误添加重大变更信息
• SPARK-53574 修复在嵌套计划解析期间擦除的 AnalysisContext
• SPARK-53444 重新设计立即执行
• SPARK-53560 在 Kafka 源和 AvailableNow 触发器中重试未提交的批处理时崩溃循环
• SPARK-53127 启用 LIMIT ALL 以替代递归行限制
• SPARK-53574 还原“[SC-206548] 修复被清除的 AnalysisContext...
• SPARK-53674 在分配别名时处理单轮分析器LCA
• SPARK-53492 拒绝具有已完成操作 ID 的第二个 ExecutePlan
• SPARK-53677 提高查询包含语法错误的 JDBC 数据源的可调试性
• SPARK-53490 修复观察到的指标中的 Protobuf 转换
• SPARK-53671 从 @udf eval 类型推理中排除零参数
• SPARK-53592 重构“使 @udf 支持矢量化 UDF”
• SPARK-53654 修改“函数 uuid 中的支持种子”
• SPARK-53429 支持 PySpark 数据帧 API 中的直通分区
• SPARK-53372 适用于 LDP 的共享测试运行时包
• SPARK-53574 修复在嵌套计划解析期间擦除的 AnalysisContext
• SPARK-53654还原“[SC-207022][sql][PYTHON] 函数seed中的支持uuid”
• SPARK-53574 还原“[SC-206548] 修复在嵌套计划解析期间擦除的 AnalysisContext”
• SPARK-53559 修复 HLL 草图更新以使用原始排序键字节
• SPARK-53654函数中的支持seeduuid
• SPARK-52449 为 Expression.Literal.Map/Array 创建数据类型（可选）
• SPARK-53574 修复在嵌套计划解析期间擦除的 AnalysisContext
• SPARK-53625 通过投影传播元数据列以解决 ApplyCharTypePadding 不兼容问题
• SPARK-53558 还原“[SC-206544][sql] 在找不到表时显示完全限定的表名称，包括异常消息中的目录名称”
• SPARK-53558 在找不到表时显示完全限定的表名称，包括异常消息中的目录名称
• SPARK-53357 更新 pandas 到 2.3.2
• SPARK-52659Ansi 模式下的误导性模式错误消息
• SPARK-53592 还原“[SC-206971][python] 使 @udf 支持向量化 UDF”
• SPARK-53592 使 @udf 支持向量化 UDF
• SPARK-52601 支持 TransformingEncoder 中的基元类型
• SPARK-53355 修复类型测试中的 numpy 1.x repr
• SPARK-53387 添加对带有 PARTITION BY 的箭头 UDF 的支持
• SPARK-52991 使用 V2 数据源的 SCHEMA EVOLUTION 实现 MERGE INTO
• SPARK-53568 修复 Spark Connect Python 客户端错误处理逻辑中的几个小 bug
• SPARK-43579 优化：缓存 Apache Arrow 和 pandas 之间的转换器以便重复使用
• SPARK-53524 修复 LiteralValueProtoConverter 中的时态值转换
• SPARK-53600 修改 SessionHolder 上次访问时间日志消息
• SPARK-53529 修复 pyspark 连接客户端以支持 IPv6
• SPARK-53537 增加对解析 CONTINUE HANDLER 的支持
• SPARK-53623 改进了读取大型表属性的性能
• SPARK-53523 命名参数遵循相关规定 spark.sql.caseSensitive
• SPARK-53449 内置数据源扫描相关类的简单选项
• SPARK-53620 调用 exitFn 时，SparkSubmit 应打印 stacktrace
• SPARK-53518 用户定义类型的 catalogString 没有截断
• SPARK-53568 还原“[SC-206538][connect][PYTHON] 修复 Spark Connect Python 客户端错误处理逻辑中的几个小 bug”
• SPARK-53602 配置文件转储改进和探查器文档修复
• SPARK-53402 支持 Scala 中的 Spark Connect 中的直接直通分区数据集 API
• SPARK-53491 修复进度指标 JSON 中 inputRowsPerSecond 和 processedRowsPerSecond 的指数格式设置
• SPARK-53413 命令的随机清理
• SPARK-53518 还原“[SC-205989][sql] 未截断用户定义类型的 catalogString”
• SPARK-53568 修复 Spark Connect Python 客户端错误处理逻辑中的几个小 bug
• SPARK-53552 优化子字符串 SQL 函数
• SPARK-53527 改进 analyzeExistenceDefaultValue 的回退机制
• SPARK-53584 改进process_column_param验证和列参数 docstring
• SPARK-53498正确引用pyspark/pipelines/cli.py从spark-pipelines二进制文件
• SPARK-53518 用户定义类型的 catalogString 没有截断
• SPARK-53233 使与 streaming 相关的代码使用正确的包名称
• SPARK-53598 在读取大型表属性之前检查 numParts 是否存在
• SPARK-53372 SDP 端到端测试套件
• SPARK-53563 优化：通过避免低效的字符串串联来优化sql_processor
• SPARK-53323 在 Arrow UDTF 中为 df.asTable() 启用 Spark Connect 测试
• SPARK-53157 分离驱动程序和执行程序轮询间隔
• SPARK-53555 修复：SparkML 连接无法加载 SparkML（旧模式）保存的模型
• SPARK-53361 通过将多个键分组到一个 Arrow 批处理中来优化 TWS 中的 JVM-Python 通信
• SPARK-53233 还原“[SC-203716][sql][SS][mllib][CONNECT] 使与 streaming 相关的代码使用正确的包名”
• SPARK-53233 使与 streaming 相关的代码使用正确的包名称
• SPARK-53525 Spark Connect ArrowBatch 结果分块处理
• SPARK-53444 还原“[SC-206536][sql] 立即重新执行”
• SPARK-53594 使箭头 UDF 尊重用户指定的评估类型
• SPARK-53444 重新设计立即执行
• SPARK-53582 扩展 isExtractable ，使其可以应用于 UnresolvedExtractValue
• SPARK-53572 避免在 ExtractValue.isExtractable 中抛出异常
• SPARK-52346 修复流重试的计数器初始化和增量逻辑
• SPARK-53561 在 outputStream.flush 期间捕获 TransformWithStateInPySparkStateServer 中的中断异常，以避免工作线程崩溃。
• SPARK-53512 更好地统一 DSv2 PushDownUtils
• SPARK-53459 在更多位置使用 ReadOnlySparkConf
• SPARK-53549 完成列表状态请求过程时，始终关闭箭头分配器
• SPARK-53332 启用带有状态检查点 v2 的 StateDataSource（仅启用 snapshotStartBatchId 选项）
• SPARK-53550 联合输出分区应比较规范化属性
• SPARK-53506 禁止 % 在 ANSI 下的 Decimal 和 float 之间
• SPARK-52238 将管道规范字段“定义”重命名为“库”
• SPARK-53538ExpandExec 应初始化非安全投影
• SPARK-53521 重构 Star 表达式
• SPARK-53358 改进箭头 Python UDTF 输出类型不匹配错误消息
• SPARK-53531 HadoopRDD.getInputFormat 的更好错误消息
• SPARK-53434 ColumnarRow 的 get 方法也应该检查 isNullAt
• SPARK-53008 添加 OSS SQL UDF 数据访问例程验证
• SPARK-44856 改进 Python UDTF 箭头序列化程序性能
• SPARK-53488 更新 CollationTypeCoercion 以与单传递分析器逻辑兼容
• SPARK-53029 支持 Arrow Python UDTF 的返回类型强制
• SPARK-53479与 ANSI 下的标量进行比较时，与 pandas 保持行为一致==
• SPARK-53497在 ANSI 标准下禁止 Decimal 和 float 之间的转换
• SPARK-53441布尔值|/&/^None 在 ANSI 下不应失败
• SPARK-53474 添加 conf DATA_SOURCE_V2_EXPR_FOLDING
• SPARK-53333 使用状态检查点 v2 启用 StateDataSource（仅限使用 readChangeFeed）
• SPARK-53502 改进 LiteralValueProtoConverter 中方法的命名
• SPARK-52694 添加 o.a.s.sql.Encoders#udtAPI
• SPARK-53499 from_arrow_type 应遵循 ArrayType 中的 containsNull 属性
• SPARK-53515 删除未使用的 private lazy val 从 SchemaOfCsv/Xml
• SPARK-53480 重构箭头Python运行器代码
• SPARK-53481 创建混合队列类
• SPARK-53401 在数据帧 API 中启用直通分区功能
• SPARK-52930 使用 DataType.Array/Map 表示数组/映射常量
• SPARK-52346 将分区列从目标位置进行传递，用于 BatchTableWrite
• SPARK-53342 修复 Arrow 转换器以处理单个 IPC 流中的多个记录批
• SPARK-53421 在 SDP 分析中传递逻辑计划 ID
• SPARK-53408 从中删除未使用的函数 QueryCompilationErrors
• SPARK-53044 将声明性管道导入别名约定从“sdp”更改为“dp”
• SPARK-53450 将 Hive 表扫描转换为逻辑关系后意外地填充了 Null 值
• SPARK-53290 修复导致元数据向后兼容性问题的错误
• SPARK-52982 禁止使用箭头 Python UDF 进行横向联接
• SPARK-52851 删除一次追加流的公共 API
• SPARK-52511 在 spark-pipelines 命令中支持干运行模式
• SPARK-53290 还原“[SC-204277][sql][CONNECT] 修复元数据向后兼容性中断”
• SPARK-53290 修复导致元数据向后兼容性问题的错误
• SPARK-52577 为声明性流水线的数据集管理器添加使用 Hive 目录的测试
• SPARK-53012 在 Spark Connect 中支持 Arrow Python UDTF
• SPARK-53251 启用 DataFrame API 测试 通过 asTable() 用于 Arrow Python UDTF
• SPARK-52432 将 DataflowGraphRegistry 范围限定为会话
• SPARK-52853 防止在声明式管道中使用命令式 PySpark 方法
• SPARK-52745 确保表接口中的 schema 或 columns 之一得到实现，并且 columns 是首选的
• SPARK-52991 还原“[SC-204944][sql] 使用 V2 数据源的 SCHEMA EVOLUTION 实现 MERGE INTO”
• SPARK-52981 添加对 Apache Arrow Python UDTF 的表参数支持
• SPARK-53487 改进注释 NormalizePlan.scala
• SPARK-52991 在 V2 数据源中通过模式演变实现 MERGE INTO
• SPARK-52281 如果原始数据类型为实例，则更改 ALTER TABLE ALTER COLUMN TYPE STRING 不应用默认排序规则 StringType
• SPARK-52759 如果管道没有表或持久化视图，则引发异常
• SPARK-51575 合并 Python 数据源下推和计划读取工作线程
• SPARK-53359 修复箭头 UDTF 以将结果作为迭代器进行处理
• SPARK-52757 将 DefineFlow 中的“plan”字段重命名为“relation”
• SPARK-52431 声明式流水线执行器的最后润饰
• SPARK-52591 验证 SDP 表和独立流程定义返回的 DF 流式特性
• SPARK-53030 支持流式处理 Python 数据源的箭头编写器
• SPARK-52980 支持箭头 Python UDTF
• SPARK-42841将名称分配给错误类_LEGACY_ERROR_TEMP_2005
• SPARK-52423 将缺少的 golang 包名称添加到 pipelines.proto
• SPARK-52409 仅在测试中使用 PipelineRunEventBuffer
• SPARK-52533 支持仅启用驱动程序探查器
• SPARK-52716 从 Flow 特征和引用中移除注释
• SPARK-52348 添加对管道命令的 Spark Connect 处理程序的支持
• SPARK-52281还原“[SC-198058][sql] 如果原始数据类型为实例ALTER TABLE ALTER COLUMN TYPE STRING，则更改StringType不应用默认排序规则”
• SPARK-49386 为随机溢出添加基于内存的阈值
• SPARK-52281 如果原始数据类型为实例，则更改 ALTER TABLE ALTER COLUMN TYPE STRING 不应用默认排序规则 StringType
• SPARK-53329 改进添加项目时的异常处理
• SPARK-52772 还原“[SC-202707][engrm-327][SQL] 更新期间表属性处理不一致”
• SPARK-52772 更新期间表属性处理不一致
• SPARK-51739 验证来自 mapInArrow、mapInPandas 和 DataSource 的 Arrow 架构
• SPARK-53355 测试 python udf 类型行为
• SPARK-53443 将 python 更新为 SPDX-license
• SPARK-49968 拆分函数生成错误的结果，结果为空正则表达式和限制
• SPARK-52582 改进 XML 分析器内存使用情况
• SPARK-53452from_arrow_type 应尊重 valueContainsNull
• SPARK-53103 还原“[SC-204946][ss] 如果在查询启动时状态目录不为空，则引发错误”
• SPARK-53103 如果在查询启动时状态目录不为空，则引发错误
• SPARK-51575 还原“[SC-192406][python] 合并 Python 数据源下推和计划读取工作线程”
• SPARK-51575 合并 Python 数据源下推和计划读取工作线程
• SPARK-53095 支持 HMS v4.1
• SPARK-53126 重构 SparkErrorUtils#stackTraceToString 以处理 null 输入并使用它替换 ExceptionUtils#getStackTrace
• SPARK-49489 HMS 客户端尊重 hive.thrift.client.maxmessage.size 之规定"
• SPARK-53108 在 Scala 中实现 time_diff 函数
• SPARK-45265 支持 Hive 4.0 元存储
• SPARK-53255 禁止 org.apache.parquet.Preconditions
• SPARK-52142 在 SHOW CREATE TABLE COMMAND 中显示表约束
• SPARK-52875 如果输入是上下文无关且可折叠的，请简化 V2 表达式翻译。
• SPARK-53240 禁止 com.google.common.collect.(ArrayList)?Multimap

• SPARK-52875 回退“[SC-201880][sql] 当输入是独立于上下文且可折叠时，简化 V2 表达式的转换”‍‍‍‍‍‍‍‍‍‍
• SPARK-52141 在 DESC 命令中显示约束
• SPARK-53386 支持在 JDBC 连接器中以分号结尾的查询参数
• SPARK-52875 如果输入是上下文无关且可折叠的，请简化 V2 表达式翻译。
• SPARK-53437 InterpretedUnsafeProjection 应设置 YearMonthIntervalType 字段的 setNull4Bytes
• SPARK-53341 扩展多变量 DECLARE 的黄金测试覆盖率
• SPARK-53156 跟踪应用程序结束时的驱动程序内存指标
• SPARK-52689 将 DML 指标发送到 V2Write
• SPARK-52641 主键列不应为 null
• SPARK-48547 添加可选标志，使 SparkSubmit 在用户代码的 main 方法退出后自动调用 System.exit
• SPARK-52575 为表达式引入 contextIndependentFoldable 属性
• SPARK-52860 支持在 InMemoryTable 中进行 V2 写入架构演化
• SPARK-53435 修复 CachedRDDBuilder 中的竞态条件
• SPARK-51987 写入时列默认值中的 DSv2 表达式
• SPARK-52235 向传递给 DSV2 的 DefaultValue V2 表达式添加隐式转换
• SPARK-52236 标准化分析默认值的异常
• SPARK-53294 启用带状态检查点 v2 的 StateDataSource（仅有 batchId 选项）
• SPARK-52095 更改表更改列以将 V2Expression 传递给 DSV2
• SPARK-53415 简化内置文件格式选项
• SPARK-53318 通过 make_timestamp_ltz（） 支持时间类型
• SPARK-53143 修复数据帧 API 中的自联接 - 联接不是分析器的唯一预期输出
• SPARK-53423 将所有单遍解析器相关标记移动到 ResolverTag
• SPARK-52116 改进处理非确定性默认值异常的方式
• 在 alter table add columns 中使用的 Dsv2 表达式 - SPARK-51906
• SPARK-53403 改进 ANSI 下的添加/子测试
• SPARK-53418支持TimeTypeColumnAccessor
• SPARK-52777 在 Spark SQL 中启用洗牌清理模式设置
• SPARK-52485 声明性管道代码清理
• SPARK-53236 使用 Java ArrayList 构造函数而不是 Lists.newArrayList 在 Java 代码中使用
• SPARK-53392 将 SpecializedArray 的处理迁移到 connect-common模块
• SPARK-53176 Spark 启动器应遵循--load-spark-defaults
• SPARK-53237 使用 Java Base64 而不是 org.apache.commons.codec.binary.Base64 实例
• SPARK-53390 当在 ANSI 模式下将值为 None 的布尔值转换为整数时引发错误
• SPARK-53109 支持 Scala 中make_timestamp_ntz和try_make_timestamp_ntz函数中的 TIME
• SPARK-53393 禁用 Arrow 标量迭代器 UDF 的内存探查器
• SPARK-53367 将 int 添加到箭头 UDF 的十进制强制
• SPARK-53365 统一代码以在视图和 UDF 中保存配置
• SPARK-53228 使用 Java Map 构造函数而不是 Maps.new*HashMap()
• SPARK-53197 使用 java.util.Objects#requireNonNull 而不是 com.google.common.base.Preconditions#checkNotNull

• SPARK-53216is*(Blank|Empty)从object SparkStringUtils移动到trait SparkStringUtils
• SPARK-53385 重构标识符评估
• SPARK-53384 重构变量解析
• SPARK-53195 使用 Java InputStream.readNBytes 而不是 ByteStreams.read
• SPARK-53205支持createParentDirsSparkFileUtils
• SPARK-53196 使用 Java OutputStream.nullOutputStream 而不是 ByteStreams.nullOutputStream
• SPARK-53381 避免在 中创建临时集合
• SPARK-53275 在解释模式下排序时处理有状态表达式
• SPARK-51585 Oracle 方言支持下推日期/时间函数
• SPARK-53200 使用 Java Files.newInputStream 而不是 Files.asByteSource().openStream()
• SPARK-53190 使用 Java InputStream.transferTo 而不是 ByteStreams.copy
• SPARK-53188 支持readFully在SparkStreamUtils和JavaUtils
• SPARK-53354 简化 LiteralValueProtoConverter.toCatalystStruct
• SPARK-52873 更严格地限制何时 SHJ 半/反连接可以忽略生成端的重复键
• SPARK-53180 使用 Java InputStream.skipNBytes 而不是 ByteStreams.skipFully
• SPARK-53369 修复返回 CHAR/VARCHAR 类型的 UDF 的错误消息
• SPARK-53330 修复 Arrow UDF 和 DayTimeIntervalType（边界 != start/end）
• SPARK-53366 将格式规则应用于 sql/connect/shims
• SPARK-53348 创建视图时始终保留 ANSI 值，或者在查询时假定它（如果未存储）
• SPARK-53119支持touchSparkFileUtils
• SPARK-52592 支持创建 ps。来自 ps 的系列。系列
• SPARK-53360 在具有 ConstantFolding 幂等性的情况下，策略不应被破坏
• SPARK-53135 在和中支持
• SPARK-53150 改进 list(File|Path)s 以处理不存在的、非目录的符号链接输入
• SPARK-53135 还原“[SC-203164][core][SQL] 在copyURLToFile和SparkFileUtils中支持JavaUtils”
• SPARK-53137 支持 forceDeleteOnExit 在 SparkFileUtils 和 JavaUtils
• SPARK-53352 优化不受支持的返回类型的错误消息
• SPARK-53353 标量迭代器箭头 UDF 发生错误，0 参数
• SPARK-53135 在和中支持
• SPARK-53101支持(left|right)PadSparkStringUtils
• SPARK-53117 支持 在 和
• SPARK-53121 使用 deleteRecursively 而不是 FileUtils.forceDelete
• SPARK-53100 使用 Java String.substring 而不是 StringUtils.substring
• SPARK-53092 禁止 org.apache.commons.lang3.SystemUtils
• SPARK-53328 提高 SparkML-connect 的可调试性
• SPARK-52065 在计划更改日志记录中生成另一个包含输出列（名称、数据类型、可为 null 性）的计划树
• SPARK-51182 未指定路径时，DataFrameWriter 应引发 dataPathNotSpecifiedError
• SPARK-52410弃用PipelineConf并直接使用SqlConf
• SPARK-52852 删除create_streaming_table中未使用的spark_conf
• SPARK-52714 删除append_flow修饰器中未使用的注释参数
• SPARK-52663 将名称字段引入管道规范
• SPARK-53091 禁止 org.apache.commons.lang3.Strings
• SPARK-52393 Pipeline SQL Graph 元素注册
• SPARK-52912 改进 SparkStringUtils 以支持 is(Not)?(Blank|Empty)
• SPARK-53307 从 Spark Connect Python 和 Scala 客户端中删除 RetriesExceeded 错误
• SPARK-52346 声明性管道 DataflowGraph 执行与事件日志
• SPARK-52877 改进 Python UDF 箭头序列化程序性能
• SPARK-51920 修复 Python TWS 的值状态中的复合类型和嵌套类型问题。
• SPARK-52741 RemoveFiles ShuffleCleanup 模式不适用于非自适应执行
• SPARK-52238 声明性管道的 Python 客户端
• SPARK-51926 添加 INVALID_CONF_VALUE.subXXX 错误类到配置错误
• SPARK-53155 不应将全局较低的聚合替换为项目
• SPARK-52911 删除 StringUtils.(split|chop) 使用情况
• SPARK-51926 撤销“[SC-195096][core][SQL] 添加 INVALID_CONF_VALUE.subXXX 错误类，以修复配置错误”
• SPARK-53346 避免在 toCatalystArray/toCatalystMap 中创建临时集合
• SPARK-51926 添加 INVALID_CONF_VALUE.subXXX 错误类到配置错误
• SPARK-53136 tryWithResource & tryInitializeResource 应悄悄关闭资源
• SPARK-53132支持list(File|Path)s在SparkFileUtils和JavaUtils
• SPARK-51896 添加 TypedConfigBuilder 的 Java 枚举支持
• SPARK-53311 使 PullOutNonDeterministic 使用规范化表达式
• SPARK-51527 通过 SQLConf 配置 codegen 日志级别
• SPARK-52223 添加 SDP Spark Connect Protos
• SPARK-52283 声明性管道 DataflowGraph 的创建和解析
• SPARK-52880 通过 toString 改进 JEP-280 ，而不是 ToStringBuilder
• SPARK-53284 在测试中调整 Spark 配置导入
• SPARK-53050 启用 MultiIndex.to_series（） 以返回每个条目的结构
• SPARK-52988 修复使用 IF NOT EXISTS 时的 CREATE TABLE 和 FUNCTION 上的争用条件
• SPARK-52874 支持 o.a.s.util.Pair Java Record
• SPARK-52710DESCRIBE SCHEMA 应打印排序规则
• SPARK-49984修复以仅更新supplementJava(Module|IPv6)OptionsextraJavaOptions

Azure Databricks ODBC/JDBC 驱动程序支持

Azure Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 维护更新。

系统环境

• 作系统：Ubuntu 24.04.3 LTS
• Java：Zulu17.58+21-CA
• Scala：2.13.16
• Python：3.12.3
• R：4.4.2
• Delta Lake：4.0.0

已安装的 Python 库

已安装的 R 库

R 库从 2025-03-20 的 Posit 包管理器 CRAN 快照中安装。

已安装的 Java 和 Scala 库（Scala 2.13 群集版本）