Databricks Runtime 15.3 （EoS）

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的相关信息。

Databricks 于 2024 年 6 月发布此版本。

新增功能和改进

PySpark DataSources 现在支持流读取和写入

PySpark DataSources 允许从自定义数据源读取数据以及将数据写入自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。

使用删除特性禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。

公共预览版中的变体类型语法和函数

现已在 Spark DataFrames 和 SQL 中提供对于将半结构化数据用作 VARIANT 类型的本机 Apache Spark 支持。 请参阅查询变体数据。

Delta Lake 在公共预览版中对变体类型的支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅 Variant 类型支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

为 Spark Connect Scala 客户端新增对 observe() 方法的支持

Spark Connect Scala 客户端现在支持 Dataset.observe() 方法。 通过对这些方法的支持，你可以使用 Dataset 或 ds.observe("name", metrics...) 方法定义在 ds.observe(observationObject, metrics...) 对象上观察的指标。

改进了 Auto Loader 的流重启延迟

此版本包含一项改进 Auto Loader 的流重启延迟的更改。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，你应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。

将 DataFrame 返回为 pyarrow.Table 形式

为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括 DataFrame.toArrow() 函数。 若要了解有关使用 PySpark 中的 Arrow 的详细信息，请参阅 PySpark 中的 Apache Arrow。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数（特别是不包含 ORDER BY 子句或 window_frame 参数的函数）的性能的更改。 在这些情况下，系统可重写查询，以使用聚合函数运行查询。 这一更改通过使用部分聚合并避免运行窗口函数的开销，使查询运行得更快。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，且默认设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持 ANSI SQL 兼容的两个数值相除计算，以获取整数余数。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。

list_secrets() 中支持可选范围参数

使用此版本可以将 list_secrets() 表函数的结果限制在特定范围内。

错误修复

Spark UI 中的 WriteIntoDeltaCommand 指标现在会正确显示

此版本包含一项对 Execute WriteIntoDeltaCommand 节点的 Spark UI 的 SQL 选项卡中显示的指标的修复。 以前，此节点显示的指标全部为零。

Pandas API 中的 groupby() 函数忽略了 as_index=False 参数

此版本修复了 Spark 上 Pandas API 中 groupby() 函数的问题。 在此修补程序之前，对聚合列进行重新标记的 groupby() 和 as_index=False 参数在生成的 DataFrame 中不包括组键。

多个窗口函数引用其他函数输出时的解析错误

此版本修复了 Spark 查询具有多个连续窗口函数时（此情况下，窗口函数引用来自其他窗口函数的输出）可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 此修补程序对这些引用进行了投影，以确保查询评估。 此更改由 Spark 配置参数 spark.databricks.optimizer.collapseWindows.projectReferences（默认设置为 true）控制。 若要关闭此更改，请将 spark.databricks.optimizer.collapseWindows.projectReferences 设置为 false。

软件库升级

• 升级Python库：
  • filelock 已从 3.13.1 升级到 3.13.4
• 升级了 R 库：
• 升级Java库：
  • org.rocksdb.rocksdbjni 已从 8.3.2 升级到 8.11.4

Apache Spark

Databricks Runtime 15.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 （EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-48211] [DBRRM-1041][15.x][15.3] 还原 “[SC-165552][sql] DB2：读取 SMALLINT 为 Sho…
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] 还原 SPARK-47904：使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留字母大小写
• [SPARK-48288] [SC-166141] 为连接器转换表达式添加源数据类型
• [SPARK-48175] [SC-166341][sql][PYTHON] 在元数据中存储排序规则信息，而不是在 SER/DE 中的类型中存储。
• [SPARK-48172] [SC-166078][sql] 修复 JDBCDialects 中的转义问题
• [SPARK-48186] [ SC-165544][sql] 添加对 AbstractMapType 的支持
• [SPARK-48031] [SC-166523] 将遗留视图保留为架构绑定
• [SPARK-48369] [ SC-166566][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-48330] [ SC-166458][ss][PYTHON] 修复了 Python 流数据源因触发间隔过大导致的超时问题
• [SPARK-48369] 撤销“[SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add”
• [SPARK-48336] [SC-166495][ps][CONNECT] 在 Spark Connect 中实现ps.sql
• [SPARK-48369] [ SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-47354] [SC-165546][sql] 添加对变体表达式的排序规则支持
• [SPARK-48161] [SC-165325][sql] 修复已被还原的 PR - 为 JSON 表达式添加排序规则支持
• [SPARK-48031] [SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
• [SPARK-48268] [ SC-166217][core] 为 SparkContext.setCheckpointDir 添加配置
• [SPARK-48312] [ES-1076198][sql] 改进 Alias.removeNonInheritableMetadata 性能
• [SPARK-48294] [SC-166205][sql] 处理 nestedTypeMissingElementTypeError 中的小写问题
• [SPARK-47254] [SC-158847][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [ SC-158749][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [ SC-166239][python][CONNECT] 缓存的属性必须返回副本
• [SPARK-48308] [SC-166152][core] 统一在 FileSourceStrategy 中获取没有分区列的数据模式
• [SPARK-48301] [SC-166143][sql] 重命名 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE 为 CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [ SC-166139][ps][CONNECT] 应用内置 timestamp_diff 方法
• [SPARK-47607] [SC-166129] 添加结构化记录框架的文档
• [SPARK-48297] [ SC-166136][sql] 修复具有 char/varchar 的回归 TRANSFORM 子句
• [SPARK-47045] [SC-156808][sql] 将IllegalArgumentException替换为SparkIllegalArgumentException在sql/api中
• [SPARK-46991] [ SC-156399][sql] 在IllegalArgumentException中将SparkIllegalArgumentException替换为catalyst
• [SPARK-48031] [SC-165805][sql] 支持视图架构演变
• [SPARK-48276] [SC-166116][python][CONNECT] 添加缺少的方法 __repr__ 于 SQLExpression
• [SPARK-48278] [ SC-166071][python][CONNECT] 优化字符串表示形式 Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] 添加函数 timestamp_diff
• [SPARK-47798] [SC-162492][sql] 丰富读取小数值失败时的错误消息
• [SPARK-47158] [ SC-158078][sql] 指定正确的名称和 sqlState 到 _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [SC-166082][core] TransportClientFactory.createClient 可能会出现NPE，从而导致 FetchFailedException
• [SPARK-48277] [SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
• [SPARK-47545] [SC-165444][connect] Scala 客户端的数据集observe 的支持
• [SPARK-48954] [SC-171672][sql] 添加 try_mod 函数
• [SPARK-43258] [SC-158151][sql] 将名称分配给错误_LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903][ss] 回归测试 e2e 配合 SPARK-47305
• [SPARK-48263] [SC-165925] 对非 UTF8_BINARY 字符串的排序函数支持
• [SPARK-48260] [ SC-165883][sql] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
• [SPARK-47834] [SC-165645][sql][CONNECT] 在@deprecated中用SQLImplicits标记已弃用的函数
• [SPARK-48011] [ SC-164061][core] 将 LogKey 名称存储为值以避免生成新的字符串实例
• [SPARK-48074] [SC-164647][core] 提高 JSON 日志记录的可读性
• [SPARK-44953] [SC-165866][core] 当启用洗牌跟踪时，与其他 DA 支持的机制一起启用时，记录一条警告信息。
• [SPARK-48266] [ SC-165897][connect] 将包对象 org.apache.spark.sql.connect.dsl 移动到测试目录
• [SPARK-47847] [SC-165651][core] 弃用 spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [ SC-165178][core] 清理已弃用的构造函数的使用 o.rocksdb.Logger
• [SPARK-48235] [ SC-165669][sql] 直接传递联接而不是所有参数以获取BroadcastBuildSide 和 getShuffleHashJoinBuildSide
• [SPARK-48224] [ SC-165648][sql] 禁止使用变体类型作为映射键
• [SPARK-48248] [ SC-165791][python] 修复嵌套数组的处理逻辑，以符合 inferArrayTypeFromFirstElement 的旧版配置要求。
• [SPARK-47409] [ SC-165568][sql] 添加对 StringTrim 函数/表达式排序的支持（对于 UTF8_BINARY 和 LCASE）
• [SPARK-48143] [ ES-1095638][sql] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
• [SPARK-48146] [SC-165668][sql] 修复在 With 表达式的子断言中使用的聚合函数
• [SPARK-48161] 撤销 “[SC-165325][sql] 添加对 JSON 表达式的排序规则支持”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48180] [ SC-165632][sql] 当 UDTF 使用 TABLE 参数调用忘记多个 PARTITION/ORDER BY exprs 周围的括号时，改进错误
• [SPARK-48002] [ SC-164132][python][SS] 在 PySpark StreamingQueryListener 中添加观察指标的测试
• [SPARK-47421] [SC-165548][sql] 添加对 URL 表达式的排序规则支持
• [SPARK-48161] [SC-165325][sql] 添加对 JSON 表达式的排序规则支持
• [SPARK-47359] [ SC-164328][sql] 支持 TRANSLATE 函数来处理已整理字符串
• [SPARK-47365] [ SC-165643][python] 将 toArrow（） DataFrame 方法添加到 PySpark
• [SPARK-48228] [ SC-165649][python][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
• [SPARK-47986] [ SC-165549][connect][PYTHON] 在服务器关闭默认会话时无法创建新会话
• [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48208] [ SC-165547][ss] 如果启用了有限内存使用量，则跳过从 RocksDB 提供内存使用情况指标
• [SPARK-47566] [ SC-164314][sql] 支持 SubstringIndex 函数来处理已排序字符串
• [SPARK-47589] [ SC-162127][sql]Hive-Thriftserver：将带变量的 logError 函数迁移到结构化日志框架
• [SPARK-48205] [SC-165501][python] 删除Python数据源的 private[sql] 修饰符
• [SPARK-48173] [ SC-165181][sql] CheckAnalysis 应看到整个查询计划
• [SPARK-48197] [ SC-165520][sql] 避免无效 lambda 函数的断言错误
• [SPARK-47318] [ SC-162573][core] 在 AuthEngine 密钥派生中添加 HKDF 轮次，以遵循标准 KEX 实践
• [SPARK-48184] [SC-165335][python][CONNECT] 始终在客户端设置Dataframe.sample的种子
• [SPARK-48128] [ SC-165004][sql] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的代码生成语法错误
• [SPARK-48147] [ SC-165144][ss][CONNECT] 删除本地 Spark 会话时删除客户端侦听器
• [SPARK-48045] [SC-165299][python] Pandas API 中的 groupby 在使用多重聚合重命名时忽略 as_index=False
• [SPARK-48191] [ SC-165323][sql] 支持用于字符串编码和解码的 UTF-32
• [SPARK-45352] [ SC-137627][sql] 消除可折叠窗口分区
• [SPARK-47297] [ SC-165179][sql] 添加对格式表达式的排序规则支持
• [SPARK-47267] [ SC-165170][sql] 为哈希表达式添加排序规则支持
• [SPARK-47965] [SC-163822][core] 避免在 TypedConfigBuilder 和 OptionalConfigEntry 中使用 orNull
• [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
• [SPARK-48105] [ SC-165132][ss] 解决状态存储卸载和快照之间的竞态条件
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-47719] [SC-161909][sql] 更改 spark.sql.legacy.timeParse...
• [SPARK-48035] [ SC-165136][sql] 修复try_add/try_multiply操作语义上等同于加法/乘法的问题
• [SPARK-48107] [SC-164878][python] 从Python分发中排除测试
• [SPARK-46894] [ SC-164447][python] 将 PySpark 错误条件移动到独立 JSON 文件中
• [SPARK-47583] [ SC-163825][core] SQL 核心：将带变量的 logError 迁移到结构化日志记录框架
• [SPARK-48064] 撤销“[SC-164697][sql] 更新例程相关错误类的错误消息”
• [SPARK-48048] [ SC-164846][connect][SS] 添加了对 Scala 的客户端监听器支持
• [SPARK-48064] [SC-164697][sql] 更新例程相关错误类的错误消息
• [SPARK-48056] [ SC-164715][connect][PYTHON] 如果发生 SESSION_NOT_FOUND 错误并且未收到部分响应，则重新执行计划
• [SPARK-48124] [ SC-165009][core] 默认情况下禁用 Connect-Repl 的结构化日志记录
• [SPARK-47922] 撤销“[SC-163997][sql] 实现try_parse_json表达式”
• [SPARK-48065] [ SC-164817][sql] SPJ：allowJoinKeysSubsetOfPartitionKeys 过于严格
• [SPARK-48114] [ SC-164956][core] 预编译模板正则表达式以避免不必要的工作
• [SPARK-48067] [SC-164773][sql] 修复变体默认列
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-48075] [SC-164709][SS] 添加 PySpark avro 函数的类型检查
• [SPARK-47793] [ SC-164324][ss][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
• [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 中的 ClassCastException（如果参数不可折叠或类型错误）
• [SPARK-48102] [ SC-164853][ss] 在报告流式查询进展时跟踪获取源/汇指标的持续时间
• [SPARK-47671] [ SC-164854][core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
• [SPARK-47904] [ SC-163409][sql] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
• [SPARK-48058] [ SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType 分析 DDL 字符串
• [SPARK-46922] [ SC-156102][core][SQL] 不要封装用户面向的运行时错误
• [SPARK-48047] [ SC-164576][sql] 降低空 TreeNode 标记的内存压力
• [SPARK-47934] [SC-164648][CORE] 确保 HistoryServer URL 重定向中的尾随斜杠
• [SPARK-47921] [SC-163826][connect] 修复 ExecuteHolder 中的 ExecuteJobTag 创建问题
• [SPARK-48014] [ SC-164150][sql] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
• [SPARK-47903] [ SC-163424][python] 在 PySpark Variant 库中添加对剩余标量类型的支持
• [SPARK-48068] [SC-164579][python] mypy 应具有 --python-executable 参数
• [SPARK-47846] [ SC-163074][sql] 在 from_json 表达式中添加对 Variant 类型的支持
• [SPARK-48050] [ SC-164322][ss] 查询开始时记录逻辑计划
• [SPARK-47810] [SC-163076][sql] 将等效表达式<替换为联接条件中的 =>
• [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
• [SPARK-48053] [ SC-164309][python][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
• [SPARK-47939] [ SC-164171][sql] 实现新的分析器规则，在 ExplainCommand 和 DescribeQueryCommand 内移动 ParameterizedQuery
• [SPARK-48063] [SC-164432][core] 默认情况下启用spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280][sql] 修复了当使用十进制时try_divide函数中的bug
• [SPARK-48033] [ SC-164291][sql] 修复 RuntimeReplaceable 在默认列中使用的表达式
• [SPARK-48010] [ SC-164051][sql][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
• [SPARK-48003] [ SC-164323][sql] 为 HLL Sketch 聚合添加排序规则支持
• [SPARK-47994] [ SC-164175][sql] 修复了 SQLServer 中 CASE WHEN 列筛选器下推的问题
• [SPARK-47984] [SC-163837][ml][SQL] 修改MetricsAggregate/V2Aggregator#serialize/deserialize为调用SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [ SC-164202][sql] 在类层级使用带有时区的时间戳格式化程序，而不是在方法级别创建副本
• [SPARK-47596] [SPARK-47600 ][spark-47604][SPARK-47804] 结构化日志迁移
• [SPARK-47594] [SPARK-47590 ][spark-47588][SPARK-47584] 结构化日志迁移
• [SPARK-47567] [ SC-164172][sql] 支持 LOCATE 函数与具有排序规则的字符串一同作用
• [SPARK-47764] [ SC-163820][core][SQL] 基于 ShuffleCleanupMode 清理洗牌依赖项
• [SPARK-48039] [SC-164174][python][CONNECT] 更新错误类group.apply
• [SPARK-47414] [ SC-163831][sql] 对正则表达式的小写字符排序规则的支持
• [SPARK-47418] [SC-163818][sql] 为支持小写和 Unicode 感知的 contains、startsWith 和 endsWith 函数增加手动实现，并优化 UTF8_BINARY_LCASE
• [SPARK-47580] [ SC-163834][sql] SQL 催化剂：消除错误日志中的未命名变量
• [SPARK-47351] [SC-164008][sql] 为 StringToMap 和 Mask 字符串表达式添加排序规则支持
• [SPARK-47292] [ SC-164151][ss] safeMapToJValue 需要考虑具有空类型的值
• [SPARK-47476] [ SC-164014][sql] 支持 REPLACE 函数来处理已排序的字符串
• [SPARK-47408] [SC-164104][sql] 修复使用 StringType 的 mathExpressions
• [SPARK-47350] [ SC-164006][sql] 添加对 SplitPart 字符串表达式的排序规则支持
• [SPARK-47692] [ SC-163819][sql] 修复隐式转换中的默认 StringType 含义
• [SPARK-47094] [SC-161957][sql] SPJ：当存储桶数量不相等时动态调整以重新平衡桶数
• [SPARK-48001] [SC-164000][core] 移除private implicit def arrayToArrayWritable和SparkContext中未使用的元素
• [SPARK-47986] [ SC-163999][connect][PYTHON] 无法在服务器关闭默认会话时创建新会话
• [SPARK-48019] [SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
• [SPARK-47743] [ SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] 结构化日志迁移
• [SPARK-47999] [ SC-163998][ss] 改进了与在 HDFS 支持的状态存储提供程序中创建快照以及在状态缓存映射中添加/删除条目相关的日志记录
• [SPARK-47417] [SC-162872][sql] 字符排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
• [SPARK-47712] [ SC-161871][connect] 允许连接插件创建和处理数据集
• [SPARK-47411] [ SC-163351][sql] 支持 StringInstr 和 FindInSet 函数来处理整理字符串
• [SPARK-47360] [ SC-163014][sql] 排序规则支持：覆盖、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [ SC-163323][sql] - 为排序规则添加对 substr/left/right 的支持
• [SPARK-47983] [ SC-163835][sql] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部使用
• [SPARK-47964] [ SC-163816][python][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
• [SPARK-47985] [ SC-163841][python] 使用lit简化函数
• [SPARK-47633] [ SC-163453][sql] 包括右侧计划的输出，从而实现更一致的规范化LateralJoin#allAttributes
• [SPARK-47909] 还原“[PYTHON][connect] 父数据帧类 f...
• [SPARK-47767] [ SC-163096][sql] 显示 TakeOrderedAndProjectExec 中的偏移值
• [SPARK-47822] [SC-162968][sql] 禁止哈希表达式对变体数据类型进行哈希处理
• [SPARK-47490] [ SC-160494][ss] 修复 RocksDB 日志器构造函数的使用，以避免弃用警告
• [SPARK-47417] 还原“[SC-162872][sql] 排序支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences”
• [SPARK-47352] [ SC-163460][sql] 修复上部、下层、InitCap 排序规则感知
• [SPARK-47909] [PYTHON][connect] Spark Connect 和 Spark Classic 的父数据帧类
• [SPARK-47417] [SC-162872][sql] 字符排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 15.3 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.18
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装Python库

已安装的 R 库

R 库从 Posit Package Manager CRAN 快照中安装。

已安装Java和 Scala 库（Scala 2.12 群集版本）