Databricks Runtime 15.3 （EoS）

以下发行说明提供有关由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的信息。

Databricks 于 2024 年 6 月发布了此版本。

新功能和改进

PySpark DataSources 现在支持流读取和写入

PySpark DataSources 支持从自定义数据源读取和写入到自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。

使用删除功能禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅 “禁用列映射”。

公共预览版中的变体类型语法和函数

Apache Spark 原生支持对作为 VARIANT 类型的半结构化数据的处理，现已在 Spark DataFrame 和 SQL 中提供。 请参阅查询变体数据。

公共预览版中对 Delta Lake 的变体类型支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅 Delta Lake 中的变体支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

为 Spark Connect Scala 客户端添加了对 observe() 方法的支持

Spark Connect Scala 客户端现在支持 Dataset.observe() 这些方法。 通过对这些方法的支持，可以定义使用Dataset或ds.observe("name", metrics...)方法观察对象上的ds.observe(observationObject, metrics...)指标。

改进了 Auto Loader 的流重启延迟

此版本对自动加载程序进行了改进，以减少流重启时的延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。

以数据帧的形式返回 pyarrow.Table

为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括函数 DataFrame.toArrow() 。 若要了解有关在 PySpark 中使用箭头的详细信息，请参阅 PySpark 中的 Apache Arrow。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数的性能的更改，特别是不包含 ORDER BY 子句或 window_frame 参数的函数。 在这些情况下，系统可以重写查询，以使用聚合函数运行查询。 此更改允许查询使用部分聚合更快地运行，并避免运行窗口函数的开销。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，默认情况下设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持 ANSI SQL 兼容地计算两个数值相除所得的整数余数。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可以使用函数try_mod()，而不是mod或%，因为如果除数参数为0且启用了ANSI SQL，它们会引发异常。

支持 list_secrets() 中的一个可选 "范围" 参数

此版本允许将 list_secrets（） 表函数的结果限制为特定范围。

故障修复

WriteIntoDeltaCommand Spark UI 中的指标现在显示正确

此版本包括修复了 Execute WriteIntoDeltaCommand 节点的 Spark UI 中 SQL 指标的显示问题。 以前，此节点显示的指标全部为零。

groupby() Pandas API 中的函数忽略了as_index=False参数

此版本包含对 Spark 上 Pandas API 的 groupby() 函数问题的修复。 在修复之前， groupby() 对聚合列和 as_index=False 自变量的重新标记不包括生成的 DataFrame 中的组键。

多个窗口函数参考其他函数输出时的解析错误

此版本修复了 Spark 查询具有多个连续窗口函数（其中窗口函数引用来自其他窗口函数的输出）时可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 解决方案将这些引用进行投射以确保查询评估。 此更改由 Spark 配置参数控制，该参数 spark.databricks.optimizer.collapseWindows.projectReferences默认设置为 true 。 若要关闭此更改，请设置为 spark.databricks.optimizer.collapseWindows.projectReferencesfalse。

图书馆升级

• 升级后的 Python 库：
  • filelock 从 3.13.1 到 3.13.4
• 升级后的 R 库：
• 升级后的 Java 库：
  • org.rocksdb.rocksdbjni 从 8.3.2 到 8.11.4

Apache Spark

Databricks Runtime 15.3 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 （EoS）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

• [SPARK-48211] [DBRRM-1041][15.x][15.3] 还原 “[SC-165552][sql] DB2：读取 SMALLINT 为 Sho…
• [SPARK-47904] [DBRRM-1040][behave-33][SC-163409] 还原 SPARK-47904：使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留字母大小写
• [SPARK-48288] [SC-166141] 为连接器强制转换表达式添加源数据类型
• [SPARK-48175] [ SC-166341][sql][PYTHON] 将排序规则信息存储在元数据中，而不是存储在类型中的 SER/DE 中
• [SPARK-48172] [SC-166078][sql] 修复 JDBCDialects 中的转义问题
• [SPARK-48186] [ SC-165544][sql] 添加对 AbstractMapType 的支持
• [SPARK-48031] [SC-166523] 将遗留视图过渡至 SCHEMA BINDING
• [SPARK-48369] [ SC-166566][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-48330] [ SC-166458][ss][PYTHON] 修复了长触发间隔的 Python 流数据源超时问题
• [SPARK-48369] 撤销“[SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add”
• [SPARK-48336] [SC-166495][ps][CONNECT] 在 Spark Connect 中实现ps.sql
• [SPARK-48369] [ SC-166494][sql][PYTHON][connect] 添加函数 timestamp_add
• [SPARK-47354] [SC-165546][sql] 添加对变体表达式的排序规则支持
• [SPARK-48161] [SC-165325][sql] 修复已被还原的 PR - 为 JSON 表达式添加排序规则支持
• [SPARK-48031] [ SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
• [SPARK-48268] [ SC-166217][core] 为 SparkContext.setCheckpointDir 添加配置
• [SPARK-48312] [ES-1076198][sql] 改进 Alias.removeNonInheritableMetadata 性能
• [SPARK-48294] [SC-166205][sql] 处理 nestedTypeMissingElementTypeError 中的小写问题
• [SPARK-47254] [ SC-158847][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [ SC-158749][sql] 将名称分配给错误类_LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [ SC-166239][python][CONNECT] 缓存的属性必须返回副本
• [SPARK-48308] [SC-166152][core] 统一在 FileSourceStrategy 中获取没有分区列的数据模式
• [SPARK-48301] [SC-166143][sql] 重命名 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE 为 CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [ SC-166139][ps][CONNECT] 应用内置 timestamp_diff 方法
• [SPARK-47607] [SC-166129] 添加结构化日志记录框架的文档
• [SPARK-48297] [ SC-166136][sql] 修复具有 char/varchar 的回归 TRANSFORM 子句
• [SPARK-47045] SC-156808][sql] 在IllegalArgumentException中用SparkIllegalArgumentException替换sql/api
• [SPARK-46991] [ SC-156399][sql] Replace IllegalArgumentException by SparkIllegalArgumentException in catalyst
• [SPARK-48031] [SC-165805][sql] 支持视图架构演变
• [SPARK-48276] [SC-166116][python][CONNECT] 添加缺少的方法 __repr__ 于 SQLExpression
• [SPARK-48278] [ SC-166071][python][CONNECT] 优化字符串表示形式 Cast
• [SPARK-48272] [SC-166069][sql][PYTHON][connect] 添加函数 timestamp_diff
• [SPARK-47798] [SC-162492][sql] 丰富读取小数值失败时的错误消息
• [SPARK-47158] [ SC-158078][sql] 指定正确的名称和 sqlState 到 _LEGACY_ERROR_TEMP_(2134|2231)
• [SPARK-48218] [ SC-166082][core] TransportClientFactory.createClient 可能会导致 FetchFailedException
• [SPARK-48277] [ SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
• [SPARK-47545] [ SC-165444][connect] Scala 客户端的数据集 observe 支持
• [SPARK-48954] [SC-171672][sql] 添加 try_mod 函数
• [SPARK-43258] [SC-158151][sql] 将名称分配给错误_LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903][ss] 回归测试 e2e 配合 SPARK-47305
• [SPARK-48263] [SC-165925] 整理函数支持对非UTF8_BINARY字符串的处理
• [SPARK-48260] [ SC-165883][sql] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
• [SPARK-47834] [SC-165645][sql][CONNECT] 使用@deprecated和SQLImplicits标记已弃用的函数
• [SPARK-48011] [ SC-164061][core] 将 LogKey 名称存储为值以避免生成新的字符串实例
• [SPARK-48074] [SC-164647][core] 提高 JSON 日志记录的可读性
• [SPARK-44953] [ SC-165866][core] 当启用洗牌跟踪以及其他 DA 支持的机制时记录警告
• [SPARK-48266] [ SC-165897][connect] 将包对象 org.apache.spark.sql.connect.dsl 移动到测试目录
• [SPARK-47847] [SC-165651][core] 弃用 spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [ SC-165178][core] 清理已弃用的构造函数的使用 o.rocksdb.Logger
• [SPARK-48235] [ SC-165669][sql] 直接传递联接而不是所有参数以获取BroadcastBuildSide 和 getShuffleHashJoinBuildSide
• [SPARK-48224] [ SC-165648][sql] 禁止使用变体类型作为映射键
• [SPARK-48248] [ SC-165791][python] 修复嵌套数组的处理逻辑，以符合 inferArrayTypeFromFirstElement 的旧版配置要求。
• [SPARK-47409] [ SC-165568][sql] 添加对 StringTrim 函数/表达式排序的支持（对于 UTF8_BINARY 和 LCASE）
• [SPARK-48143] [ ES-1095638][sql] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
• [SPARK-48146] [ SC-165668][sql] 修复 With 表达式子断言中的聚合函数
• [SPARK-48161] 撤销 “[SC-165325][sql] 添加对 JSON 表达式的排序规则支持”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48180] [ SC-165632][sql] 当 UDTF 使用 TABLE 参数调用忘记多个 PARTITION/ORDER BY exprs 周围的括号时，改进错误
• [SPARK-48002] [ SC-164132][python][SS] 在 PySpark StreamingQueryListener 中添加观察指标的测试
• [SPARK-47421] [SC-165548][sql] 添加对 URL 表达式的排序规则支持
• [SPARK-48161] [SC-165325][sql] 添加对 JSON 表达式的排序规则支持
• [SPARK-47359] [ SC-164328][sql] 支持 TRANSLATE 函数来处理已整理字符串
• [SPARK-47365] [ SC-165643][python] 将 toArrow（） DataFrame 方法添加到 PySpark
• [SPARK-48228] [ SC-165649][python][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
• [SPARK-47986] [ SC-165549][connect][PYTHON] 在服务器关闭默认会话时无法创建新会话
• [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48208] [ SC-165547][ss] 如果启用了有限内存使用量，则跳过从 RocksDB 提供内存使用情况指标
• [SPARK-47566] [ SC-164314][sql] 支持 SubstringIndex 函数来处理已排序字符串
• [SPARK-47589] [ SC-162127][sql]Hive-Thriftserver：将带变量的 logError 函数迁移到结构化日志框架
• [SPARK-48205] [ SC-165501][python] 删除 Python 数据源的 private[sql] 修饰符
• [SPARK-48173] [ SC-165181][sql] CheckAnalysis 应看到整个查询计划
• [SPARK-48197] [ SC-165520][sql] 避免无效 lambda 函数的断言错误
• [SPARK-47318] [ SC-162573][core] 在 AuthEngine 密钥派生中添加 HKDF 轮次，以遵循标准 KEX 实践
• [SPARK-48184] [SC-165335][python][CONNECT] 始终在客户端设置种子Dataframe.sample
• [SPARK-48128] [ SC-165004][sql] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的 codegen 语法错误
• [SPARK-48147] [ SC-165144][ss][CONNECT] 删除本地 Spark 会话时删除客户端侦听器
• [SPARK-48045] [ SC-165299][python] Pandas API 中使用多重聚合重命名的 groupby 忽略 as_index=False
• [SPARK-48191] [ SC-165323][sql] 支持用于字符串编码和解码的 UTF-32
• [SPARK-45352] [ SC-137627][sql] 消除可折叠窗口分区
• [SPARK-47297] [ SC-165179][sql] 添加对格式表达式的排序规则支持
• [SPARK-47267] [ SC-165170][sql] 为哈希表达式添加排序规则支持
• [SPARK-47965] [SC-163822][core] 避免在 TypedConfigBuilder 和 OptionalConfigEntry 中使用 orNull
• [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
• [SPARK-48105] [ SC-165132][ss] 解决状态存储卸载和快照之间的竞态条件
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-47719] [ SC-161909][sql] 更改 spark.sql.legacy.timeParse...
• [SPARK-48035] [SC-165136][sql] 修复try_add/try_multiply函数与add/multiply等同的问题
• [SPARK-48107] [SC-164878][python] 从 Python 分发中排除测试
• [SPARK-46894] [ SC-164447][python] 将 PySpark 错误条件移动到独立 JSON 文件中
• [SPARK-47583] [ SC-163825][core] SQL 核心：将带变量的 logError 迁移到结构化日志记录框架
• [SPARK-48064] 撤销“[SC-164697][sql] 更新例程相关错误类的错误消息”
• [SPARK-48048] [ SC-164846][connect][SS] 已添加对 Scala 的客户端监听器支持
• [SPARK-48064] [SC-164697][sql] 更新例程相关错误类的错误消息
• [SPARK-48056] [ SC-164715][connect][PYTHON] 如果发生 SESSION_NOT_FOUND 错误并且未收到部分响应，则重新执行计划
• [SPARK-48124] [ SC-165009][core] 默认情况下禁用 Connect-Repl 的结构化日志记录
• [SPARK-47922] 撤销“[SC-163997][sql] 实现try_parse_json表达式”
• [SPARK-48065] [ SC-164817][sql] SPJ：allowJoinKeysSubsetOfPartitionKeys 过于严格
• [SPARK-48114] [ SC-164956][core] 预编译模板正则表达式以避免不必要的工作
• [SPARK-48067] [SC-164773][sql] 修复变体默认列
• [SPARK-47922] [ SC-163997][sql] 实现try_parse_json表达式
• [SPARK-48075] [SC-164709] [SS] 添加 PySpark avro 函数的类型检查
• [SPARK-47793] [ SC-164324][ss][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
• [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 方法中参数不可折叠或类型错误时产生的 ClassCastException
• [SPARK-48102] [ SC-164853][ss] 在报告流式查询进度时跟踪获取源/接收器指标的持续时间
• [SPARK-47671] [ SC-164854][core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
• [SPARK-47904] [ SC-163409][sql] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
• [SPARK-48058] [ SC-164695][spark-43727][PYTHON][connect] UserDefinedFunction.returnType 分析 DDL 字符串
• [SPARK-46922] [ SC-156102][core][SQL] 不要封装用户面向的运行时错误
• [SPARK-48047] [ SC-164576][sql] 降低空 TreeNode 标记的内存压力
• [SPARK-47934] [SC-164648] [CORE] 确保 URL 重定向中保留末尾的斜杠
• [SPARK-47921] [SC-163826][connect] 修复 ExecuteHolder 中的 ExecuteJobTag 创建问题
• [SPARK-48014] [ SC-164150][sql] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
• [SPARK-47903] [ SC-163424][python] 在 PySpark Variant 库中添加对剩余标量类型的支持
• [SPARK-48068] [SC-164579][python] mypy 应具有 --python-executable 参数
• [SPARK-47846] [ SC-163074][sql] 在 from_json 表达式中添加对 Variant 类型的支持
• [SPARK-48050] [ SC-164322][ss] 查询开始时记录逻辑计划
• [SPARK-47810] [SC-163076][sql] 将等效表达式<替换为联接条件中的 =>
• [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
• [SPARK-48053] [ SC-164309][python][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
• [SPARK-47939] [ SC-164171][sql] 实现新的分析器规则，在 ExplainCommand 和 DescribeQueryCommand 内移动 ParameterizedQuery
• [SPARK-48063] [SC-164432][core] 默认情况下启用spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280][sql] 修复了当使用十进制时try_divide函数中的bug
• [SPARK-48033] [ SC-164291][sql] 修复 RuntimeReplaceable 在默认列中使用的表达式
• [SPARK-48010] [ SC-164051][sql][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
• [SPARK-48003] [ SC-164323][sql] 为 HLL Sketch 聚合添加排序规则支持
• [SPARK-47994] [ SC-164175][sql] 修复了 SQLServer 中 CASE WHEN 字段过滤器下推的 bug
• [SPARK-47984] [ SC-163837][ml][SQL] 更改为 MetricsAggregate/V2Aggregator#serialize/deserialize 调用 SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [ SC-164202][sql] 在类级别使用时间戳格式化程序，而不是在方法级别创建副本
• [SPARK-47596] [SPARK-47600 ][spark-47604][SPARK-47804] 结构化日志迁移
• [SPARK-47594] [SPARK-47590 ][spark-47588][SPARK-47584] 结构化日志迁移
• [SPARK-47567] [ SC-164172][sql] 支持 LOCATE 函数与具有排序规则的字符串一同作用
• [SPARK-47764] [ SC-163820][core][SQL] 根据 ShuffleCleanupMode 清理洗牌依赖项
• [SPARK-48039] [SC-164174][python][CONNECT] 更新错误类group.apply
• [SPARK-47414] [ SC-163831][sql] 对正则表达式的小写字符排序规则的支持
• [SPARK-47418] [ SC-163818][sql] 为小写 unicode 感知包含、startsWith 和 ends 添加手工制作的实现，并优化UTF8_BINARY_LCASE
• [SPARK-47580] [ SC-163834][sql] SQL 催化剂：消除错误日志中的未命名变量
• [SPARK-47351] [SC-164008][sql] 为 StringToMap 和 Mask 字符串表达式添加排序规则支持
• [SPARK-47292] [ SC-164151][ss] safeMapToJValue 需要考虑具有空类型的值
• [SPARK-47476] [ SC-164014][sql] 支持 REPLACE 函数来处理已排序的字符串
• [SPARK-47408] [SC-164104][sql] 修复使用 StringType 的 mathExpressions
• [SPARK-47350] [ SC-164006][sql] 添加对 SplitPart 字符串表达式的排序规则支持
• [SPARK-47692] [ SC-163819][sql] 修复隐式转换中的默认 StringType 含义
• [SPARK-47094] [ SC-161957][sql] SPJ：在存储桶不相等时动态重新平衡桶数
• [SPARK-48001] [SC-164000][core] 移除private implicit def arrayToArrayWritable和SparkContext中未使用的元素
• [SPARK-47986] [ SC-163999][connect][PYTHON] 无法在服务器关闭默认会话时创建新会话
• [SPARK-48019] [ SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
• [SPARK-47743] [ SPARK-47592][spark-47589][SPARK-47581][spark-47586][SPARK-47593][spark-47595][SPARK-47587][spark-47603] 结构化日志迁移
• [SPARK-47999] [ SC-163998][ss] 改进了与在 HDFS 支持的状态存储提供程序中创建快照以及在状态缓存映射中添加/删除条目相关的日志记录
• [SPARK-47417] [SC-162872][sql] 排序规则支持：Ascii、Chr、Base64、UnBase64、解码、StringDecode、编码、ToBinary、FormatNumber、句子处理
• [SPARK-47712] [ SC-161871][connect] 允许连接插件创建和处理数据集
• [SPARK-47411] [ SC-163351][sql] 支持 StringInstr 和 FindInSet 函数来处理整理字符串
• [SPARK-47360] [ SC-163014][sql] 排序规则支持：覆盖、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [ SC-163323][sql] - 为排序规则添加对 substr/left/right 的支持
• [SPARK-47983] [ SC-163835][sql] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部功能
• [SPARK-47964] [ SC-163816][python][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
• [SPARK-47985] [ SC-163841][python] 使用lit简化函数
• [SPARK-47633] [ SC-163453][sql] 包括右侧计划的输出，从而实现更一致的规范化LateralJoin#allAttributes
• [SPARK-47909] 还原“[PYTHON][connect] 父数据帧类 f...
• [SPARK-47767] [ SC-163096][sql] 显示 TakeOrderedAndProjectExec 中的偏移值
• [SPARK-47822] [SC-162968][sql] 禁止哈希表达式对变体数据类型进行哈希处理
• [SPARK-47490] [ SC-160494][ss] 修复 RocksDB 记录器构造函数的使用方法，以避免弃用警告
• [SPARK-47417] 还原“[SC-162872][sql] 排序支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences”
• [SPARK-47352] [ SC-163460][sql] 修复上部、下层、InitCap 排序规则感知
• [SPARK-47909] [PYTHON][connect] Spark Connect 和 Spark Classic 的父数据帧类
• [SPARK-47417] [SC-162872][sql] 排序规则支持：Ascii、Chr、Base64、UnBase64、解码、StringDecode、编码、ToBinary、FormatNumber、句子处理

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

请参阅 Databricks Runtime 15.3 维护更新。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.18
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装的 Python 库

已安装的 R 库

R 库安装自 Posit 包管理器 CRAN 快照。

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）