Databricks Runtime 12.2 LTS
以下发行说明提供了由 Apache Spark 3.3.2 提供支持的 Databricks Runtime 12.2 LTS 的相关信息。
Databricks 于 2023 年 3 月发布了这些映像。
新增功能和改进
- Delta Lake 架构演变支持在合并语句中指定源列
- 使用共享访问模式的群集上支持结构化流式处理工作负载
- 预测性 I/O 的新功能
- 隐式横向列别名支持
- 新的 forEachBatch 功能
- 查询联合的标准化连接选项
- 用于数组管理的扩展 SQL 函数库
- 用于匿名化字符串的新 mask 函数
- 常见错误条件现在返回 SQLSTATE
- 在 FROM 子句中调用生成器函数
- 协议缓冲区支持已正式发布
- 笔记本变量和函数的转到定义
- 针对自动导入库的笔记本快速修复
- Bug 修复
Delta Lake 架构演变支持在合并语句中指定源列
在启用架构演化后，现在可以在合并语句的插入或更新操作中指定仅存在于源表中的列。 在 Databricks Runtime 12.1 及更低版本中，只能使用 INSERT * 或 UPDATE SET * 操作通过合并进行架构演变。 请参阅 Delta Lake 合并的自动架构演变。
使用共享访问模式的群集上支持结构化流式处理工作负载
现在可以使用结构化流式处理来与共享群集上的 Unity Catalog 交互。 某些限制适用。 请参阅 Unity Catalog 支持哪些结构化流式处理功能？。
预测性 I/O 的新功能
Photon 现在支持 Foreachbatch 接收器。 从源流式传输并合并到增量表或写入多个接收器的工作负载现在可以受益于 Photon 化的 Foreachbatch 接收器。
隐式横向列别名支持
Azure Databricks 现在默认支持隐式横向列别名。 现在可以重用先前在同一 SELECT 列表中指定的表达式。 例如，在给定 SELECT 1 AS a、a + 1 AS b 的情况下，a + 1 中的 a 可以解析为先前定义的 1 AS a。 请查看名称解析来更详细地了解解析顺序。
若要关闭此功能，可以将 spark.sql.lateralColumnAlias.enableImplicitResolution 设置为 false。
新的 forEachBatch 功能
使用 foreachBatch 写入到数据接收器时，现在支持 Photon。
查询联合的标准化连接选项
现在可以使用一组统一的选项（主机、端口、数据库、用户、密码）连接到查询联合中支持的数据源。 Port 是可选的，除非指定，否则为每个数据源使用默认端口号。
用于数组管理的扩展 SQL 函数库
现在可以使用 array_compact 从数组中删除所有 NULL 元素。 若要将元素追加到数组，请使用 array_append。
用于匿名化字符串的新 mask 函数
调用 mask 函数可以匿名化敏感字符串值。
常见错误条件现在返回 SQLSTATE
Databricks Runtime 现在包括的大多数错误条件记录了 SQLSTATE 值，这些值可用于以符合 SQL 标准的方式测试错误。
在 FROM 子句中调用生成器函数
现在可以在查询的常规 FROM 子句中调用表值生成器函数，例如 explode。 这使得生成器函数调用与其他内置的和用户定义的表函数保持一致。
协议缓冲区支持已正式发布
可以使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。
笔记本变量和函数的转到定义
在笔记本中，可以通过右键单击变量或函数名称来快速转到变量、函数或 %run 语句后面的代码的定义。
针对自动导入库的笔记本快速修复
Databricks Notebooks 现在提供针对自动导入库的快速修复功能。 如果忘记导入 pandas 之类的库，请将鼠标悬停在带下划线的语法警告上，然后单击“快速修复”，此功能要求在工作区中启用 Databricks 助手。
缺陷修复
- 改进了与
update、delete和merge命令相关的空事务的 Delta 提交行为一致性。 在WriteSerializable隔离级别，不会导致任何更改的命令现在会创建一个空提交。 在Serializable隔离级别，此类空事务现在不会创建提交。
行为更改
新的横向列别名功能的行为变更
新的横向列别名功能在名称解析期间针对以下情况引入了行为变更：
- 横向列别名现在优先于同名的关联引用。 例如，对于查询
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)，内部c1 AS c2中的c1在过去会解析为关联引用t.c1，但现在会更改为横向列别名1 AS c1。 该查询现在返回NULL。 - 横向列别名现在优先于同名的函数参数。 例如，对于函数
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x，函数主体中的x在过去会解析为函数参数 x，但现在会更改为函数主体中的横向列别名x + 1。 查询SELECT * FROM func(1)现在返回2, 2。 - 若要关闭横向列别名功能，请将
spark.sql.lateralColumnAlias.enableImplicitResolution设置为false。 有关详细信息，请参阅名称解析。
库升级
- 升级了 Python 库：
- filelock 已从 3.8.2 升级到 3.9.0
- joblib 已从 1.1.0 升级到 1.1.1
- platformdirs 已从 2.6.0 升级到 2.6.2
- whatthepatch 已从 1.0.3 升级到 1.0.4
- 升级了 R 库：
- class 已从 7.3-20 升级到 7.3-21
- codetools 已从 0.2-18 升级到 0.2-19
- MASS 已从 7.3-58 升级到 7.3-58.2
- nlme 已从 3.1-160 升级到 3.1-162
- Rserve 已从 1.8-11 升级到 1.8-12
- SparkR 已从 3.3.1 升级到 3.3.2
行为更改
- 在使用定义的位置创建架构时，用户现在需要对任何文件拥有
SELECT和MODIFY特权。
Apache Spark
Databricks Runtime 12.2 包含 Apache Spark 3.3.2。 此版本包括 Databricks Runtime 12.1（不受支持）中提供的所有 Spark 修复和改进，还包括对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-42416] [SC-123205][SC-122851][SQL] 数据集操作不应再次解析分析的逻辑计划
- [SPARK-41848] 还原“[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] 使用 TaskResourceProfile 修复过度计划的任务”
- [SPARK-42162] [SC-122711][ES-556261] 引入 MultiCommutativeOp 表达式作为内存优化，用于规范化大型可交换表达式树
- [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] 修复 Protobuf 函数的递归深度设置
- [SPARK-42002] [SC-122476][CONNECT][PYTHON] 实现 DataFrameWriterV2
- [SPARK-41716] [SC-122545][CONNECT] 已将目录中的 _catalog_to_pandas 重命名为 _execute_and_fetch
- [SPARK-41490] [SC-121774][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] 实现 Catalog.cacheTable、isCached 和 uncache
- [SPARK-42191] [SC-121990][SQL] 支持 udf 'luhn_check'
- [SPARK-42253] [SC-121976][PYTHON] 添加用于检测重复错误类的测试
- [SPARK-42268] [SC-122251][CONNECT][PYTHON] 在原型中添加 UserDefinedType
- [SPARK-42231] [SC-121841][SQL] 将
MISSING_STATIC_PARTITION_COLUMN转换为internalError - [SPARK-42136] [SC-122554] 重构 BroadcastHashJoinExec 输出分区计算
- [SPARK-42158] [SC-121610][SQL] 将
_LEGACY_ERROR_TEMP_1003集成到FIELD_NOT_FOUND - [SPARK-42192] [12.x][SC-121820][PYTHON] 将 TypeError 从 pyspark/sql/dataframe.py 迁移到 PySparkTypeError
- [SPARK-35240] 还原“[SC-118242][SS] 使用 CheckpointFileManager...”
- [SPARK-41488] [SC-121858][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1176（和 1177）
- [SPARK-42232] [SC-122267][SQL] 重命名错误类：
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [SC-122480][SQL] 在子查询合并后重写非重复性聚合
- [SPARK-42306] [SC-122539][SQL] 将
_LEGACY_ERROR_TEMP_1317集成到UNRESOLVED_COLUMN.WITH_SUGGESTION - [SPARK-42234] [SC-122354][SQL] 重命名错误类：
UNSUPPORTED_FEATURE.REPEATED_PIVOT - [SPARK-42343] [SC-122437][CORE] 如果 SparkContext 停止，则忽略
handleBlockRemovalFailure中的IOException - [SPARK-41295] [SC-122442][SPARK-41296][SQL] 重命名错误类
- [SPARK-42320] [SC-122478][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851][CONNECT] SparkConnectClient 现在支持 RetryPolicies
- [SPARK-38728] [SC-116723][SQL] 测试错误类：FAILED_RENAME_PATH
- [SPARK-40005] [12.X] PySpark 中的自包含示例
- [SPARK-39347] [SC-122457][SS] 修复当事件时间 < 0 时的时间窗口计算 bug
- [SPARK-42336] [SC-122458][CORE] 在 ResourceAllocator 中使用
getOrElse()而不是contains() - [SPARK-42125] [SC-121827][CONNECT][PYTHON] Spark Connect 中的 Pandas UDF
- [SPARK-42217] [SC-122263][SQL] 在使用窗口的查询中支持隐式横向列别名
- [SPARK-35240] [SC-118242][SS] 使用 CheckpointFileManager 进行检查点文件操作
- [SPARK-42294] [SC-122337][SQL] 在 V2 表的 DESCRIBE 输出中包含列默认值
- [SPARK-41979] 再次还原“还原‘[12.x][SC-121190][SQL] 为错误类中的错误消息添加缺少的点。’”
- [SPARK-42286] [SC-122336][SQL] 使用 CAST 回退到复杂表达式的先前 codegen 代码路径
- [SPARK-42275] [SC-122249][CONNECT][PYTHON] 避免在静态类型中使用内置列表、字典
- [SPARK-41985] [SC-122172][SQL] 集中化更多列解析规则
- [SPARK-42126] [SC-122330][PYTHON][CONNECT] 接受 Spark Connect 中 Python 标量 UDF 的 DDL 字符串中的返回类型
- [SPARK-42197] [SC-122328][SC-121514][CONNECT] 重复使用 JVM 初始化，并隔离要在远程本地模式下设置的配置组
- [SPARK-41575] [SC-120118][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2054
- [SPARK-41985] 还原“[SC-122172][SQL] 集中化更多列解析规则”
- [SPARK-42123] [SC-122234][SC-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 输出中包含列默认值
- [SPARK-41985] [SC-122172][SQL] 集中化更多列解析规则
- [SPARK-42284] [SC-122233][CONNECT] 确保在运行客户端测试之前生成连接服务器程序集 - SBT
- [SPARK-42239] [SC-121790][SQL] 集成
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY - [SPARK-42278] [SC-122170][SQL] DS V2 下推支持支持 JDBC 方言自行编译
SortOrder - [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics 应负责处理 Python UDAF
- [SPARK-41979] 还原“[12.x][SC-121190][SQL] 为错误类中的错误消息添加缺少的点。”
- [SPARK-42224] [12.x][SC-121708][CONNECT] 将 TypeError 迁移到 Spark Connect 函数的错误框架中
- [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] 将 Spark Connect 错误迁移到 PySpark 错误框架中。
- [SPARK-42119] [SC-121913][SC-121342][SQL] 添加内置表值函数 inline 和 inline_outer
- [SPARK-41489] [SC-121713][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] 引入 PySparkValueError 和 PySparkTypeError
- [SPARK-42081] [SC-121723][SQL] 改进计划更改验证
- [SPARK-42225] [12.x][SC-121714][CONNECT] 添加 SparkConnectIllegalArgumentException 以精确处理 Spark Connect 错误。
- [SPARK-42044] [12.x][SC-121280][SQL] 修复
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY的错误消息 - [SPARK-42194] [12.x][SC-121712][PS] 使用序列创建数据帧时允许列参数。
- [SPARK-42078] [12.x][SC-120761][PYTHON] 将 JVM 引发的错误迁移到 PySparkException。
- [SPARK-42133] [12.x][SC-121250] 将基本数据集 API 方法添加到 SparkConnect Scala 客户端
- [SPARK-41979] [12.x][SC-121190][SQL] 为错误类中的错误消息添加缺少的点。
- [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Spark Connect 中的标量内联 Python UDF
- [SPARK-42051] [SC-121994][SQL] HiveGenericUDF 的 Codegen 支持
- [SPARK-42257] [SC-121948][CORE] 删除未使用的变量外部排序器
- [SPARK-41735] [SC-121771][SQL] 为 SparkListenerSQLExecutionEnd 使用 MINIMAL 而不是 STANDARD
- [SPARK-42236] [SC-121882][SQL] 细化
NULLABLE_ARRAY_OR_MAP_ELEMENT - [SPARK-42233] [SC-121775][SQL] 改进
PIVOT_AFTER_GROUP_BY的错误消息 - [SPARK-42229] [SC-121856][CORE] 将
SparkCoreErrors迁移到错误类 - [SPARK-42163] [SC-121839][SQL] 修复不可折叠数组索引或映射键的架构修剪
- [SPARK-40711] [SC-119990][SQL] 为窗口添加溢出大小指标
- [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] 使
createDataFrame支持AtomicType -> StringType强制转换 - [SPARK-42202] [SC-121837][Connect][Test] 改进 E2E 测试服务器停止逻辑
- [SPARK-41167] [SC-117425][SQL] 通过创建平衡的表达式树谓词提高多 like 性能
- [SPARK-41931] [SC-121618][SQL] 改进不完整复杂类型定义的错误消息
- [SPARK-36124] [SC-121339][SC-110446][SQL] 通过 UNION 支持带有关联的子查询
- [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引入 sasl 重试计数
- [SPARK-42157] [SC-121264][CORE]
spark.scheduler.mode=FAIR应提供 FAIR 计划程序 - [SPARK-41572] [SC-120772][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224][SQL] 重命名并改进
NULL_COMPARISON_RESULT的错误消息 - [SPARK-41976] [SC-121024][SQL] 改进
INDEX_NOT_FOUND的错误消息 - [SPARK-41994] [SC-121210][SC-120573] 分配 SQLSTATE (1/2)
- [SPARK-41415] [SC-121117][3.3] SASL 请求重试
- [SPARK-38591] [SC-121018][SQL] 添加 flatMapSortedGroups 和 cogroupSorted
- [SPARK-41975] [SC-120767][SQL] 改进
INDEX_ALREADY_EXISTS的错误消息 - [SPARK-42056] [SC-121158][SQL][PROTOBUF] 添加 Protobuf 函数缺少的选项
- [SPARK-41984] [SC-120769][SQL] 重命名并改进
RESET_PERMISSION_TO_ORIGINAL的错误消息 - [SPARK-41948] [SC-121196][SQL] 修复错误类的 NPE：CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176][CONNECT][PYTHON] 修复
withField的 doctest 中不正确列名 - [SPARK-41283] [SC-121175][CONNECT][PYTHON] 添加
array_append进行连接 - [SPARK-41960] [SC-120773][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116][SQL] 修复 getPartitionFiltersAndDataFilters() 以处理没有引用属性的筛选器
- [SPARK-42096] [SC-121012][CONNECT] 对
connect模块进行一些代码清理 - [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] 修复
count(*)和count(col(*)) - [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL 模式：Round/Bround 应在整数溢出时返回错误
- [SPARK-42043] [SC-120968][CONNECT] E2E 测试的 Scala 客户端结果
- [SPARK-41884] [SC-121022][CONNECT] 支持使用朴素元组作为嵌套行
- [SPARK-42112] [SC-121011][SQL][SS] 在
ContinuousWriteRDD#compute函数关闭dataWriter之前添加 null 值检查 - [SPARK-42077] [SC-120553][CONNECT][PYTHON] 对于不受支持的 DataType，Literal 应引发 TypeError
- [SPARK-42108] [SC-120898][SQL] 让分析器将
Count(*)转换为Count(1) - [SPARK-41666] [SC-120928][SC-119009][PYTHON] 通过
sql()支持参数化 SQL - [SPARK-40599] [SC-120930][SQL] 放宽 multiTransform 规则类型以允许替代项是任何类型的 Seq
- [SPARK-41574] [SC-120771][SQL] 将
_LEGACY_ERROR_TEMP_2009更新为INTERNAL_ERROR。 - [SPARK-41579] [SC-120770][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1249
- [SPARK-41974] [SC-120766][SQL] 将
INCORRECT_END_OFFSET转换为INTERNAL_ERROR - [SPARK-41530] [SC-120916][SC-118513][CORE] 将 MedianHeap 重命名为 PercentileMap 并支持百分位数
- [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] 修复 Column 类的字符串表示形式
- [SPARK-42084] [SC-120775][SQL] 避免泄漏仅限限定的访问限制
- [SPARK-41973] [SC-120765][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655][SQL] SPJ：删除 KeyGroupedPartitioning#partitionValuesOpt 中的选项
- [SPARK-42079] [SC-120712][CONNECT][PYTHON] 重命名
toDF和withColumnsRenamed的原始消息 - [SPARK-42089] [SC-120605][CONNECT][PYTHON] 修复嵌套 lambda 函数中的变量名称问题
- [SPARK-41982] [SC-120604][SQL] 不应将字符串类型的分区视为数字类型
- [SPARK-40599] [SC-120620][SQL] 将 multiTransform 方法添加到 TreeNode 以生成替代项
- [SPARK-42085] [SC-120556][CONNECT][PYTHON] 使
from_arrow_schema支持嵌套类型 - [SPARK-42057] [SC-120507][SQL][PROTOBUF] 修复错误报告中的异常处理方式。
- [SPARK-41586] [12.x][ALL TESTS][SC-120544][PYTHON] 引入 PySpark 的
pyspark.errors和错误类。 - [SPARK-41903] [SC-120543][CONNECT][PYTHON]
Literal应支持一维 ndarray - [SPARK-42021] [SC-120584][CONNECT][PYTHON] 使
createDataFrame支持array.array - [SPARK-41896] [SC-120506][SQL] 按行索引筛选时返回空结果
- [SPARK-41162] [SC-119742][SQL] 修复使用聚合的自联接的反联接和半联接
- [SPARK-41961] [SC-120501][SQL] 支持使用 LATERAL 的表值函数
- [SPARK-41752] [SC-120550][SQL][UI] 根执行下的组嵌套执行
- [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] 文本应支持 Numpy 数据类型
- [SPARK-42028] [SC-120344][CONNECT][PYTHON] 截断纳秒时间戳
- [SPARK-42011] [SC-120534][CONNECT][PYTHON] 实现 DataFrameReader.csv
- [SPARK-41990] [SC-120532][SQL] 在 V1 到 V2 筛选器转换中使用
FieldReference.column而不是apply - [SPARK-39217] [SC-120446][SQL] 使 DPP 支持修剪端使用联合
- [SPARK-42076] [SC-120551][CONNECT][PYTHON] 将数据转换
arrow -> rows的因子析出到conversion.py - [SPARK-42074] [SC-120540][SQL] 在
TPCDSQueryBenchmark中启用KryoSerializer以强制 SQL 类注册 - [SPARK-42012] [SC-120517][CONNECT][PYTHON] 实现 DataFrameReader.orc
- [SPARK-41832] [SC-120513][CONNECT][PYTHON] 修复
DataFrame.unionByName，添加 allow_missing_columns - [SPARK-38651] [SC-120514] [SQL] 添加
spark.sql.legacy.allowEmptySchemaWrite - [SPARK-41991] [SC-120406][SQL]
CheckOverflowInTableInsert应接受 ExpressionProxy 作为子项 - [SPARK-41232] [SC-120073][SQL][PYTHON] 添加 array_append 函数
- [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] DataFrameReader 应支持路径列表
- [SPARK-42071] [SC-120533][CORE] 将
scala.math.Ordering$Reverse注册到 KyroSerializer - [SPARK-41986] [SC-120429][SQL] 在 SinglePartition 上引入随机排列
- [SPARK-42016] [SC-120428][CONNECT][PYTHON] 启用与嵌套列相关的测试
- [SPARK-42042] [SC-120427][CONNECT][PYTHON]
DataFrameReader应支持 StructType 架构 - [SPARK-42031] [SC-120389][CORE][SQL] 清理不需要重写的
remove方法 - [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] 使
createDataFrame(rows/lists/tuples/dicts)支持嵌套类型 - [SPARK-41437] [SC-117601][SQL][ALL TESTS] 不要为 v1 写入回退优化输入查询两次
- [SPARK-41840] [SC-119719][CONNECT][PYTHON] 添加缺少的别名
groupby - [SPARK-41846] [SC-119717][CONNECT][PYTHON] 为窗口函数启用 doctests
- [SPARK-41914] [SC-120094][SQL] FileFormatWriter 在访问 outputOrdering 之前实现 AQE 计划
- [SPARK-41805] [SC-119992][SQL] 在 WindowSpecDefinition 中重用表达式
- [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] 通过 SparkSession.range 将 float 用作参数
- [SPARK-42029] [SC-120336][CONNECT] 将 Guava Shading 规则添加到
connect-common以避免启动失败 - [SPARK-41989] [SC-120334][PYTHON] 避免破坏 pyspark.pandas 的日志记录配置
- [SPARK-42003] [SC-120331][SQL] 减少 ResolveGroupByAll 中的重复代码
- [SPARK-41635] [SC-120313][SQL] 修复按所有错误报告分组
- [SPARK-41047] [SC-120291][SQL] 改进有关 round 的文档
- [SPARK-41822] [SC-120122][CONNECT] 为 Scala/JVM 客户端设置 gRPC 连接
- [SPARK-41879] [SC-120264][CONNECT][PYTHON] 使
DataFrame.collect支持嵌套类型 - [SPARK-41887] [SC-120268][CONNECT][PYTHON] 使
DataFrame.hint接受列表类型参数 - [SPARK-41964] [SC-120210][CONNECT][PYTHON] 添加不支持的 IO 函数列表
- [SPARK-41595] [SC-120097][SQL] 在 FROM 子句中支持生成器函数 explode/explode_outer
- [SPARK-41957] [SC-120121][CONNECT][PYTHON] 为
DataFrame.hint启用 doctest - [SPARK-41886] [SC-120141][CONNECT][PYTHON]
DataFrame.intersectdoctest 输出具有不同的顺序 - [SPARK-41442] [SC-117795][SQL][ALL TESTS] 仅当与有效指标合并时才更新 SQLMetric 值
- [SPARK-41944] [SC-120046][CONNECT] 当本地远程模式打开时传递配置
- [SPARK-41708] [SC-119838][SQL] 将 v1write 信息拉取到
WriteFiles - [SPARK-41780] [SC-120000][SQL] 当参数
regexp无效时应引发 INVALID_PARAMETER_VALUE.PATTERN - [SPARK-41889] [SC-119975][SQL] 将根本原因附加到 invalidPatternError 并重构错误类 INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028][SQL] 创建 AvroScanBuilder 和 JsonScanBuilder 案例类
- [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python：使用 pyarrow.Table.to_pylist 连接客户端丢失列数据
- [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] 不可知编码器
- [SPARK-41354] [SC-119995][CONNECT][PYTHON] 实现 RepartitionByExpression
- [SPARK-41581] [SC-119997][SQL] 将
_LEGACY_ERROR_TEMP_1230更新为INTERNAL_ERROR - [SPARK-41928] [SC-119972][CONNECT][PYTHON] 为
functions添加不受支持列表 - [SPARK-41933] [SC-119980][CONNECT] 提供自动启动服务器的本地模式
- [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame` 应遵循用户提供的 DDL 架构
- [SPARK-41936] [SC-119978][CONNECT][PYTHON] 让
withMetadata重用withColumns原型 - [SPARK-41898] [SC-119931][CONNECT][PYTHON] 使用 pyspark 进行 Window.rowsBetween、Window.rangeBetween 参数类型检查奇偶校验
- [SPARK-41939] [SC-119977][CONNECT][PYTHON] 为
catalog函数添加不受支持列表 - [SPARK-41924] [SC-119946][CONNECT][PYTHON] 使 StructType 支持元数据并实现
DataFrame.withMetadata - [SPARK-41934] [SC-119967][CONNECT][PYTHON] 为
session添加不支持的函数列表 - [SPARK-41875] [SC-119969][CONNECT][PYTHON] 为
Dataset.to()添加测试用例 - [SPARK-41824] [SC-119970][CONNECT][PYTHON] 忽略解释连接的 doctest
- [SPARK-41880] [SC-119959][CONNECT][PYTHON] 使函数
from_json接受非文本架构 - [SPARK-41927] [SC-119952][CONNECT][PYTHON] 为
GroupedData添加不受支持列表 - [SPARK-41929] [SC-119949][CONNECT][PYTHON] 添加函数
array_compact - [SPARK-41827] [SC-119841][CONNECT][PYTHON] 使
GroupBy接受列列表 - [SPARK-41925] [SC-119905][SQL] 默认启用
spark.sql.orc.enableNestedColumnVectorizedReader - [SPARK-41831] [SC-119853][CONNECT][PYTHON] 使
DataFrame.select接受列列表 - [SPARK-41455] [SC-119858][CONNECT][PYTHON] 使
DataFrame.collect丢弃时区信息 - [SPARK-41923] [SC-119861][CONNECT][PYTHON] 将
DataFrame.writeTo添加到不受支持列表 - [SPARK-41912] [SC-119837][SQL] 子查询不应验证 CTE
- [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] 使
createDataFrame支持空数据帧 - [SPARK-41905] [SC-119848][CONNECT] 支持使用名称作为切片中的字符串
- [SPARK-41869] [SC-119845][CONNECT] 拒绝 dropDuplicates 中的单个字符串
- [SPARK-41830] [SC-119840][CONNECT][PYTHON] 使
DataFrame.sample接受与 PySpark 相同的参数 - [SPARK-41849] [SC-119835][CONNECT] 实现 DataFrameReader.text
- [SPARK-41861] [SC-119834][SQL] 使 v2 ScanBuilders 的 build() 返回类型化扫描
- [SPARK-41825] [SC-119710][CONNECT][PYTHON] 启用与
DataFrame.show相关的 doctest - [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] 使
createDataFrame正确处理 None/NaN - [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] 使
DataFrame.collect正确处理 None/NaN/Array/Binary - [SPARK-39318] [SC-119713][SQL] 删除 tpch-plan-stability WithStats 黄金文件
- [SPARK-41791] [SC-119745] 添加新的文件源元数据列类型
- [SPARK-41790] [SC-119729][SQL] 正确设置 TRANSFORM 读取器和写入器的格式
- [SPARK-41829] [SC-119725][CONNECT][PYTHON] 在
Sort和sortWithinPartitions中添加缺少的排序参数 - [SPARK-41576] [SC-119718][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716][CONNECT][PYTHON] 修复 DataFrame.describe 的文档测试
- [SPARK-41871] [SC-119714][CONNECT] 数据帧提示参数可以是 str、float 或 int
- [SPARK-41720] [SC-119076][SQL] 将 UnresolvedFunc 重命名为 UnresolvedFunctionName
- [SPARK-41573] [SC-119567][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492][SQL] 修复与 Orc 阅读器中的默认值相关的正确性 bug
- [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] 重用
INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0022
维护更新
请参阅 Databricks Runtime 12.2 维护更新。
系统环境
- 操作系统：Ubuntu 20.04.5 LTS
- Java：Zulu 8.68.0.21-CA-linux64
- Scala：2.12.15
- Python：3.9.5
- R：4.2.2
- Delta Lake：2.2.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 单击 | 8.0.4 | 密码系统 | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbu-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0.4 | 执行 | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.9.0 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 笔记本 | 6.4.8 | numpy | 1.21.5 | 打包 | 21.3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| 请求 | 2.27.1 | requests-unixsocket | 0.2.0 | rope | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 6 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.4 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安装的 R 库
R 库安装自 2022-11-11 版本中的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-21 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 凭据 | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | 评估 | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | generics | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | lifecycle | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |