Databricks Runtime 14.1
以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.1 的相关信息。
Databricks 于 2023 年 10 月发布了这些映像。
新增功能和改进
- array_insert() 是基于 1 的负索引
- 默认情况下，使用液体聚类分析启用增量 v2 检查点
- 在公共预览版中删除 Delta 表功能
- 增量共享：收件人可以对使用删除向量的共享表执行批处理查询（公共预览版）
- 在公共预览版中从 Unity Catalog 视图流式传输
- 公共预览版中的 Apache Pulsar 连接器
- 升级后的 Snowflake 驱动程序
- SQL 会话变量
- SQL 和 Python UDF 的命名参数调用。
- 函数的表参数支持分区和排序。
- 新的和增强的内置 SQL 函数
- 改进了相关子查询的处理
array_insert() 是基于 1 的负索引
对于正索引和负索引，array_insert 函数是基于 1的。 现在，它会在输入数组的末尾插入索引为 -1 的新元素。 若要还原以前的行为，请将 spark.sql.legacy.negativeIndexInArrayInsert 设置为 true。
默认情况下，使用液体聚类分析启用增量 v2 检查点
默认情况下，使用液体聚类分析新建的 Delta 表会使用 v2 检查点。 请参阅表与液体聚类分析的兼容性。
在公共预览版中删除 Delta 表功能
现在，可以删除 Delta 表的某些表功能。 当前支持包括删除 deletionVectors 和 v2Checkpoint。 请参阅删除 Delta 表功能。
增量共享：收件人可以对使用删除向量的共享表执行批处理查询（公共预览版）
增量共享收件人现在可以对使用删除向量的共享表执行批处理查询。 请参阅向共享添加具有删除向量的表、读取启用了删除向量的表，以及读取启用了删除向量的表。
在公共预览版中从 Unity Catalog 视图流式传输
现在可以使用结构化流式处理从注册到 Unity 目录的视图执行流式传输读取。 Azure Databricks 仅支持从针对 Delta 表定义的视图流式读取。 请参阅从 Unity Catalog 视图流式传输。
公共预览版中的 Apache Pulsar 连接器
现在可以使用结构化流式传输功能从 Azure Databricks 上的 Apache Pulsar 流式传输数据。 请参阅从 Apache Pulsar 流式传输。
升级后的 Snowflake 驱动程序
Snowflake JDBC 驱动程序现在使用版本 3.13.33。
SQL 会话变量
此版本引入了在会话中声明临时变量的功能，可以对该会话进行设置，然后从查询中引用这些变量。 请参阅 变量。
SQL 和 Python UDF 的命名参数调用。
现在可以在 SQL 和 Python UDF 上使用 命名的参数调用。
函数的表参数支持分区和排序。
现在可以使用 PARTITION BY 和 ORDER BY 子句控制在函数调用期间如何将表参数传递给函数。
新的和增强的内置 SQL 函数
添加了以下内置函数：
- from_xml：将 XML
STRING分析为STRUCT。 - schema_of_xml：从 XML
STRING派生架构。 - session_user：返回已登录用户。
- try_reflect：如果 Java 方法失败，则返回
NULL而不是异常。
增强了以下内置函数：
- mode：支持强制确定性结果的可选参数。
- to_char：新增对
DATE、TIMESTAMP和BINARY的支持。 - to_varchar：新增对
DATE、TIMESTAMP和BINARY的支持。
改进了相关子查询的处理
扩展了在子查询中处理关联的能力：
- 在相关标量（横向）子查询中处理限制和排序依据。
- 支持相关标量子查询中的窗口函数。
- 支持标量和横向子查询的连接谓词中的相关引用
行为变更
Photon Parquet 阅读器中的严格类型检查
尝试从非小数类型的 Parquet 列读取小数值时，Photon 会失败。 从 Parquet 读取固定长度字节数组作为字符串时，Photon 也会失败。
库升级
- 升级了 Python 库：
- filelock 已从 3.12.2 升级到 3.12.3
- s3transfer 已从 0.6.1 升级到 0.6.2
- 升级了 Java 库：
- com.uber.h3 已从 3.7.0 升级到 3.7.3
- io.airlift.aircompressor 已从 0.24 升级到 0.25
- io.delta.delta-sharing-spark_2.12 已从 0.7.1 升级到 0.7.5
- io.netty.netty-all 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-buffer 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-codec 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-codec-http 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-codec-http2 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-codec-socks 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-common 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-handler 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-handler-proxy 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-resolver 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-transport 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-transport-classes-epoll 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-transport-classes-kqueue 已从 4.1.93.Final 升级到 4.1.96.Final
- io.netty.netty-transport-native-epoll 已从 4.1.93.Final-linux-x86_64 升级到 4.1.96.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 已从 4.1.93.Final-osx-x86_64 升级到 4.1.96.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common 已从 4.1.93.Final 升级到 4.1.96.Final
- net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.33
- org.apache.orc.orc-core 已从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 已从 1.9.0-shaded-protobuf 升级到 1.9.1-shaded-protobuf
- org.apache.orc.orc-shims 已从 1.9.0 升级到 1.9.1
Apache Spark
Databricks Runtime 14.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.0 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：
- [SPARK-45088] [DBRRM-557] 还原“[SC-142785][PYTHON][CONNECT] 使 getitem 适用于重复的列”
- [SPARK-43453] [DBRRM-557] 还原“[SC-143135][PS] 当
axis=1适用于concat时忽略MultiIndex的names” - [SPARK-45225] [SC-143207][SQL] XML：SD 文件 URL 支持
- [SPARK-45156] [SC-142782][SQL] 在
NON_FOLDABLE_INPUT错误类中使用反引号为inputName换行 - [SPARK-44910] [SC-143082][SQL] Encoders.bean 不支持具有泛型类型参数的超级类
- [SPARK-43453] [SC-143135][PS] 当
axis=1用于concat时忽略MultiIndex的names - [SPARK-44463] [SS][CONNECT] 改进 Connect steaming Python 工作线程的错误处理
- [SPARK-44960] [SC-141023][UI] 跨 UI 页面取消转义并包含错误摘要
- [SPARK-44788] [SC-142980][CONNECT][PYTHON][SQL] 将 from_xml 和 schema_of_xml 添加到 pyspark、spark connect 和 sql 函数
- [SPARK-44614] [SC-138460][PYTHON][CONNECT][3.5] 在 setup.py 中添加缺少的包
- [SPARK-45151] [SC-142861][CORE][UI] 任务级线程转储支持
- [SPARK-45056] [SC-142779][PYTHON][SS][CONNECT] streamingQueryListener 和 foreachBatch 的终止测试
- [SPARK-45084] [SC-142828][SS] StateOperatorProgress 使用准确的有效洗牌分区数
- [SPARK-44872] [SC-142405][CONNECT] 服务器测试基础设施和 ReattachableExecuteSuite
- [SPARK-45197] [SC-142984][CORE] [SPARK-45197] [SC-142984][CORE] 让
StandaloneRestServer将JavaModuleOptions添加到驱动程序 - [SPARK-44404] [SC-139601][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[1009,1010,1013,1015,1016,1278]
- [SPARK-44647] [SC-142297][SQL] 支持 SPJ，其中连接键小于集群键
- [SPARK-45088] [SC-142785][PYTHON][CONNECT] 使
getitem能够处理重复的列 - [SPARK-45128] [SC-142851][SQL] 支持 Arrow 中的
CalendarIntervalType - [SPARK-45130] [SC-142976][CONNECT][ML][PYTHON] 避免 Spark 连接 ML 模型来更改输入 pandas 数据帧
- [SPARK-45034] [SC-142959][SQL] 支持确定性模式函数
- [SPARK-45173] [SC-142931][UI] 移除 UI 中一些不必要的 sourceMapping 文件
- [SPARK-45162] [SC-142781][SQL] 支持通过
call_function构造的映射和数组参数 - [SPARK-45143] [SC-142840][PYTHON][CONNECT] 使 PySpark 与 PyArrow 13.0.0 兼容
- [SPARK-45174] [SC-142837][CORE] 支持
spark.deploy.maxDrivers - [SPARK-45167] [SC-142956][CONNECT][PYTHON] Python 客户端必须调用
release_all - [SPARK-36191] [SC-142777][SQL] 在相关标量（横向）子查询中处理限制和排序依据
- [SPARK-45159] [SC-142829][PYTHON] 仅在必要时处理命名参数
- [SPARK-45133] [SC-142512][CONNECT] 将 Spark Connect 查询设置为在最后一个结果任务完成时处于“已完成”状态
- [SPARK-44801] [SC-140802][SQL][UI] 在侦听器和 UI 中捕获分析失败的查询
- [SPARK-45139] [SC-142527][SQL] 添加 DatabricksDialect 来处理 SQL 类型转换
- [SPARK-45157] [SC-142546][SQL] 避免在
[On|Off|HeapColumnVector中重复检查if - [SPARK-45077] 还原“[SC-142069][UI] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4”
- [SPARK-45145] [SC-142521][EXAMPLE] 添加 JavaSparkSQLCli 示例
- [SPARK-43295] 还原“[SC-142254][PS] 支持
DataFrameGroupBy.sum的字符串类型列” - [SPARK-44915] [SC-142383][CORE] 在恢复之前验证重新装载 PVC 的随机数据的校验和
- [SPARK-45147] [SC-142524][CORE] 移除
System.setSecurityManager使用情况 - [SPARK-45104] [SC-142206][UI] 将
graphlib-dot.min.js升级到 1.0.2 - [SPARK-44238] [SC-141606][CORE][SQL] 为
BloomFilter引入带有字节数组输入的新readFrom方法 - [SPARK-45060] [SC-141742][SQL] 修复
NULL格式上to_char()的内部错误 - [SPARK-43252] [SC-142381][SQL] 将错误类
_LEGACY_ERROR_TEMP_2016替换为内部错误 - [SPARK-45069] [SC-142279][SQL] SQL 变量应始终在外部引用后解析
- [SPARK-44911] [SC-142388][SQL] 创建具有无效列的 hive 表应返回错误类
- [SPARK-42754] [SC-125567][SQL][UI] 修复嵌套 SQL 执行中的后向兼容性问题
- [SPARK-45121] [SC-142375][CONNECT][PS] Spark Connect 支持
Series.empty。 - [SPARK-44805] [SC-142203][SQL] getBytes/getShorts/getInts/ 等应该在有字典的列向量中工作
- [SPARK-45027] [SC-142248][PYTHON] 隐藏
pyspark.sql.functions中的内部函数/变量以防止自动完成 - [SPARK-45073] [SC-141791][PS][CONNECT] 将
LastNotNull替换为Last(ignoreNulls=True) - [SPARK-44901] [SC-141676][SQL] 手动回送：在 Python UDTF“analyze”方法中添加 API 以返回分区/排序表达式
- [SPARK-45076] [SC-141795][PS] 切换到内置
repeat函数 - [SPARK-44162] [SC-141605][CORE] 在 Spark 指标中支持 G1GC
- [SPARK-45053] [SC-141733][PYTHON][次要] python 版本不匹配的日志改进
- [SPARK-44866] [SC-142221][SQL] 添加
SnowflakeDialect以正确处理 BOOLEAN 类型 - [SPARK-45064] [SC-141775][PYTHON][CONNECT] 在
ceil/ceiling中添加缺少的scale参数 - [SPARK-45059] [SC-141757][CONNECT][PYTHON] 将
try_reflect函数添加到 Scala 和 Python - [SPARK-43251] [SC-142280][SQL] 将错误类
_LEGACY_ERROR_TEMP_2015替换为内部错误 - [SPARK-45052] [SC-141736][SQL][PYTHON][CONNECT] 使函数别名输出列名称与 SQL 一致
- [SPARK-44239] [SC-141502][SQL] 重置向量时由大向量分配可用内存
- [SPARK-43295] [SC-142254][PS] 支持
DataFrameGroupBy.sum的字符串类型列 - [SPARK-45080] [SC-142062][SS] 明确调用 DSv2 流数据源中对列式的支持
- [SPARK-45036] [SC-141768][SQL] SPJ：简化处理部分集群分布的逻辑
- [SPARK-45077] [SC-142069][UI] 将 dagre-d3.js 从 0.4.3 升级到 0.6.4
- [SPARK-45091] [SC-142020][PYTHON][CONNECT][SQL] 函数
floor/round/bround接受列类型scale - [SPARK-45090] [SC-142019][PYTHON][CONNECT]
DataFrame.{cube, rollup}支持列序号 - [SPARK-44743] [SC-141625][SQL] 添加
try_reflect函数 - [SPARK-45086] [SC-142052][UI] 显示线程锁哈希码的十六进制
- [SPARK-44952] [SC-141644][SQL][PYTHON] 支持聚合 Pandas UDF 中的命名参数
- [SPARK-44987] [SC-141552][SQL] 为错误类
_LEGACY_ERROR_TEMP_1100指定名称 - [SPARK-45032] [SC-141730][CONNECT] 修复与
Top-level wildcard is not allowed and will error under -Xsource:3相关的编译警告 - [SPARK-45048] [SC-141629][CONNECT] 添加针对 Python 客户端和可附加执行的附加测试
- [SPARK-45072] [SC-141807][CONNECT] 修复二元类的外部范围
- [SPARK-45033] [SC-141759][SQL] 通过参数化
sql()支持映射 - [SPARK-45066] [SC-141772][SQL][PYTHON][CONNECT] 使函数
repeat重复接受列类型n - [SPARK-44860] [SC-141103][SQL] 添加 SESSION_USER 函数
- [SPARK-45074] [SC-141796][PYTHON][CONNECT]
DataFrame.{sort, sortWithinPartitions}支持列序号 - [SPARK-45047] [SC-141774][PYTHON][CONNECT]
DataFrame.groupBy支持列序号 - [SPARK-44863] [SC-140798][UI] 添加一个按钮以在 Spark UI 中将线程转储下载为 txt
- [SPARK-45026] [SC-141604][CONNECT]
spark.sql应该支持与 arrow 不兼容的数据类型 - [SPARK-44999] [SC-141145][CORE] 重构
ExternalSorter以减少调用getPartition时对shouldPartition的检查 - [SPARK-42304] [SC-141501][SQL] 将
_LEGACY_ERROR_TEMP_2189重命名为GET_TABLES_BY_TYPE_UNSUPPORTED_BY_HIVE_VERSION - [SPARK-43781] [SC-139450][SQL] 修复从同一源派生两个数据集时的 IllegalStateException
- [SPARK-45018] [SC-141516][PYTHON][CONNECT] 将 CalendarIntervalType 添加到 Python 客户端
- [SPARK-45024] [SC-141513][PYTHON][CONNECT] 筛选出会话创建中的一些配置
- [SPARK-45017] [SC-141508][PYTHON] 将
CalendarIntervalType添加到 PySpark - [SPARK-44720] [SC-139375][CONNECT] 让数据集使用编码器而不是 AgnosticEncoder
- [SPARK-44982] [SC-141027][CONNECT] 在创建过程中将配置应用于sparksession
- [SPARK-44839] [SC-140900][SS][CONNECT] 在用户尝试序列化 Spark 会话时优化错误日志记录
- [SPARK-44865] [SC-140905][SS] 使 StreamingRelationV2 支持元数据列
- [SPARK-45001] [SC-141141][PYTHON][CONNECT] 实施 DataFrame.foreachPartition
- [SPARK-44497] [SC-141017][WEBUI] 在任务表中显示任务分区 ID
- [SPARK-45006] [SC-141143][UI] 对时间线 x 轴使用其他 UI 日期元素的相同日期格式
- [SPARK-45000] [SC-141135][PYTHON][CONNECT] 实施 DataFrame.foreach
- [SPARK-44967] [SC-141137][SQL][CONNECT] 单元应先考虑使用 Boolean for TreeNodeTag
- [SPARK-44993] [SC-141088][CORE] 通过重用
ShuffleChecksumTestHelp.compareChecksums添加ShuffleChecksumUtils.compareChecksums - [SPARK-44807] [SC-140176][CONNECT] 将 Dataset.metadataColumn 添加到 Scala 客户端
- [SPARK-44965] [SC-141098][PYTHON] 隐藏
pyspark.sql.functions中的内部函数/变量 - [SPARK-44983] [SC-141030][SQL] 通过
to_char将二进制转换为字符串，格式为：hex、base64、utf-8 - [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 修复继承的命名元组以在 createDataFrame 中工作
- [SPARK-44985] [SC-141033][CORE] 对任务收获器 threadDump 使用 toString 而不是 stacktrace
- [SPARK-44984] [SC-141028][PYTHON][CONNECT] 从 DataFrame 中移除
_get_alias - [SPARK-44975] [SC-141013][SQL] 删除已解析的 BinaryArithmetic 无用替代
- [SPARK-44969] [SC-140957][SQL] 在
ArrayAppend中重用ArrayInsert - [SPARK-44549] [SC-140714][SQL] 支持相关标量子查询中的窗口函数
- [SPARK-44938] [SC-140811][SQL] 将默认值
spark.sql.maxSinglePartitionBytes更改为 128m - [SPARK-44918] [SC-140816][SQL][PYTHON] 支持标量 Python/Pandas UDF 中的命名参数
- [SPARK-44966] [SC-140907][CORE][CONNECT] 将从未更改的
var更改为val - [SPARK-41471] [SC-140804][SQL] 仅当联接的一端为 KeyGroupedPartitioning 时减少 Spark 随机
- [SPARK-44214] [SC-140528][CORE] 支持 Spark 驱动程序实时日志 UI
- [SPARK-44861] [SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
- [SPARK-44776] [SC-140519][CONNECT] 将 ProducedRowCount 添加到 SparkListenerConnectOperationFinished
- [SPARK-42017] [SC-140765][PYTHON][CONNECT]
df['col_name']应验证列名称 - [SPARK-40178] [SC-140433][SQL][COONECT] 轻松支持 PySpark 和 R 的合并提示
- [SPARK-44840] [SC-140593][SQL] 为负索引创建基于 1 的
array_insert() - [SPARK-44939] [SC-140778][R] 在 SparkR SystemRequirements 中支持 Java 21
- [SPARK-44936] [SC-140770][CORE] 当 Spark HybridStore 达到内存限制时简化日志
- [SPARK-44908] [SC-140712][ML][CONNECT] 修复交叉验证程序 foldCol param 功能
- [SPARK-44816] [SC-140717][CONNECT] 在找不到 UDF 类时改进错误消息
- [SPARK-44909] [SC-140710][ML] 跳过启动 torch 分发服务器日志流式处理服务器（如果不可用）
- [SPARK-44920] [SC-140707][CORE] 在 TransportClientFactory.createClient() 中使用await() 而不是awaitUninterruptically()
- [SPARK-44905] [SC-140703][SQL] 有状态的 lastRegex 导致 regexp_replace 的 eval 出现 NullPointerException
- [SPARK-43987] [SC-139594][Shuffle] 将 FinalizeShuffleMerge 处理单独分配给专用线程池
- [SPARK-42768] [SC-140549][SQL] 当 ROWID 类型的列包含 NULL 值时抛出 NullPointerException
- [SPARK-44741] [SC-139447][CORE] 在
StatsdSink中支持基于正则表达式的 MetricFilter - [SPARK-44751] [SC-140532][SQL] XML FileFormat 接口实现
- [SPARK-44868] [SC-140438][SQL] 通过
to_char/to_varchar将日期时间转换为字符串 - [SPARK-44748] [SC-140504][SQL] UDTF TABLE 参数中 PARTITION BY 子句的查询执行
- [SPARK-44873] [SC-140427] 在 Hive 客户端中支持具有嵌套列的更改视图
- [SPARK-44876] [SC-140431][PYTHON] 修复 Spark Connect 上经过 Arrow 优化的 Python UDF
- [SPARK-44520] [SC-137845][SQL] 将术语 UNSUPPORTED_DATA_SOURCE_FOR_DIRECT_QUERY 替换为 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 和公开根 AE
- [SPARK-42664] [SC-139769][CONNECT] 支持
DataFrameStatFunctions的bloomFilter函数 - [SPARK-43567] [SC-139227][PS] 支持
factorize的use_na_sentinel - [SPARK-44859] [SC-140254][SS] 修复结构化流式处理文档中不正确的属性名称
- [SPARK-44822] [SC-140182][PYTHON][SQL] 默认情况下将 Python UDF 设为非确定性
- [SPARK-44731] [SC-139524][PYTHON][CONNECT] 使 TimestampNTZ 适用于 Python Spark Connect 中的文本
- [SPARK-44836] [SC-140180][PYTHON] 重构 Arrow Python UDTF
- [SPARK-44714] [SC-139238] 放宽对具有以下查询的 LCA 解析的限制
- [SPARK-44749] [SC-139664][SQL][PYTHON] 支持 Python UDTF 中的命名参数
- [SPARK-44737] [SC-139512][SQL][UI] 不应在 SQL 页上显示 SQL 页上非 SparkThrowables 的 json 格式错误
- [SPARK-44665] [SC-139307][PYTHON] 添加对 pandas DataFrame assertDataFrameEqual 的支持
- [SPARK-44736] [SC-139622][CONNECT] 将 Dataset.explode 添加到 Spark Connect Scala 客户端
- [SPARK-44732] [SC-139422][SQL] 内置 XML 数据源支持
- [SPARK-44694] [SC-139213][PYTHON][CONNECT] 重构活动会话并将其公开为 API
- [SPARK-44652] [SC-138881] 当只有一个 df 为 None 时引发错误
- [SPARK-44562] [SC-138824][SQL] 在子查询批处理中添加 OptimizeOneRowRelationSubquery
- [SPARK-44717] [SC-139319][PYTHON][PS] 在重采样中遵循 TimestampNTZ
- [SPARK-42849] [SC-139365] [SQL] 会话变量
- [SPARK-44236] [SC-139239][SQL] 在将
spark.sql.codegen.factoryMode设置为 NO_CODEGEN 时禁用 WholeStageCodegen - [SPARK-44695] [SC-139316][PYTHON] 改进
DataFrame.toDF的错误消息 - [SPARK-44680] [SC-139234][SQL] 改进
DEFAULT中的参数错误 - [SPARK-43402] [SC-138321][SQL] FileSourceScanExec 支持使用标量子查询向下推送数据筛选器
- [SPARK-44641] [SC-139216][SQL] 未触发 SPJ 时，某些情况下结果不正确
- [SPARK-44689] [SC-139219][CONNECT] 使函数
SparkConnectPlanner#unpackScalarScalaUDF的异常处理更加通用 - [SPARK-41636] [SC-139061][SQL] 确保
selectFilters按确定性顺序返回谓词 - [SPARK-44132] [SC-139197][SQL] 具体化联接列名称
Stream以避免 codegen 失败 - [SPARK-42330] [SC-138838][SQL] 将名称
RULE_ID_NOT_FOUND分配到错误类_LEGACY_ERROR_TEMP_2175 - [SPARK-44683] [SC-139214][SS] 日志记录级别未正确传递给 RocksDB 状态存储提供程序
- [SPARK-44658] [SC-138868][CORE]
ShuffleStatus.getMapStatus应返回None而不是Some(null) - [SPARK-44603] [SC-138353] 将 pyspark.testing 添加到 setup.py
- [SPARK-44252] [SC-137505][SS] 定义新的错误类并申请从 DFS 加载状态失败的情况
- [SPARK-29497] [DBRRM-396][SC-138477][CONNECT] 在 UDF 不可反序列化时抛出错误。
- [SPARK-44624] [DBRRM-396][SC-138900][CONNECT] 如果初始请求未到达服务器，则重试 ExecutePlan
- [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] 删除 Connect Client Catalyst 依赖项
- [SPARK-44059] [SC-138833][SQL] 为 SQL 命令的参数添加更好的错误消息
- [SPARK-44620] [SC-138831][SQL][PS][CONNECT] 使
ResolvePivot保留Plan_ID_TAG - [SPARK-43838] [SC-137413][SQL] 修复具有子句的单个表上的子查询无法优化
- [SPARK-44555] [SC-138820][SQL] 使用 checkError() 检查命令套件中的异常并分配一些错误类名称
- [SPARK-44280] [SC-138821][SQL] 在 JDBCDialect API 中添加 ConvertJavaTimestampToTimestamp
- [SPARK-44602] [SC-138337][SQL][CONNECT][PS] 使
WidenSetOperationTypes保留Plan_ID_TAG - [SPARK-42941] [SC-138389][SS][CONNECT] Python StreamingQueryListener
- [SPARK-43838] 还原“[SC-137413][SQL] 修复单个 ta 上的子查询…
- [SPARK-44538] [SC-138178][CONNECT][SQL] Reinstate Row.jsonValue 和 friends
- [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Spark Connect 中的可重新附加执行
- [SPARK-43838] [SC-137413][SQL] 修复具有子句的单个表上的子查询无法优化
- [SPARK-44587] [SC-138315][SQL][CONNECT] 增加 protobuf 封送器递归限制
- [SPARK-44605] [SC-138338][CORE] 优化内部 ShuffleWriteProcessor API
- [SPARK-44394] [SC-138291][CONNECT][WEBUI] 为 Spark Connect 添加 Spark UI 页面
- [SPARK-44585] [SC-138286][MLLIB] 修复 MLLib RankingMetrics ndcgAk 中的警告条件
- [SPARK-44198] [SC-138137][CORE] 支持将日志级别传播到执行程序
- [SPARK-44454] [SC-138071][SQL][HIVE] HiveShim getTablesByType 支持回退
- [SPARK-44425] [SC-138135][CONNECT] 验证用户提供的 sessionId 是否为 UUID
- [SPARK-43611] [SC-138051][SQL][PS][CONNCECT] 使
ExtractWindowExpressions保留PLAN_ID_TAG - [SPARK-44560] [SC-138117][PYTHON][CONNECT] 改进 Arrow Python UDF 的测试和文档
- [SPARK-44482] [SC-138067][CONNECT] Connect 服务器应指定绑定地址
- [SPARK-44528] [SC-138047][CONNECT] 支持为 Connect 数据帧正确使用 hasattr()
- [SPARK-44525] [SC-138043][SQL] 在找不到调用方法时改进错误消息
- [SPARK-44355] [SC-137878][SQL] 将 WithCTE 移动到命令查询中
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。
系统环境
- 操作系统：Ubuntu 22.04.3 LTS
- Java：Zulu 8.72.0.17-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.3.1
- Delta Lake：3.0.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 单击 | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密码系统 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbu-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| 执行 | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.18.0 |
| filelock | 3.12.3 | fonttools | 4.25.0 | GCC 运行时库 | 1.10.0 |
| googleapis-common-protos | 1.60.0 | grpcio | 1.48.2 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.4 | importlib-metadata | 4.6.4 |
| ipykernel | 6.25.0 | ipython | 8.14.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.17.3 | jupyter-client | 7.3.4 | jupyter-server | 1.23.4 |
| jupyter_core | 5.2.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| keyring | 23.5.0 | kiwisolver | 1.4.4 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lxml | 4.9.1 |
| MarkupSafe | 2.1.1 | matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.2 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| nodeenv | 1.8.0 | 笔记本 | 6.5.2 | notebook_shim | 0.2.2 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 打包 | 22.0 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.10.3 | patsy | 0.5.3 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.4.0 | pip | 22.3.1 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | pluggy | 1.0.0 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | protobuf | 4.24.0 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 8.0.0 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.0.1 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| 请求 | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 65.6.3 | 6 | 1.16.0 |
| sniffio | 1.2.0 | soupsieve | 2.3.2.post1 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.13.5 | tenacity | 8.1.0 |
| terminado | 0.17.1 | threadpoolctl | 2.2.0 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | tomli | 2.0.1 | tornado | 6.1 |
| traitlets | 5.7.1 | typing_extensions | 4.4.0 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.14 | virtualenv | 20.16.7 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webencodings | 0.5.1 |
| websocket-client | 0.58.0 | whatthepatch | 1.0.2 | wheel | 0.38.4 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
| SciPy | 1.10.1 |
已安装的 R 库
R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | CLI | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | 凭据 | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | 示意图 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| 评估 | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-82 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 进度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| SparkR | 3.5.0 | spatial | 7.3-15 | splines | 4.3.1 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.1 |
| stats4 | 4.3.1 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-5 | sys | 3.4.2 | systemfonts | 1.0.4 |
| tcltk | 4.3.1 | testthat | 3.1.10 | textshaping | 0.3.6 |
| tibble | 3.2.1 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 2.0.0 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.45 | 工具 | 4.3.1 | tzdb | 0.4.0 |
| urlchecker | 1.0.1 | usethis | 2.2.2 | utf8 | 1.2.3 |
| utils | 4.3.1 | uuid | 1.1-0 | vctrs | 0.6.3 |
| viridisLite | 0.4.2 | vroom | 1.6.3 | waldo | 0.5.1 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.39 |
| xml2 | 1.3.5 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.3.0 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.7.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-spark_2.12 | 0.7.5 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.1-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.9 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.9.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |