Databricks Runtime 14.3 LTS
以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.3 LTS 的相关信息。
Databricks 于 2024 年 2 月发布了这些映像。
新增功能和改进
- 共享群集上的 PySpark 用户定义的函数 (UDF) 中的工作区文件系统支持
- 支持在没有 Photon 的情况下进行删除矢量
MERGE优化 - 共享访问模式现在完全支持 Spark 目录 API
- Delta UniForm 现已正式发布
- 新的 SQL 函数 EXECUTE IMMEDIATE
- 重新计算 Delta 表的跳过数据统计信息
- 有状态流式处理查询的查询状态信息
- 在共享群集上使用 Microsoft Entra ID 进行 Kafka 身份验证
- 增加了对文件和分区修剪的支持，以提高查询性能
- 在 SQL 会话中声明临时变量
- Thriftserver 更新以删除未使用的功能
- Unity 目录卷中使用信任存储和密钥存储文件
- 原生 XML 文件格式支持（公共预览版）
- 支持 Cloudflare R2 存储（公共预览版）
- Spark 和 dbutils 访问共享访问 Unity Catalog 群集上的工作区文件支持
- 共享访问 Unity Catalog 群集上的 Init 脚本和群集库支持
共享群集上的 PySpark 用户定义的函数 (UDF) 中的工作区文件系统支持
共享群集上的 PySpark UDF 现在可以从 Git 文件夹、工作区文件或 UC 卷导入 Python 模块。
有关在 Databricks Git 文件夹或工作区文件中使用模块的详细信息，请参阅使用 Python 和 R 模块。
支持在没有 Photon 的情况下进行删除矢量 MERGE 优化
MERGE 操作不再需要 Photon 即可使用删除向量优化。 请参阅什么是删除向量？。
共享访问模式现在完全支持 Spark 目录 API
现在，你可以在配置了共享访问模式的计算中在 Python 和 Scala 中使用 spark.catalog API 中的所有函数。
Delta UniForm 现已正式发布
UniForm 现已正式发布并使用 IcebergCompatV2 表功能。 你现在可以对现有表启用或升级 UniForm。 请参阅通过 Iceberg 客户端使用 UniForm 来读取增量表。
新的 SQL 函数 EXECUTE IMMEDIATE
现在可使用 EXECUTE IMMEDIATE 语法支持 SQL 中的参数化查询。 请参阅 EXECUTE IMMEDIATE。
重新计算 Delta 表的跳过数据统计信息
现在可以在更改用于跳过数据的列后重新计算存储在增量日志中的统计信息。 请参阅指定增量统计信息列。
有状态流式处理查询的查询状态信息
现在可以查询结构化流式处理状态数据和元数据。 请参阅读取结构化流式处理状态信息。
在共享群集上使用 Microsoft Entra ID 进行 Kafka 身份验证
现在可以在已配置共享访问模式的计算上使用 Microsoft Entra ID 通过 OAuth 对事件中心服务进行身份验证。 请参阅使用 Microsoft Entra ID 和 Azure 事件中心进行服务主体身份验证。
增加了对文件和分区修剪的支持，以提高查询性能
为了加快 JOIN 条件中依赖 null 容错相等性的某些查询的速度，我们现在支持 JOIN 中 EqualNullSafe 运算符的 DynamicFilePruning 和 DynamicPartitionPruning。
在 SQL 会话中声明临时变量
此版本引入了在会话中声明临时变量的功能，可以对该会话进行设置，然后从查询中引用这些变量。 请参阅 变量。
Thriftserver 更新以删除未使用的功能
Thriftserver 代码已更新，删除了过时功能的代码。 由于这些更改，不再支持以下配置：
hive-thriftserver连接不再支持使用hive.aux.jars.path属性配置的 Hive 辅助 JAR。hive-thriftserver连接不再支持 Hive 全局初始化文件 (.hiverc)，其位置使用hive.server2.global.init.file.location属性或HIVE_CONF_DIR环境变量配置。
Unity 目录卷中使用信任存储和密钥存储文件
现在，可以使用 Unity Catalog 中的信任存储和密钥存储文件对 Avro 或协议缓冲区数据的 Confluent 架构注册表进行身份验证。 请参阅有关 avro 或协议缓冲区的文档。
原生 XML 文件格式支持（公共预览版）
原生 XML 文件格式支持目前以公共预览版提供。 XML 文件格式支持启用对 XML 数据的引入、查询和分析，以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型，支持 SQL 表达式（例如 from_xml）并生成 XML 文档。 它不需要使用外部 jar，可与自动加载程序、read_files、COPY INTO 和增量实时表无缝配合。 请参阅读取和写入 XML 文件。
支持 Cloudflare R2 存储（公共预览版）
现在，你可以使用 Cloudflare R2 作为云存储来存储 Unity Catalog 中注册的数据。 Cloudflare R2 主要用于下述 Delta Sharing 用例：当数据跨区域传输时，你希望避免云提供商收取数据流出量费用。 R2 存储支持 AWS S3 和 Azure Data Lake Storage Gen2 中支持的所有 Databricks 数据和 AI 资产。 请参阅使用 Cloudflare R2 副本或将存储迁移到 R2和创建用于连接到 Cloudflare R2 的存储凭据。
Spark 和 dbutils 访问共享访问 Unity Catalog 群集上的工作区文件支持
共享访问模式中的 Unity Catalog 群集现在支持 Spark 和 dbutils 对工作区文件的读取和写入访问。 请参阅使用工作区对象。
共享访问 Unity Catalog 群集上的 Init 脚本和群集库支持
共享访问模式中的 Unity Catalog 群集上的群集范围的 init 脚本和 Python 和 JAR 库的安装（包括使用群集策略进行安装）现已正式发布。 Databricks 建议从 Unity Catalog 卷安装 init 脚本和库。
库升级
- 升级了 Python 库：
- fastjsonschema 已从 2.19.0 升级到 2.19.1
- filelock 已从 3.12.4 升级到 3.13.1
- googleapis-common-protos 已从 1.61.0 升级到 1.62.0
- packaging 已从 22.0 升级到 23.2
- 升级了 R 库：
- foreign 已从 0.8-82 升级到 0.8-85
- nlme 已从 3.1-162 升级到 3.1-163
- rpart 已从 4.1.19 升级到 4.1.21
- 升级了 Java 库：
- com.databricks.databricks-sdk-java 已从 0.7.0 升级到 0.13.0
- org.apache.orc.orc-core 已从 1.9.1-shaded-protobuf 升级到 1.9.2-shaded-protobuf
- org.apache.orc.orc-mapreduce 已从 1.9.1-shaded-protobuf 升级到 1.9.2-shaded-protobuf
- org.apache.orc.orc-shims 已从 1.9.1 升级到 1.9.2
- org.scala-lang.modules.scala-collection-compat_2.12 已从 2.9.0 升级到 2.11.0
Apache Spark
Databricks Runtime 14.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.2 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：
- [SPARK-46541] [SC-153546][SQL][CONNECT] 修复自联接中不明确的列引用
- [SPARK-45433] 还原“[SC-145163][SQL] 修复 CSV/JSON 架构推断...
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] 使 addArtifact 可重试
- [SPARK-46660] [SC-153391][CONNECT] ReattachExecute 请求更新 SessionHolder 的活动状态
- [SPARK-46670] [SC-153273][PYTHON][SQL] 通过分离静态和运行时 Python 数据源，使 DataSourceManager 能够自我克隆
- [SPARK-46720] [SC-153410][SQL][PYTHON] 重构 Python 数据源以与其他 DSv2 内置数据源保持一致
- [SPARK-46684] [SC-153275][PYTHON][CONNECT] 修复 CoGroup.applyInPandas/Arrow 以正确传递参数
- [SPARK-46667] [SC-153271][SC-153263][SQL] XML：在多个 XML 数据源上引发错误
- [SPARK-46382] [SC-151881][SQL]XML：默认 ignoreSurroundingSpaces 为 true
- [SPARK-46382] [SC-153178][SQL] XML：更新
ignoreSurroundingSpaces文档 - [SPARK-45292] 还原“[SC-151609][SQL][HIVE] 从 IsolatedClientLoader 中删除共享类的 Guava”
- [SPARK-45292] [SC-151609][SQL][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava
- [SPARK-46311] [SC-150137][CORE] 记录
Master.removeDriver期间驱动程序的最终状态 - [SPARK-46413] [SC-151052][PYTHON] 验证 Arrow Python UDF 的 returnType
- [SPARK-46633] [WARMFIX][SC-153092][SQL] 修复 Avro 读取器以处理零长度块
- [SPARK-46537] [SC-151286][SQL] 将 NPE 和断言从命令转换为内部错误
- [SPARK-46179] [SC-151678][SQL] 添加 CrossDbmsQueryTestSuites，它使用其他 DBMS 针对黄金文件运行其他 DBMS，从 Postgres 开始
- [SPARK-44001] [SC-151413][PROTOBUF] 添加选项以允许解包 protobuf 已知的包装器类型
- [SPARK-40876] [SC-151786][SQL] 在 Parquet 读取器中扩大小数位数的类型提升
- [SPARK-46605] [SC-151769][CONNECT] 使连接模块中的
lit/typedLit函数支持s.c.immutable.ArraySeq - [SPARK-46634] [SC-153005][SQL] 文本验证不应向下钻取到 null 字段
- [SPARK-37039] [SC-153094][PS] 修复
Series.astype以在缺失值的情况下正常工作 - [SPARK-46312] [SC-150163][CORE] 在
store_types.proto中使用lower_camel_case - [SPARK-46630] [SC-153084][SQL] XML：写入时验证 XML 元素名称
- [SPARK-46627] [SC-152981][SS][UI] 修复流式处理 ui 上的时间线工具提示内容
- [SPARK-46248] [SC-151774][SQL] XML：支持 ignoreCorruptFiles 和 ignoreMissingFiles 选项
- [SPARK-46386] [SC-150766][PYTHON] 改进观察断言 (pyspark.sql.observation)
- [SPARK-46581] [SC-151789][CORE] 更新 AccumulatorV2 中 isZero 的注释
- [SPARK-46601] [SC-151785] [CORE] 修复 handleStatusMessage 中的日志错误
- [SPARK-46568] [SC-151685][PYTHON] 使 Python 数据源选项成为不区分大小写的字典
- [SPARK-46611] [SC-151783][CORE] 通过用 DateTimeFormatter 替换 SimpleDateFormat 来删除 ThreadLocal
- [SPARK-46604] [SC-151768][SQL] 使
Literal.apply支持s.c.immuable.ArraySeq - [SPARK-46324] [SC-150223][SQL][PYTHON] 修复 pyspark.sql.functions.user 和 session_user 的输出名称
- [SPARK-46621] [SC-151794][PYTHON] 解决 Py4J 捕获异常中 Exception.getMessage 中的 null
- [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader 在为缺失列创建列向量时应遵循内存模式
- [SPARK-46613] [SC-151778][SQL][PYTHON] 查找 Python 数据源失败时记录完整异常
- [SPARK-46559] [SC-151364][MLLIB] 将
export用反引号包装在包名称中 - [SPARK-46522] [SC-151784][PYTHON] 阻止具有名称冲突的 Python 数据源注册
- [SPARK-45580] [SC-149956][SQL] 处理嵌套子查询成为存在联接的情况
- [SPARK-46609] [SC-151714][SQL] 避免 PartitioningPreservingUnaryExecNode 中的指数爆炸
- [SPARK-46535] [SC-151288][SQL] 描述没有列统计信息的列扩展时修复 NPE
- [SPARK-46599] [SC-147661][SC-151770][SQL] XML：使用 TypeCoercion.findTightestCommonType 进行兼容性检查
- [SPARK-40876] [SC-151129][SQL] 扩大 Parquet 读取器的类型提升
- [SPARK-46179] [SC-151069][SQL] 将代码提取到 SQLQueryTestSuite 中的可重用函数中
- [SPARK-46586] [SC-151679][SQL] 支持
s.c.immutable.ArraySeq，如MapObjects中的customCollectionCls - [SPARK-46585] [SC-151622][CORE] 直接将
metricPeaks构造为immutable.ArraySeq，而不是在Executor中使用mutable.ArraySeq.toSeq - [SPARK-46488] [SC-151173][SQL] 在时间戳分析期间跳过 trimAll 调用
- [SPARK-46231] [SC-149724][PYTHON] 将所有剩余
NotImplementedError和TypeError迁移到 PySpark 错误框架 - [SPARK-46348] [SC-150281][CORE] 支持
spark.deploy.recoveryTimeout - [SPARK-46313] [SC-150164][CORE] 日志
Spark HA恢复持续时间 - [SPARK-46358] [SC-150307][CONNECT] 简化
ResponseValidator#verifyResponse中的条件检查 - [SPARK-46380] [SC-151078][SQL] 在评估内联表表达式之前替换当前时间/日期。
- [SPARK-46563] [SC-151441][SQL] 查看 simpleString 不遵循 conf spark.sql.debug.maxToStringFields
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] 通过将 (string|array).size 替换为 (string|array).length 减少堆栈深度
- [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT（结构中的所有字段）导致断言失败
- [SPARK-46565] [SC-151414][PYTHON] 优化 Python 数据源的错误类和错误消息
- [SPARK-46576] [SC-151614][SQL] 改进不支持的数据源保存模式的错误消息
- [SPARK-46540] [SC-151355][PYTHON] Python 数据源读取函数输出命名 Row 对象时遵循列名称
- [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite 泄漏 hive 的 SessionState
- [SPARK-44556] [SC-151562][SQL] 启用 vectorizedReader 时重用
OrcTail - [SPARK-46587] [SC-151618][SQL] XML：修复 XSD 大整数转换
- [SPARK-46382] [SC-151297][SQL] XML：捕获混杂在元素之间的值
- [SPARK-46567] [SC-151447][CORE] 删除 ReadAheadInputStream 的 ThreadLocal
- [SPARK-45917] [SC-151269][PYTHON][SQL] 启动时自动注册 Python 数据源
- [SPARK-28386] [SC-151014][SQL] 无法使用 GROUP BY 和 HAVING 解析 ORDER BY 列
- [SPARK-46524] [SC-151446][SQL] 改进无效保存模式的错误消息
- [SPARK-46294] [SC-150672][SQL] 清理 init 与零值的语义
- [SPARK-46301] [SC-150100][CORE] 支持
spark.worker.(initial|max)RegistrationRetries - [SPARK-46542] [SC-151324][SQL] 从
ExternalCatalogUtils#needsEscaping中删除c>=0检查，因为它始终为 true - [SPARK-46553] [SC-151360][PS]
interpolate的FutureWarning，具有对象类型 - [SPARK-45914] [SC-151312][PYTHON] 支持提交和中止用于 Python 数据源写入的 API
- [SPARK-46543] [SC-151350][PYTHON][CONNECT] 使
json_tuple对空字段引发 PySparkValueError - [SPARK-46520] [SC-151227][PYTHON] 支持 Python 数据源写入的覆盖模式
- [SPARK-46502] [SC-151235][SQL] 支持 UnwrapCastInBinaryComparison 中的时间戳类型
- [SPARK-46532] [SC-151279][CONNECT] 在
ErrorInfo的元数据中传递消息参数 - [SPARK-46397] 还原“[SC-151311][PYTHON][CONNECT] 函数
sha2应为无效numBits引发PySparkValueError” - [SPARK-46170] [SC-149472][SQL] 支持在 SparkSessionExtensions 中注入自适应查询后规划器策略规则
- [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable 不应加载表
- [SPARK-46397] [SC-151311][PYTHON][CONNECT] 函数
sha2应为无效numBits引发PySparkValueError - [SPARK-46145] [SC-149471][SQL] 找不到表或视图时，spark.catalog.listTables 不引发异常
- [SPARK-46272] [SC-151012][SQL] 使用 DSv2 源支持 CTAS
- [SPARK-46480] [SC-151127][CORE][SQL] 尝试表缓存任务时修复 NPE
- [SPARK-46100] [SC-149051][CORE][PYTHON] 通过将 (string|array).size 替换为 (string|array).length 减少堆栈深度
- [SPARK-45795] [SC-150764][SQL] DS V2 支持下推模式
- [SPARK-46485] [SC-151133][SQL] V1Write 不需要时不应添加 Sort
- [SPARK-46468] [SC-151121] [SQL] 使用 Aggregate 处理 EXISTS 子查询的 COUNT 个 bug，无需对键进行分组
- [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL 支持
- [SPARK-46498] [SC-151199][CORE] 从
o.a.spark.util.Utils#getConfiguredLocalDirs中移除shuffleServiceEnabled - [SPARK-46440] [SC-150807][SQL] 默认情况下将变基配置设置为
CORRECTED模式 - [SPARK-45525] [SC-151120][SQL][PYTHON] 支持使用 DSv2 写入 Python 数据源
- [SPARK-46505] [SC-151187][CONNECT] 在
ProtoUtils.abbreviate中配置字节阈值 - [SPARK-46447] [SC-151025][SQL] 删除旧版日期时间变基 SQL 配置
- [SPARK-46443] [SC-151123][SQL] 小数精度和小数位数应由 H2 方言决定。
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] 修复结构化流式处理页面上的操作持续时间堆栈图
- [SPARK-46207] [SC-151068][SQL] 支持 DataFrameWriterV2 中的 MergeInto
- [SPARK-46452] [SC-151018][SQL] 在 DataWriter 中添加新的 API 以编写记录迭代器
- [SPARK-46273] [SC-150313][SQL] 支持使用 DSv2 源 INSERT INTO/OVERWRITE
- [SPARK-46344] [SC-150267][CORE] 当驱动程序成功存在但主服务器断开连接时正确发出警告
- [SPARK-46284] [SC-149944][PYTHON][CONNECT] 向 Python 添加
session_user函数 - [SPARK-46043] [SC-149786][SQL] 支持使用 DSv2 源创建表
- [SPARK-46323] [SC-150191][PYTHON] 修复 pyspark.sql.functions.now 的输出名称
- [SPARK-46465] [SC-151059][PYTHON][CONNECT] 在 PySpark 中添加
Column.isNaN - [SPARK-46456] [SC-151050][CORE] 添加
spark.ui.jettyStopTimeout以将 Jetty 服务器停止超时设置为取消组织 SparkContext 关闭 - [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf：允许向上转换无符号整数类型
- [SPARK-46399] [SC-151013][14.x][Core] 将退出状态添加到应用程序结束事件以使用 Spark 侦听器
- [SPARK-46423] [SC-150752][PYTHON][SQL]在 DataSource.lookupDataSourceV2 处创建 Python 数据源实例
- [SPARK-46424] [SC-150765][PYTHON][SQL] 支持 Python 数据源中的 Python 指标
- [SPARK-46330] [SC-151015] 启用 HybridStore 时长时间加载 Spark UI 块
- [SPARK-46378] [SC-150397][SQL] 将 Aggregate 转换为 Project 后仍删除 Sort
- [SPARK-45506] [SC-146959][CONNECT] 向 SparkConnect addArtifact 添加 ivy URI 支持
- [SPARK-45814] [SC-147871][CONNECT][SQL]Make ArrowConverters.createEmptyArrowBatch 调用 close() 以避免内存泄漏
- [SPARK-46427] [SC-150759][PYTHON][SQL] 更改 Python 数据源的说明，以清晰地解释
- [SPARK-45597] [SC-150730][PYTHON][SQL] 支持在 SQL 中使用 Python 数据源创建表 (DSv2 exec)
- [SPARK-46402] [SC-150700][PYTHON] 添加 getMessageParameters 和 getQueryContext 支持
- [SPARK-46453] [SC-150897][CONNECT] 从
SessionHolder的internalError()中引发异常 - [SPARK-45758] [SC-147454][SQL] 引入 hadoop 压缩编解码器的映射器
- [SPARK-46213] [PYTHON] 为错误框架引入
PySparkImportError - [SPARK-46230] [SC-149960][PYTHON] 将
RetriesExceeded迁移到 PySpark 错误 - [SPARK-45035] [SC-145887][SQL] 修复 ignoreCorruptFiles/ignoreMissingFiles 和多行 CSV/JSON 将报告错误
- [SPARK-46289] [SC-150846][SQL] 支持解释模式下对 UDT 进行排序
- [SPARK-46229] [SC-150798][PYTHON][CONNECT] 将 applyInArrow 添加到 Spark Connect 中的 groupBy 和 cogroup
- [SPARK-46420] [SC-150847][SQL] 删除 SparkSQLCLIDriver 中未使用的传输
- [SPARK-46226] [PYTHON] 将所有剩余
RuntimeError迁移到 PySpark 错误框架 - [SPARK-45796] [SC-150613][SQL] 支持 MODE() WITHIN GROUP（ORDER BY 列）
- [SPARK-40559] [SC-149686][PYTHON][14.X] 将 applyInArrow 添加到 groupBy 和 cogroup
- [SPARK-46069] [SC-149672][SQL] 支持将时间戳类型解包为日期类型
- [SPARK-46406] [SC-150770][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_1023
- [SPARK-46431] [SC-150782][SS] 在会话迭代器中将
IllegalStateException转换为internalError - [SPARK-45807] [SC-150751][SQL] 改进 ViewCatalog API
- [SPARK-46009] [SC-149771][SQL][CONNECT] 将 PercentileCont 和 PercentileDisc 的解析规则合并到 functionCall 中
- [SPARK-46403] [SC-150756][SQL] 使用 getBytesUnsafe 方法解码 parquet 二进制文件
- [SPARK-46389] [SC-150779][CORE] 当
checkVersion引发异常时手动关闭RocksDB/LevelDB实例 - [SPARK-46360] [SC-150376][PYTHON] 使用新
getMessageAPI 增强错误消息调试 - [SPARK-46233] [SC-149766][PYTHON] 将所有剩余
AttributeError迁移到 PySpark 错误框架 - [SPARK-46394] [SC-150599][SQL] 修复
spark.sql.legacy.keepCommandOutputSchema设置为 true 时具有特殊字符的架构的 spark.catalog.listDatabases() 问题 - [SPARK-45964] [SC-148484][SQL] 删除 catalyst 包下 XML 和 JSON 包中的专用 sql 访问器
- [SPARK-45856] [SC-148691] 将 ArtifactManager 从 Spark Connect 移至 SparkSession (sql/core)
- [SPARK-46409] [SC-150714][CONNECT] 修复 Spark-connect-scala-client 启动脚本
- [SPARK-46416] [SC-150699][CORE] 将
@tailrec添加到HadoopFSUtils#shouldFilterOutPath - [SPARK-46115] [SC-149154][SQL] 限制
encode()中的字符集 - [SPARK-46253] [SC-150416][PYTHON] 规划使用 MapInArrow 读取的 Python 数据源
- [SPARK-46339] [SC-150266][SS] 具有批号名称的目录不应被视为元数据日志
- [SPARK-46353] [SC-150396][CORE] 重构以提高
RegisterWorker单元测试覆盖率 - [SPARK-45826] [SC-149061][SQL] 在 DataFrame 查询上下文中添加堆栈跟踪的 SQL 配置
- [SPARK-45649] [SC-150300][SQL] 统一 OffsetWindowFunctionFrame 的准备框架
- [SPARK-46346] [SC-150282][CORE] 修复主服务器，将
RegisterWorkermsg 上的辅助角色从UNKNOWN更新到ALIVE - [SPARK-46388] [SC-150496][SQL] HiveAnalysis 错过了
query.resolved的模式防护 - [SPARK-46401] [SC-150609][CORE] 使用
RoaringBitmap上的!isEmpty()，而不使用RemoteBlockPushResolver中的getCardinality() > 0 - [SPARK-46393] [SC-150603][SQL] 对 JDBC 表目录中的异常进行分类
- [SPARK-45798] [SC-150513][CONNECT] 后续：将 serverSessionId 添加到 SessionHolderInfo
- [SPARK-46153] [SC-146564][SC-150508][SQL] XML：添加 TimestampNTZType 支持
- [SPARK-46075] [SC-150393][CONNECT] SparkConnectSessionManager 的改进
- [SPARK-46357] [SC-150596] 将 setConf 的错误文档使用替换为 conf.set
- [SPARK-46202] [SC-150420][CONNECT] 公开新的 ArtifactManager API 以支持自定义目标目录
- [SPARK-45824] [SC-147648][SQL] 在
ParseException中强制执行错误类 - [SPARK-45845] [SC-148163][SS][UI] 将已逐出的状态行数添加到流式处理 UI
- [SPARK-46316] [SC-150181][CORE] 启用
core模块上的buf-lint-action - [SPARK-45816] [SC-147656][SQL] 从时间戳转换为整数期间溢出时返回
NULL - [SPARK-46333] [SC-150263][SQL] 将 catalyst 中的
IllegalStateException替换为SparkException.internalError - [SPARK-45762] [SC-148486][CORE] 通过更改启动顺序支持用户 jar 中定义的随机选择管理器
- [SPARK-46239] [SC-149752][CORE] 隐藏
Jetty信息 - [SPARK-45886] [SC-148089][SQL] 在 DataFrame 上下文的
callSite中输出完整堆栈跟踪 - [SPARK-46290] [SC-150059][PYTHON] 将 DataSourceWriter 的 saveMode 更改为布尔标志
- [SPARK-45899] [SC-148097][CONNECT] 在 errorInfoToThrowable 中设置 errorClass
- [SPARK-45841] [SC-147657][SQL] 通过
DataFrameQueryContext公开堆栈跟踪 - [SPARK-45843] [SC-147721][CORE] REST 提交 API 支持
killall - [SPARK-46234] [SC-149711][PYTHON] 为 PySpark 错误框架引入
PySparkKeyError - [SPARK-45606] [SC-147655][SQL] 解除多层运行时筛选器的限制
- [SPARK-45725] [SC-147006][SQL] 已删除非默认 IN 子查询运行时筛选器
- [SPARK-45694] [SC-147314][SPARK-45695][SQL] 清理已弃用的 API 使用
View.force和ScalaNumberProxy.signum - [SPARK-45805] [SC-147488][SQL] 使
withOrigin更通用 - [SPARK-46292] [SC-150086][CORE][UI] 在 MasterPage 中显示辅助角色摘要
- [SPARK-45685] [SC-146881][CORE][SQL] 使用
LazyList，而不使用Stream - [SPARK-45888] [SC-149945][SS] 将错误类框架应用于状态（元数据）数据源
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamed应保留 dict/map 排序 - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] 清理
SeqOps.view和ArrayOps.view转换 - [SPARK-46029] [SC-149255][SQL] 转义 DS V2 下推的单引号、
_和% - [SPARK-46275] [SC-150189] Protobuf：反序列化失败时，在许可模式下返回 null。
- [SPARK-46320] [SC-150187][CORE] 支持
spark.master.rest.host - [SPARK-46092] [SC-149658][SQL] 不要向下推送溢出的 Parquet 行组筛选器
- [SPARK-46300] [SC-150097][PYTHON][CONNECT] 将列中的次要行为与完整测试覆盖率相匹配
- [SPARK-46298] [SC-150092][PYTHON][CONNECT] 匹配 Catalog.createExternalTable 的弃用警告、测试用例和错误
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] 清理与
StringContext/StringOps/RightProjection/LeftProjection/Either相关的已弃用 API 使用和BufferedIterator/CanBuildFrom/Traversable的类型使用 - [SPARK-33393] [SC-148407][SQL] v2 中支持 SHOW TABLE EXTENDED
- [SPARK-45737] [SC-147011][SQL] 移除
SparkPlan#executeTake中不必要的.toArray[InternalRow] - [SPARK-46249] [SC-149797][SS] 需要实例锁来获取 RocksDB 指标，以防止与后台操作争用
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenamed应遵循 dict 顺序 - [SPARK-46274] [SC-150043] [SQL] 修复范围运算符 computeStats() 以在转换之前检查长期有效性
- [SPARK-46040] [SC-149767][SQL][Python] 更新“analyze”分区/排序列的 UDTF API，以支持常规表达式
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmpty应适用于所有数据类型 - [SPARK-45678] [SC-146825][CORE] 覆盖 BufferReleasingInputStream.available/在 tryOrFetchFailedException 下重置
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT] 清理与
IterableOnceExtensionMethods相关的已弃用 API 使用。 - [SPARK-43980] [SC-148992][SQL] 引入
select * except语法 - [SPARK-46269] [SC-149816][PS] 启用更多 NumPy 兼容性功能测试
- [SPARK-45807] [SC-149851][SQL] 将 createOrReplaceView(..) / replaceView(..) 添加到 ViewCatalog
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] 引入一个隐式函数，将 Scala 数组包装到
immutable.ArraySeq中。 - [SPARK-46205] [SC-149655][CORE]通过
KryoSerializer提高PersistenceEngine性能 - [SPARK-45746] [SC-149359][Python] 如果 UDTF“analyze”或“eval”方法接受或返回错误值，则返回特定的错误消息
- [SPARK-46186] [SC-149707][CONNECT] 修复在启动前 ExecuteThreadRunner 中断时的非法状态转换
- [SPARK-46262] [SC-149803][PS] 为 Pandas-on-Spark 对象启用
np.left_shift测试。 - [SPARK-45093] [SC-149679][CONNECT][PYTHON] 正确支持 AddArtifactHandler 的错误处理和转换
- [SPARK-46188] [SC-149571][Doc][3.5] 修复 Spark 文档生成的表的 CSS
- [SPARK-45940] [SC-149549][PYTHON] 将 InputPartition 添加到 DataSourceReader 接口
- [SPARK-43393] [SC-148301][SQL] 解决序列表达式溢出错误。
- [SPARK-46144] [SC-149466][SQL] NSERT INTO 失败 … 如果条件包含子查询，则使用 REPLACE 语句
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT] 使用
SparkSession.sessionState.conf而不是SQLContext.conf，并将SQLContext.conf标记为已弃用 - [SPARK-45760] [SC-147550][SQL] 添加 With 表达式以避免重复表达式
- [SPARK-43228] [SC-149670][SQL] 联接键也与 CoalesceBucketsInJoin 中的 PartitioningCollection 匹配
- [SPARK-46223] [SC-149691][PS] 通过清理未使用的代码测试 SparkPandasNotImplementedError
- [SPARK-46119] [SC-149205][SQL] 替代
UnresolvedAlias的toString方法 - [SPARK-46206] [SC-149674][PS] 对 SQL 处理器使用范围更窄的异常
- [SPARK-46191] [SC-149565][CORE] 存在现有文件时改进
FileSystemPersistenceEngine.persist错误 msg - [SPARK-46036] [SC-149356][SQL] 从 raise_error 函数中移除错误类
- [SPARK-46055] [SC-149254][SQL] 重写目录数据库 API 实现
- [SPARK-46152] [SC-149454][SQL] XML: 在 XML 架构推理中添加 DecimalType 支持
- [SPARK-45943] [SC-149452][SQL] 将 DetermineTableStats 移至解析规则
- [SPARK-45887] [SC-148994][SQL] 对齐
Encode的 codegen 和非 codegen 实现 - [SPARK-45022] [SC-147158][SQL] 提供数据集 API 错误的上下文
- [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON] 将
toIterator替换为IterableOnce的iterator - [SPARK-46141] [SC-149357][SQL] 将 spark.sql.legacy.ctePrecedencePolicy 的默认值更改为 CORRECTED
- [SPARK-45663] [SC-146617][CORE][MLLIB] 将
IterableOnceOps#aggregate替换为IterableOnceOps#foldLeft - [SPARK-45660] [SC-146493][SQL] 在 ComputeCurrentTime 规则中重用 Literal 对象
- [SPARK-45803] [SC-147489][CORE] 移除不再使用的
RpcAbortException - [SPARK-46148] [SC-149350][PS] 修复 pyspark.pandas.mlflow.load_model 测试 (Python 3.12)
- [SPARK-46110] [SC-149090][PYTHON] 在 catalog、conf、connect、observation、pandas 模块中使用错误类
- [SPARK-45827] [SC-149203][SQL] 修复了代码生成和矢量化读取器禁用的变体
- [SPARK-46080] 还原“[SC-149012][PYTHON] 将 Cloudpickle 升级到 3.0.0”
- [SPARK-45460] [SC-144852][SQL] 将
scala.collection.convert.ImplicitConversions替换为scala.jdk.CollectionConverters - [SPARK-46073] [SC-149019][SQL] 删除某些命令的 UnresolvedNamespace 的特殊解析
- [SPARK-45600] [SC-148976][PYTHON] 使 Python 数据源注册会话级别
- [SPARK-46074] [SC-149063][CONNECT][SCALA] UDF 时错误消息中的详细信息不足
- [SPARK-46114] [SC-149076][PYTHON] 为错误框架添加 PySparkIndexError
- [SPARK-46120] [SC-149083][CONNECT][PYTHON] 删除帮助程序函数
DataFrame.withPlan - [SPARK-45927] [SC-148660][PYTHON] 更新 Python 数据源的路径处理
- [SPARK-46062] [14.x][SC-148991][SQL] 同步 CTE 定义和引用之间的 isStreaming 标志
- [SPARK-45698] [SC-146736][CORE][SQL][SS] 清理与
Buffer相关的已弃用 API 使用 - [SPARK-46064] [SC-148984][SQL][SS] 将 EliminateEventTimeWatermark 移出到分析器并更改为仅对已解析的子项生效
- [SPARK-45922] [SC-149038][CONNECT][CLIENT] 次要重试重构（跟进多个策略）
- [SPARK-45851] [SC-148419][CONNECT][SCALA] 支持 scala 客户端中的多个策略
- [SPARK-45974] [SC-149062][SQL] 为 RowLevelOperationRuntimeGroupFiltering 添加 scan.filterAttributes 非空判断
- [SPARK-46085] [SC-149049][CONNECT] Scala Spark Connect 客户端中的 Dataset.groupingSets
- [SPARK-45136] [SC-146607][CONNECT] 通过 Ammonite 支持来增强 ClosureCleaner
- [SPARK-46084] [SC-149020][PS] 重构分类类型的数据类型转换操作。
- [SPARK-46083] [SC-149018][PYTHON] 使 SparkNoSuchElementException 成为规范错误 API
- [SPARK-46048] [SC-148982][PYTHON][CONNECT] 支持 Python Spark Connect 中的 DataFrame.groupingSets
- [SPARK-46080] [SC-149012][PYTHON] 将 Cloudpickle 升级到 3.0.0
- [SPARK-46082] [SC-149015][PYTHON][CONNECT] 使用 Spark Connect 修复 Pandas Functions API 的 protobuf 字符串表示
- [SPARK-46065] [SC-148985][PS] 重构
(DataFrame|Series).factorize()以使用create_map。 - [SPARK-46070] [SC-148993][SQL] 在热循环之外的 SparkDateTimeUtils.getZoneId 中编译正则表达式模式
- [SPARK-46063] [SC-148981][PYTHON][CONNECT] 改进与 cute、rollup、groupby 和pivot 中的参数类型相关的错误消息
- [SPARK-44442] [SC-144120][MESOS] 删除 Mesos 支持
- [SPARK-45555] [SC-147620][PYTHON] 包含失败断言的可调试对象
- [SPARK-46048] [SC-148871][PYTHON][SQL] 支持 PySpark 中的 DataFrame.groupingSets
- [SPARK-45768] [SC-147304][SQL][PYTHON] 使故障处理程序成为 SQL 中 Python 执行的运行时配置
- [SPARK-45996] [SC-148586][PYTHON][CONNECT] 显示 Spark Connect 的正确依赖项要求消息
- [SPARK-45681] [SC-146893][UI] 克隆 UIUtils.errorMessageCell 的 js 版本，以便在 UI 上呈现一致错误
- [SPARK-45767] [SC-147225][CORE] 删除
TimeStampedHashMap及其 UT - [SPARK-45696] [SC-148864][CORE] 修复特征 Promise 中的 tryCompleteWith 方法已弃用
- [SPARK-45503] [SC-146338][SS] 添加 Conf 以设置 RocksDB 压缩
- [SPARK-45338] [SC-143934][CORE][SQL] 将
scala.collection.JavaConverters替换为scala.jdk.CollectionConverters - [SPARK-44973] [SC-148804][SQL]修复
conv()中的ArrayIndexOutOfBoundsException - [SPARK-45912] [SC-144982][SC-148467][SQL] XSDToSchema API 增强：更改为 HDFS API 以实现云存储空间辅助功能
- [SPARK-45819] [SC-147570][CORE] REST 提交 API 支持
clear - [SPARK-45552] [14.x][SC-146874][PS] 将灵活参数引入
assertDataFrameEqual - [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] 为其他流式处理源提供添加
_metadata列的接口 - [SPARK-45929] [SC-148692][SQL] 支持 dataframe api 中的 groupingSets 操作
- [SPARK-46012] [SC-148693][CORE] 如果应用状态文件缺失，EventLogFileReader 不应读取滚动日志
- [SPARK-45965] [SC-148575][SQL] 将 DSv2 分区表达式移动到 functions.partitioning
- [SPARK-45971] [SC-148541][CORE][SQL] 将
SparkCollectionUtils的包名称更正为org.apache.spark.util - [SPARK-45688] [SC-147356][SPARK-45693][CORE] 清理与
MapOps相关的已弃用 API 使用并修复method += in trait Growable is deprecated - [SPARK-45962] [SC-144645][SC-148497][SQL] 删除
treatEmptyValuesAsNulls并使用 XML 中的nullValue选项 - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] 修复类型提示以处理 Python 3.11+ 中的
listGenericAlias - [SPARK-45999] [SC-148595][PS] 在
cumprod中使用专用PandasProduct - [SPARK-45986] [SC-148583][ML][PYTHON] 修复 Python 3.11 中的
pyspark.ml.torch.tests.test_distributor - [SPARK-45994] [SC-148581][PYTHON] 将
description-file更改为description_file - [SPARK-45575] [SC-146713][SQL] 支持 df 读取 API 的按时间顺序查看选项
- [SPARK-45747] [SC-148404][SS] 使用状态元数据中的前缀键信息来处理会话窗口聚合的读取状态
- [SPARK-45898] [SC-148213][SQL] 重写目录表 API 以使用未解析的逻辑计划
- [SPARK-45828] [SC-147663][SQL] 移除 dsl 中已弃用的方法
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT] 将
protobuf升级到 4.25.1 以支持Python 3.11 - [SPARK-45911] [SC-148226][CORE] 使 TLS1.3 成为 RPC SSL 的默认值
- [SPARK-45955] [SC-148429][UI] 折叠对火焰图和线程转储详细信息的支持
- [SPARK-45936] [SC-148392][PS] 优化
Index.symmetric_difference - [SPARK-45389] [SC-144834][SQL][3.5] 获取分区元数据时正确的 MetaException 匹配规则
- [SPARK-45655] [SC-148085][SQL][SS] 允许 CollectMetrics 的 AggregateFunctions 中的非确定性表达式
- [SPARK-45946] [SC-148448][SS] 修复使用已弃用的 FileUtils 写入以在 RocksDBSuite 中传递默认字符集
- [SPARK-45511] [SC-148285][SS] 状态数据源 - 读取器
- [SPARK-45918] [SC-148293][PS] 优化
MultiIndex.symmetric_difference - [SPARK-45813] [SC-148288][CONNECT][PYTHON] 从命令返回观察到的指标
- [SPARK-45867] [SC-147916][CORE] 支持
spark.worker.idPattern - [SPARK-45945] [SC-148418][CONNECT] 添加
parser的帮助程序函数 - [SPARK-45930] [SC-148399][SQL] 支持 MapInPandas/MapInArrow 中的非确定性 UDF
- [SPARK-45810] [SC-148356][Python] 创建 Python UDTF API 以停止使用输入表中的行
- [SPARK-45731] [SC-147929][SQL] 还可以使用
ANALYZE TABLE命令更新分区统计信息 - [SPARK-45868] [SC-148355][CONNECT] 确保
spark.table使用与 vanilla Spark 相同的分析程序 - [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec 传播分区应遵循 CoalescedHashPartitioning
- [SPARK-45710] [SC-147428][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_21[59,60,61,62]
- [SPARK-45915] [SC-148306][SQL] 将小数 (x, 0) 视为与
PromoteStrings中的 IntegralType 相同 - [SPARK-45786] [SC-147552][SQL] 修复十进制乘法和除法结果不准确的问题
- [SPARK-45871] [SC-148084][CONNECT] 优化
connect模块中.toBuffer相关的集合转换 - [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager 可能会查找已停止的 SparkContext
- [SPARK-45913] [SC-148289][PYTHON] 将内部属性设置为专用，以避免 PySpark 错误。
- [SPARK-45827] [SC-148201][SQL] 在 Spark 中添加 Variant 数据类型。
- [SPARK-44886] [SC-147876][SQL] 为 CREATE/REPLACE TABLE 引入 CLUSTER BY 子句
- [SPARK-45756] [SC-147959][CORE] 支持
spark.master.useAppNameAsAppId.enabled - [SPARK-45798] [SC-147956][CONNECT] 断言服务器端会话 ID
- [SPARK-45896] [SC-148091][SQL] 使用正确的预期类型构造
ValidateExternalType - [SPARK-45902] [SC-148123][SQL] 从
DataSource中删除未使用的函数resolvePartitionColumns - [SPARK-45909] [SC-148137][SQL] 如果
NumericType可以在IsNotNull中安全地向上转换，则删除它 - [SPARK-42821] [SC-147715][SQL] 删除 splitFiles 方法中未使用的参数
- [SPARK-45875] [SC-148088][CORE] 从
core模块中移除MissingStageTableRowData - [SPARK-45783] [SC-148120][PYTHON][CONNECT] 改进启用 Spark Connect 模式但未设置远程 URL 时的错误消息
- [SPARK-45804] [SC-147529][UI] 添加 spark.ui.threadDump.flamegraphEnabled 配置以打开/关闭火焰图
- [SPARK-45664] [SC-146878][SQL] 引入 orc 压缩编解码器的映射器
- [SPARK-45481] [SC-146715][SQL] 引入 parquet 压缩编解码器的映射器
- [SPARK-45752] [SC-148005][SQL] 简化检查未引用 CTE 关系的代码
- [SPARK-44752] [SC-146262][SQL] XML：更新 Spark 文档
- [SPARK-45752] [SC-147869][SQL] 未引用的 CTE 均应由 CheckAnalysis0 检查
- [SPARK-45842] [SC-147853][SQL] 重构目录函数 API 以使用分析器
- [SPARK-45639] [SC-147676][SQL][PYTHON] 支持在 DataFrameReader 中加载 Python 数据源
- [SPARK-45592] [SC-146977][SQL]AQE 中使用 InMemoryTableScanExec 的正确性问题
- [SPARK-45794] [SC-147646][SS] 引入状态元数据源，查询流式状态元数据信息
- [SPARK-45739] [SC-147059][PYTHON] 为 faulthandler 捕获 IOException 而不是单独捕获 EOFException
- [SPARK-45677] [SC-146700] 更好的观察 API 错误日志记录
- [SPARK-45544] [SC-146873][CORE] 将 SSL 支持集成到 TransportContext 中
- [SPARK-45654] [SC-147152][PYTHON] 添加 Python 数据源写入 API
- [SPARK-45771] [SC-147270][CORE] 默认启用
spark.eventLog.rolling.enabled - [SPARK-45713] [SC-146986][PYTHON] 支持注册 Python 数据源
- [SPARK-45656] [SC-146488][SQL] 修复不同数据集上具有相同名称的命名观察时的观察
- [SPARK-45808] [SC-147571][CONNECT][PYTHON] 改进了 SQL 异常的错误处理
- [SPARK-45774] [SC-147353][CORE][UI] 支持
ApplicationPage中的spark.master.ui.historyServerUrl - [SPARK-45776] [SC-147327][CORE] 删除 SPARK-39553 中添加的
MapOutputTrackerMaster#unregisterShuffle的防御性 null 检查 - [SPARK-45780] [SC-147410][CONNECT] 在 InheritableThread 中传播所有 Spark Connect 客户端 threadlocals
- [SPARK-45785] [SC-147419][CORE] 支持
spark.deploy.appNumberModulo轮换应用编号 - [SPARK-45793] [SC-147456][CORE] 改进内置压缩编解码器
- [SPARK-45757] [SC-147282][ML] 避免在 Binarizer 中重新计算 NNZ
- [SPARK-45209] [SC-146490][CORE][UI] 执行器线程转储页的火焰图支持
- [SPARK-45777] [SC-147319][CORE] 支持
LocalSchedulerBackend中的spark.test.appId - [SPARK-45523] [SC-146331][PYTHON] 重构 null 检查以具有快捷方式
- [SPARK-45711] [SC-146854][SQL] 引入 avro 压缩编解码器的映射器
- [SPARK-45523] [SC-146077][Python] 如果 UDTF 对任何不可为 null 的列返回 None，则返回有用的错误消息
- [SPARK-45614] [SC-146729][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_215[6,7,8]
- [SPARK-45755] [SC-147164][SQL] 通过应用全局限制
1改进Dataset.isEmpty() - [SPARK-45569] [SC-145915][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_2153
- [SPARK-45749] [SC-147153][CORE][WEBUI] 修复
Spark History Server以正确排序Duration列 - [SPARK-45754] [SC-147169][CORE] 支持
spark.deploy.appIdPattern - [SPARK-45707] [SC-146880][SQL] 使用
CountMinSketchAgg简化DataFrameStatFunctions.countMinSketch - [SPARK-45753] [SC-147167][CORE] 支持
spark.deploy.driverIdPattern - [SPARK-45763] [SC-147177][CORE][UI] 改进
MasterPage，仅在Resource列存在时显示它 - [SPARK-45112] [SC-143259][SQL]在 SQL 数据集函数中使用基于 UnresolvedFunction 的解析
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。
维护更新
请参阅 Databricks Runtime 14.3 维护更新。 这在初始版本中已注释禁止。
系统环境
- 操作系统：Ubuntu 22.04.3 LTS
- Java：Zulu 8.74.0.17-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.3.1
- Delta Lake: 3.1.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 单击 | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密码系统 | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbu-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| 执行 | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| 笔记本 | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | 打包 | 23.2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| 请求 | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| 6 | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
已安装的 R 库
R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.4 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | caret | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | class | 7.3-22 | CLI | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | 凭据 | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | 示意图 | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| 评估 | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | 进度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| 工具 | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| zip | 2.3.0 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.13.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.3 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |