Databricks Runtime 12.0（不受支持）

  • 项目

以下发行说明提供了由 Apache Spark 3.3.1 提供支持的 Databricks Runtime 12.0 的相关信息。

Databricks 于 2022 年 12 月发布了这些映像。

新增功能和改进

预测性 I/O 正式发布

预测性 I/O 现已正式发布。 有关详细信息，请参阅什么是预测 I/O？。

Photon 编写器支持 zstd 压缩

通过将 spark.sql.parquet.compression.codec 设置为 zstd 启用 zstd 后，Photon 本机编写器现在支持 zstd 压缩编解码器。

支持独立群集的阶段级任务资源配置文件

禁用动态分配后，现在可以在独立群集上使用阶段级计划。 若要使用此功能，请为每个阶段指定具有 ResourceProfileBuilder 的任务资源。

SQL 支持使用 REPLACE WHERE 进行选择性覆盖

现在，可以使用以下模式有选择地覆盖与 Delta 表中任意表达式匹配的数据。

INSERT INTO table_name REPLACE WHERE predicate append_relation

请参阅使用 replaceWhere 进行任意选择性覆盖。

SQL 现在支持水印

现在，可以使用增量实时表 SQL 接口以及在针对流式数据帧的 SQL 查询中指定水印。 请参阅 WATERMARK 子句。

PySpark 内存分析

现已为 PySpark 用户定义函数启用内存分析。 这提供了有关用户定义函数中每行代码的内存增量、内存使用情况和出现次数的信息。

针对 DELETE 和 UPDATE 的动态修剪

使用支持 Photon 的计算时，DELETE 和 UPDATE 现在会使用动态文件和分区修剪来提高性能。 例如，当使用较小的源表更新或删除较大表中的行时，将启用动态修剪。

分区数据操作语言操作的行级删除指标

使用分区谓词，用户现在可以审核在运行数据操作语言 (DML) 操作（如 DELETE、TRUNCATE 和 replaceWhere）时删除的行数。

Bug 修复

修复了自动加载程序中 JSON 分析的问题，即所有列都保留为字符串的问题。 以前，cloudFiles.inferColumnTypes 未设置或设置为 false，JSON 包含嵌套对象。

库升级

  • 升级了 Python 库：
    • argon2-cffi 已从 20.1.0 升级到 21.3.0
    • attrs 已从 21.2.0 升级到 21.4.0
    • backports.entry-points-selectable 已从 1.1.1 升级到 1.2.0
    • bleach 已从 4.0.0 升级到 4.1.0
    • boto3 已从 1.21.18 升级到 1.21.32
    • botocore 已从 1.24.18 升级到 1.24.32
    • cffi 已从 1.14.6 升级到 1.15.0
    • click 已从 8.0.3 升级到 8.0.4
    • cycler 已从 0.10.0 升级到 0.11.0
    • Cython 已从 0.29.24 升级到 0.29.28
    • debugpy 已从 1.4.1 升级到 1.5.1
    • decorator 已从 5.1.0 升级到 5.1.1
    • entrypoints 已从 0.3 升级到 0.4
    • idna 已从 3.2 升级到 3.3
    • ipykernel 已从 6.12.1 升级到 6.15.3
    • ipython 已从 7.32.0 升级到 8.5.0
    • ipywidgets 已从 7.7.0 升级到 7.7.2
    • jedi 已从 0.18.0 升级到 0.18.1
    • joblib 已从 1.0.1 升级到 1.1.0
    • jsonschema 已从 3.2.0 升级到 4.4.0
    • kiwisolver 已从 1.3.1 升级到 1.3.2
    • matplotlib 已从 3.4.3 升级到 3.5.1
    • nbclient 已从 0.5.3 升级到 0.5.13
    • nbconvert 已从 6.1.0 升级到 6.4.4
    • nbformat 已从 5.1.3 升级到 5.3.0
    • nest-asyncio 已从 1.5.1 升级到 1.5.5
    • notebook 已从 6.4.5 升级到 6.4.8
    • numpy 已从 1.20.3 升级到 1.21.5
    • packaging 已从 21.0 升级到 21.3
    • pandas 已从 1.3.4 升级到 1.4.2
    • pandocfilters 已从 1.4.3 升级到 1.5.0
    • parso 已从 0.8.2 升级到 0.8.3
    • Pillow 已从 8.4.0 升级到 9.0.1
    • platformdirs 已从 2.5.2 升级到 2.5.4
    • plotly 已从 5.9.0 升级到 5.6.0
    • prometheus-client 已从 0.11.0 升级到 0.13.1
    • protobuf 已从 4.21.5 升级到 3.19.4
    • pycparser 已从 2.20 升级到 2.21
    • Pygments 已从 2.10.0 升级到 2.11.2
    • pyodbc 已从 4.0.31 升级到 4.0.32
    • pyzmq 已从 22.2.1 升级到 22.3.0
    • requests 已从 2.26.0 升级为 2.27.1
    • s3transfer 已从 0.5.2 升级到 0.5.0
    • scikit-learn 已从 0.24.2 升级到 1.0.2
    • scipy 已从 1.7.1 升级到 1.7.3
    • statsmodels 已从 0.12.2 升级到 0.13.2
    • terminado 已从 0.9.4 升级到 0.13.1
    • tomli 已从 2.0.1 升级到 1.2.2
    • traitlet 已从 5.1.0 升级到 5.1.1
    • urllib3 已从 1.26.7 升级到 1.26.9
    • widgetsnbextension 已从 3.6.0 升级到 3.6.1
  • 升级了 R 库：
    • base 已从 4.1.3 升级到 4.2.2
    • brew 已从 1.0-7 升级到 1.0-8
    • bslib 已从 0.4.0 升级到 0.4.1
    • callr 已从 3.7.2 升级到 3.7.3
    • chron 已从 2.3-57 级到 2.3-58
    • cli 已从 3.3.0 级到 3.4.1
    • cluster 已从 2.1.3 到 2.1.4
    • commonmark 已从 1.8.0 升级到 1.8.1
    • compiler 已从 4.1.3 升级到 4.2.2
    • cpp11 已从 0.4.2 升级到 0.4.3
    • crayon 已从 1.5.1 升级到 1.5.2
    • curl 已从 4.3.2 升级到 4.3.3
    • data.table 已从 1.14.2 升级到 1.14.4
    • datasets 已从 4.1.3 升级到 4.2.2
    • desc 已从 1.4.1 升级到 1.4.2
    • devtools 已从 2.4.4 升级到 2.4.5
    • digest 已从 0.6.29 升级到 0.6.30
    • e1071 已从 1.7-11 升级到 1.7-12
    • evaluate 已从 0.16 升级到 0.18
    • fontawesome 已从 0.3.0 到 0.4.0
    • future 已从 1.28.0 升级到 1.29.0
    • future.apply 已从 1.9.1 升级到 1.10.0
    • gargle 已从 1.2.0 升级到 1.2.1
    • gert 已从 1.8.0 升级到 1.9.1
    • ggplot2 已从 3.3.6 升级到 3.4.0
    • gh 已从 1.3.0 升级到 1.3.1
    • gitcreds 已从 0.1.1 升级到 0.1.2
    • graphics 已从 4.1.3 升级到 4.2.2
    • grDevices 已从 4.1.3 升级到 4.2.2
    • grid 已从 4.1.3 升级到 4.2.2
    • httpuv 已从 1.6.5 升级到 1.6.6
    • isoband 已从 0.2.5 到 0.2.6
    • jsonlite 已从 1.8.0 升级到 1.8.3
    • lava 已从 1.6.10 升级到 1.7.0
    • lifecycle 已从 1.0.1 升级到 1.0.3
    • lubridate 已从 1.8.0 升级到 1.9.0
    • markdown 已从 1.1 升级到 1.3
    • MASS 已从 7.3-56 升级到 7.3-58
    • Matrix 已从 1.4-1 升级到 1.5-1
    • methods 已从 4.1.3 升级到 4.2.2
    • mgcv 已从 1.8-40 升级到 1.8-41
    • nlme 已从 3.1-157 升级到 3.1-160
    • nnet 已从 7.3-17 升级到 7.3-18
    • openssl 已从 2.0.2 升级到 2.0.4
    • parallel 已从 4.1.3 升级到 4.2.2
    • pkgload 已从 1.3.0 升级到 1.3.1
    • processx 已从 3.7.0 升级到 3.8.0
    • ps 已从 1.7.1 升级到 1.7.2
    • purrr 已从 0.3.4 升级到 0.3.5
    • ragg 已从 1.2.2 升级到 1.2.4
    • RcppEigen 已从 0.3.3.9.2 升级到 0.3.3.9.3
    • readr 已从 2.1.2 升级到 2.1.3
    • recipes 已从 1.0.1 升级到 1.0.3
    • rlang 已从 1.0.5 升级到 1.0.6
    • rmarkdown 已从 2.16 升级到 2.18
    • rpart 已从 4.1.16 升级到 4.1.19
    • RSQLite 已从 2.2.16 升级到 2.2.18
    • shiny 已从 1.7.2 升级到 1.7.3
    • SparkR 已从 3.3.0 升级到 3.3.1
    • splines 已从 4.1.3 升级到 4.2.2
    • stats 已从 4.1.3 升级到 4.2.2
    • stats4 已从 4.1.3 升级到 4.2.2
    • sys 已从 3.4 升级到 3.4.1
    • tcltk 已从 4.1.3 升级到 4.2.2
    • testthat 已从 3.1.4 升级到 3.1.5
    • tidyr 已从 1.2.0 升级到 1.2.1
    • tidyselect 已从 1.1.2 升级到 1.2.0
    • timeDate 已从 4021.104 升级到 4021.106
    • tinytex 已从 0.41 升级到 0.42
    • tools 已从 4.1.3 升级到 4.2.2
    • utils 已从 4.1.3 升级到 4.2.2
    • vctrs 已从 0.4.1 升级到 0.5.0
    • vroom 已从 1.5.7 升级到 1.6.0
    • xfun 已从 0.32 升级到 0.34
    • yaml 已从 2.3.5 升级到 2.3.6
    • zip 已从 2.2.0 升级到 2.2.2
  • 升级了 Java 库：
    • com.fasterxml.jackson.core.jackson-databind 已从 2.13.4 升级到 2.13.4.2
    • org.apache.parquet.parquet-column 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson 已从 1.12.0-databricks-0007 升级到 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations 已从 0.5.0 升级到 0.13.0

Apache Spark

Databricks Runtime 12.0 包含 Apache Spark 3.3.1。 此版本包括 Databricks Runtime 11.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 还原“[SC-113542][SS] 翻转 Kafka 偏移提取配置的默认值”
  • [SPARK-40646] [SC-116061] 还原“[SC-113379][SQL] 修复在 JSON 数据源和 JSON 函数中返回部分结果的问题”
  • [SPARK-41195] [SC-116305][SQL] 支持具有联接子项的 PIVOT/UNPIVOT
  • [SPARK-41178] [SC-116139][SQL] 修复 JOIN 和逗号之间的分析程序规则优先级
  • [SPARK-41072] [SC-116140][SC-116044][SC-115852][SQL][SS] 将错误类 STREAM_FAILED 添加到 StreamingQueryException
  • [SPARK-40921] 还原“[SC-115140][SC-114585][SQL] 将 WHEN NOT MATCHED BY SOURCE 子句添加到 MERGE INTO”
  • [SPARK-37980] [SC-115758] [SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引
  • [SPARK-41055] [SC-115582][SQL] 将 _LEGACY_ERROR_TEMP_2424 重命名为 GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF 的消息类名支持
  • [SPARK-40956] [SC-115867] 数据帧覆盖命令的 SQL 等效项
  • [SPARK-41095] [SC-115659][SQL] 将未解析的运算符转换为内部错误
  • [SPARK-41144] [SC-115866][SQL] 未解析的提示不应导致查询失败
  • [SPARK-41137] [SC-115858][SQL] 将 LATERAL_JOIN_OF_TYPE 重命名为 INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][SQL] 将错误类 _LEGACY_ERROR_TEMP_0040 重命名为 INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][SQL][PROTOBUF] 数据生成器的 UnitTest null 检查
  • [SPARK-40769] [SC-114923][CORE][SQL] 将聚合表达式的类型检查失败迁移到错误类
  • [SPARK-41043] [SC-115183][SQL] 将错误类 _LEGACY_ERROR_TEMP_2429 重命名为 NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][SQL][PROTOBUF] Protobuf 导入支持和移动错误类。
  • [SPARK-41019] [SC-114987][SQL] 提供 failAnalysis() 的查询上下文
  • [SPARK-41027] [SC-115131][SQL] 使用 UNEXPECTED_INPUT_TYPE，而不使用 MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][SC-111163][ML][SQL] 减小 ALS 的随机大小
  • [SPARK-41134] [SC-115851][SQL] 改进内部错误的错误消息
  • [SPARK-37980] 还原“[SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引”
  • [SPARK-41109] [SC-115788][SQL] 将错误类 _LEGACY_ERROR_TEMP_1216 重命名为 INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][CORE][SQL] 使用 NON_FOLDABLE_INPUT，而不使用 FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][SQL] 优化 Scala 2.13 中 GenericArrayData 的构造函数使用
  • [SPARK-40697] [SC-113648][SQL] 添加读取侧字符填充以覆盖外部数据文件
  • [SPARK-40978] [SC-114574][SQL] 在没有上下文的情况下将 failAnalysis() 迁移到错误类
  • [SPARK-40663] [SC-114586][SQL] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][SC-112707][SQL] DS V2：支持行级命令中的运行时组筛选
  • [SPARK-40372] [SC-115668][SQL] 将数组类型检查失败迁移到错误类
  • [SPARK-41038] [SC-115371][SQL] 将 MULTI_VALUE_SUBQUERY_ERROR 重命名为 SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][SQL] 将错误类 _LEGACY_ERROR_TEMP_1208 重命名为 FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][SQL] 将条件的类型检查失败迁移到错误类
  • [SPARK-40371] [SC-114557][SQL] 将 NthValue 和 NTile 的类型检查失败迁移到错误类
  • [SPARK-41092] [SC-115547][SQL] 请勿使用标识符来匹配间隔单位
  • [SPARK-41009] [SC-115360][SQL] 将错误类 _LEGACY_ERROR_TEMP_1070 重命名为 LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] 扩展 METADATA 列以支持 Parquet 文件的行索引
  • [SPARK-40967] [SC-114448][SQL] 将 failAnalysis() 迁移到错误类
  • [SPARK-34265] [SC-115486][SC-113788][PYTHON][SQL] 使用 SQL 指标检测 Python UDF
  • [SPARK-41012] [SC-114873][SQL] 将 _LEGACY_ERROR_TEMP_1022 重命名为 ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][SQL] 将 PARSE_CHAR_MISSING_LENGTH 重命名为 DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][SQL] 将杂项表达式的类型检查失败迁移到错误类
  • [SPARK-37945] [SC-115534][SQL][CORE] 在算术运算的执行错误中使用错误类
  • [SPARK-40374] [SC-114705][SQL] 将类型创建者的类型检查失败迁移到错误类
  • [SPARK-41056] [SC-115354][R] 修复 R 4.2 中引入的新 R_LIBS_SITE 行为
  • [SPARK-41041] [SC-115357][SQL] 将 _LEGACY_ERROR_TEMP_1279 集成到 TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][SQL] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][SQL] 将错误类 _LEGACY_ERROR_TEMP_1019 重命名为 STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][SQL] 不修补 RewriteDistinctAggregates 中聚合函数的可折叠子级
  • [SPARK-39778] [SC-114353][SQL] 改进错误类和消息
  • [SPARK-40798] [SC-113782][SQL] 更改分区应验证值遵循 storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][SQL] 在 CreateDatabaseCommand 和 AlterDatabaseSetLocationCommand 中使用 SparkIllegalArgumentException 而不是 IllegalArgumentException
  • [SPARK-40921] [SC-115140][SC-114585][SQL] 将 WHEN NOT MATCHED BY SOURCE 子句添加到 MERGE INTO
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS 和 NOT_FOUND 异常
  • [SPARK-41007] [SC-115085][SQL] 为 java.math.BigInteger 添加缺少的序列化程序
  • [SPARK-40751] [SC-114254][SQL] 将高阶函数的类型检查失败迁移到错误类
  • [SPARK-40248] [SC-114704][SQL] 使用大量位生成 Bloom 筛选器
  • [SPARK-41040] [SC-115145][SS] 修复使用 readStream.table 时的自联合流式处理查询失败
  • [SPARK-32380] [SC-114966][SQL] 修复通过 Spark 中的 Hive 访问 HBase 表
  • [SPARK-40749] [SC-114860][SQL] 将生成器的类型检查失败迁移到错误类
  • [SPARK-40925] [SC-114445][SQL][SS][WARMFIX][12.x] 修复有状态运算符延迟…
  • [SPARK-40654] [SC-112783] 删除临时日志行
  • [SPARK-40742] [SC-114913][SC-112646][CORE][SQL] 修复与泛型类型相关的 Java 编译警告
  • [SPARK-40657] [SC-113642][Cherry-pick] 在 Protobuf 中添加对 Java 类的支持
  • [SPARK-40898] [SC-113932][SQL] 引用数据类型不匹配错误中的函数名称
  • [SPARK-40760] [SC-113750][SQL] 将区间表达式的类型检查失败迁移到错误类
  • [SPARK-36114] [SC-113771][SQL] 支持具有相关非相等谓词的子查询
  • [SPARK-40856] [SC-113738][SQL] 更新 WRONG_NUM_PARAMS 的错误模板
  • [SPARK-40759] [SC-114251][SQL] 将时间窗口的类型检查失败迁移到错误类
  • [SPARK-40750] [SC-113812][SQL] 将数学表达式的类型检查失败迁移到错误类
  • [SPARK-40756] [SC-113749][SQL] 将字符串表达式的类型检查失败迁移到错误类
  • [SPARK-40768] [SC-113640][SQL] 将 bloom_filter_agg() 的类型检查失败迁移到错误类
  • [SPARK-40369] [SC-113402][CORE][SQL] 将通过反射进行调用的类型检查失败迁移到错误类
  • [SPARK-39445] [SQL] 如果 windowExpressions 在列修剪中为空，则删除窗口
  • [SPARK-40761] [SC-113245][SQL] 将百分位表达式的类型检查失败迁移到错误类
  • [SPARK-40361] [SC-112789][SQL] 将算术类型检查失败迁移到错误类
  • [SPARK-40714] [SC-112576][SQL] 删除 PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][SQL] 修复 PartitionsAlreadyExistException 中的分区规范
  • [SPARK-40358] [SC-112631][SQL] 将集合类型检查失败迁移到错误类
  • [SPARK-40910] [SC-114259][SQL] 将 UnsupportedOperationException 替换为 SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][SQL] 将 UNPIVOT 添加到 SQL 语法
  • [SPARK-39783] [SC-113389][SQL] 引用 qualifiedName 以修复错误消息中候选列的反引号
  • [SPARK-40663] [SC-112520][SQL] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][SQL] 将错误类 _LEGACY_ERROR_TEMP_0021 重命名为 UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][SQL] 消除单独的错误子类字段
  • [SPARK-40944] [SC-114530][SQL] 放宽 CREATE TABLE 列选项的排序约束
  • [SPARK-40815] [SC-114528][SQL] 添加 DelegateSymlinkTextInputFormat 以解决 SymlinkTextInputSplit bug
  • [SPARK-40933] [SC-114441][SQL] 使用内置 sql 函数重新实现 df.stat.{cov, corr}
  • [SPARK-40932] [SC-114439][CORE] 修复 allGather 被重写的问题消息
  • [SPARK-39312] [SQL] 在筛选器下推中使用 parquet 原生 In 谓词
  • [SPARK-40862] [SC-114352][SQL] 支持 RewriteCorrelatedScalarSubquery 中的非聚合子查询
  • [SPARK-40963] [SC-114446][SQL] 在 ExtractGenerator 创建的项目中正确设置可为空属性
  • [SPARK-40663] [SC-112295][SQL] 将执行错误迁移到错误类：_LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][SQL][SS] 放宽 window_time rule - allow multiple window_time 调用的要求
  • [SPARK-40540] [SC-111639][SQL] 将编译错误迁移到错误类： _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][SQL] 修复当输入具有奇数个符号时 Unhex 的问题
  • [SPARK-40821] [SC-113754][SQL][CORE][PYTHON][SS] 引入 window_time 函数以从窗口列中提取事件时间
  • [SPARK-40800] [SC-113772][SQL] 始终在 OptimizeOneRowRelationSubquery 中内联表达式
  • [SPARK-40900] [SC-114006][SQL] 使用数据帧操作重新实现 frequentItems
  • [SPARK-40735] [SC-114022][SC-112657] 在脚本中使用 /usr/bin/env bash 一致地调用 bash，使代码更具可移植性
  • [SPARK-40773] [SC-113091][SQL] 重构 checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][SQL] 取消关联子查询时检查不支持的数据类型
  • [SPARK-40660] [SC-112293][CORE][SQL] 切换到 XORShiftRandom 以分发元素
  • [SPARK-40540] [SC-113926][SC-111331][SQL] 将编译错误迁移到错误类
  • [SPARK-40551] [SC-113135][SQL] DataSource V2：为基于增量的行级别操作添加 API
  • [SPARK-39391] [SC-110676][CORE] 重用分区程序类
  • [SPARK-40368] [SC-113396][SQL] 将 Bloom 筛选器类型检查失败迁移到错误类
  • [SPARK-39146] [SC-111814][CORE][SQL] 为可重用的 ObjectMapper 引入本地单一实例
  • [SPARK-40357] [SC-113786][SC-111352][SQL] 将窗口类型检查失败迁移到错误类
  • [SPARK-40874] [SC-113756][PYTHON] 修复启用加密时 Python UDF 中的广播
  • [SPARK-40359] [SC-113770][SC-111146][SQL] 将 CSV/JSON 表达式中的类型检查迁移到错误类
  • [SPARK-40880] [SC-113764][SQL] 使用数据帧操作重新实现 summary
  • [SPARK-40877] [SC-113763][SQL] 使用数据帧操作重新实现 crosstab
  • [SPARK-40382] [SC-113098][SQL] 在 RewriteDistinctAggregates 中按语义上等效的子项对不同的聚合表达式进行分组
  • [SPARK-40826] [SC-113532][SS] 添加其他检查点重命名文件检查
  • [SPARK-40829] [SC-113426][SQL] CREATE TABLE LIKE 视图中的 STORED AS serde 不起作用
  • [SPARK-40844] [SC-113542][SS] 翻转 Kafka 偏移提取配置的默认值
  • [SPARK-40488] [SC-113568][SC-111160] 不要对数据源写入失败时引发的异常进行换行处理
  • [SPARK-40560] [SC-113631][SC-111335][SQL] 以错误的 STANDARD 格式将 message 重命名为 messageTemplate
  • [SPARK-40618] [SC-113096][SQL] 修复包含使用引用跟踪的嵌套子查询的 MergeScalarSubqueries 规则中的 bug
  • [SPARK-40530] [SC-113528][SC-111332][SQL] 添加与错误相关的开发人员 API
  • [SPARK-40806] [SC-113250][SQL] 拼写错误修复：CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][SQL] 修复在 JSON 数据源和 JSON 函数中返回部分结果的问题
  • [SPARK-40654] [Cherry-pick][SC-112783][SQL] Protobuf 对 Spark 的支持 - 从…
  • [SPARK-40753] [SC-113539][SQL] 修复目录操作测试用例中的 bug
  • [SPARK-40765] [SC-113056][SQL] 优化 CommandUtils#calculateSingleLocationSize#getPathSize 方法中的冗余 fs 操作
  • [SPARK-40114] [ES-479282][R][11.X] SparkR 的 Arrow 9.0.0 支持
  • [SPARK-40479] [SC-110935][SQL] 将意外的输入类型错误迁移到错误类
  • [SPARK-40473] [SC-113388][SC-111141][SQL] 将解析错误迁移到错误类
  • [SPARK-39853] [SC-111867][CORE] 禁用动态分配时，支持独立群集的阶段级任务资源配置文件（PR-47157 的后端端口）
  • [SPARK-40407] [SC-111161][SQL] 修复 df.repartition 导致的潜在数据倾斜
  • [SPARK-40425] [SC-110840][SQL] DROP TABLE 不需要执行表查找
  • [SPARK-40703] [SC-113242][SQL] 在 SinglePartition 上引入随机以提高并行度
  • [SPARK-40640] [SC-113138][CORE] SparkHadoopUtil 用于设置 Hadoop/hive 配置选项的来源
  • [SPARK-39062] [11.x][CORE] 为独立群集添加阶段级资源调度支持
  • [SPARK-33861] [SC-109877] 还原“[SQL] 简化谓词中的条件”
  • [SPARK-40667] [SC-113136][SQL] 重构文件数据源选项
  • [SPARK-40370] [SC-110677][SQL] 将类型检查失败迁移到 CAST 中的错误类
  • [SPARK-40611] [SC-113105][SQL] 为 UnsafeRow 提高 setInterval 和 getInterval 的性能
  • [SPARK-40733] [SC-113126][SQL] 使 SERDEPROPERTIES 的内容在 ShowCreateTableAsSerdeCommand 的结果中具有固定的顺序
  • [SPARK-40585] [SC-112180][SQL] 支持带双引号的标识符
  • [SPARK-40772] [SC-112992][SQL] 改进 spark.sql.adaptive.skewJoin.skewedPartitionFactor 以支持 Double 值
  • [SPARK-40565] [SC-112417][SQL] 不要将非确定性筛选器推送到 V2 文件源
  • [SPARK-8731] [SC-112784] Beeline 在后台启动时无法使用 -e 选项
  • [SPARK-35242] [SC-111398][SQL] 支持更改会话目录的默认数据库
  • [SPARK-40426] [SC-110672][SQL] 从 SparkThrowable.getMessageParameters 返回映射
  • [SPARK-40494] [SC-112655][SC-111025][CORE][SQL][ML][MLLIB] 优化 keys.zipWithIndex.toMap 代码模式的性能
  • [SPARK-40521] [SC-112430][SQL] 返回仅存在于 Hive 创建分区中的 PartitionsAlreadyExistException 中的分区
  • [SPARK-40705] [SC-112567][SQL] 处理在 Scala 2.13 中将行转换为 JSON 时使用可变数组的情况
  • [SPARK-39895] [SC-112590][SQL][PYTHON] 支持多列删除
  • [SPARK-40607] [SC-112296][CORE][SQL][MLLIB][SS] 删除冗余字符串内插器操作
  • [SPARK-40420] [SC-112604][SC-110569][SQL] 按 JSON 格式的名称对错误消息参数进行排序
  • [SPARK-40403] [SC-110564][SQL] 使用 longs 计算不安全的数组大小，以避免错误消息中的负大小
  • [SPARK-40482] [SC-110831][SQL] 还原 SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][SC-110397][SQL] 将错误消息参数作为映射传递给异常
  • [SPARK-40628] [SC-112414][SQL] 不要通过项目推送复杂左半/反联接条件
  • [SPARK-40562] [SC-111455][SQL] 添加 spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][SQL] 为优化器添加 PushProjectionThroughLimit
  • [SPARK-39200] [SC-111244][CORE] 使回退存储对内容完全可读
  • [SPARK-38717] [SC-111241][SQL] 处理 Hive 的存储桶规范案例保留行为
  • [SPARK-40385] [SC-111123][SQL] 修复配套对象构造函数的解释路径
  • [SPARK-40216] [SC-112413][SQL] 提取常用 ParquetUtils.prepareWrite 方法以在 ParquetFileFormat 和 ParquetWrite 中删除重复代码
  • [SPARK-40636] [SC-112160][CORE] 修复 BlockManagerDecommissioner 中错误保留的随机日志
  • [SPARK-40617] [SC-112009] 修复处理 ExecutorMetricsPoller 的 stageTCMP 条目时的争用条件
  • [SPARK-40618] [SC-112046][SQL] 修复包含嵌套子查询的 MergeScalarSubqueries 规则中的 bug
  • [SPARK-40612] [SC-111933][CORE] 修复在非 YARN 资源管理器上用于委派令牌续订的主体
  • [SPARK-40595] [SC-111662][SQL] 改进未使用的 CTE 关系的错误消息
  • [SPARK-40314] [SC-111879][SQL][PYTHON] 为 inline 和inline_outer 添加 scala 和 python 绑定
  • [SPARK-40416] [SC-110945][SQL] 移动子查询表达式 CheckAnalysis 错误消息以使用新的错误框架
  • [SPARK-40318] [SC-111865][SC-109986][SQL] try_avg() 应从其子项引发异常
  • [SPARK-40509] [SC-111644][SS][PYTHON] 添加 applyInPandasWithState 的示例
  • [SPARK-40310] [SC-111329][SC-109842][SQL] try_sum() 应从其子项引发异常
  • [SPARK-40016] [SQL] 删除 try_sum() 实现中不必要的 TryEval
  • [SPARK-40527] [SC-111224][SQL] 在 CreateStruct 中保留结构字段名称或映射键
  • [SPARK-38098] [SC-111178][PYTHON] 将嵌套 StructType 的 ArrayType 支持添加到基于箭头的转换
  • [SPARK-40324] [SC-111359][SC-110293][SQL] 在 AnalysisException 中提供查询上下文
  • [SPARK-40492] [SC-111324][SS] 在流式处理 StateStore 卸载之前执行维护
  • [SPARK-40487] [SC-111124][SQL] 在 BroadcastNestedLoopJoinExec 中使 defaultJoinExec 并行运行
  • [SPARK-40474] [SC-111273][SQL] 在日期和时间戳混合的列上更正 CSV 架构推理和数据分析行为
  • [SPARK-40508] [SC-111066][SQL] 将未知分区处理为 UnknownPartitioning
  • [SPARK-40496] [SC-111234][SC-111013][SQL] 修复配置以控制“enableDateTimeParsingFallback”
  • [SPARK-40435] [SC-111214][SS][PYTHON] 在 PySpark 中添加适用于 applyInPandasWithState 的测试套件
  • [SPARK-40434] [SC-111125][SS][PYTHON] 在 PySpark 中实现 applyInPandasWithState

维护更新

请参阅 Databricks Runtime 12.0 维护更新。

系统环境

  • 操作系统：Ubuntu 20.04.5 LTS
  • Java：Zulu 8.64.0.19-CA-linux64
  • Scala：2.12.14
  • Python：3.9.5
  • R：4.2.2
  • Delta Lake：2.2.0

已安装的 Python 库

库 版本 库 版本 库 版本
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 black 22.3.0 bleach 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
单击 8.0.4 密码系统 3.4.8 cycler 0.11.0
Cython 0.29.28 dbu-python 1.2.16 debugpy 1.5.1
decorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
entrypoints 0.4 执行 0.8.3 facets-overview 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
笔记本 6.4.8 numpy 1.21.5 打包 21.3
pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 请求 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 unattended-upgrades 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.37.0 widgetsnbextension 3.6.1

已安装的 R 库

R 库安装自 2022-11-11 版本中的 Microsoft CRAN 快照。

库 版本 库 版本 库 版本
箭头 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
启动 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.1 bslib 0.4.1 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 class 7.3-20 cli 3.4.1
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-18 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 凭据 1.3.2 curl 4.3.3
data.table 1.14.4 datasets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellipsis 0.3.2 评估 0.18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.29.0
future.apply 1.10.0 gargle 1.2.1 generics 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.0 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1.40
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.0 lifecycle 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 markdown 1.3
MASS 7.3-58 Matrix 1.5-1 memoise 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallelly 1.32.1 pillar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.11.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recipes 1.0.3
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.2 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 spatial 7.3-11 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
survival 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 工具 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-encoding 1.12.3-databricks-0001
org.apache.parquet parquet-format-structures 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1