注意
此 Databricks Runtime 版本已达到生命周期结束，不再可用。 有关停用日期，请参阅停止支持和停用历史记录。 有关 Databricks Runtime 支持策略和计划的信息，请参阅 Databricks 支持生命周期。
Databricks 于 2021 年 4 月发布了此版本。
以下发行说明提供了由 Apache Spark 3.1.1 提供支持的 Databricks Runtime 8.2 的相关信息。
新增功能和改进
- 新的自动加载程序选项可简化架构演变
-
查看
VACUUM指标（公共预览版） - 轻松了解已克隆或已恢复的 Delta Lake 数据数量
- 调整 Delta 表中文件的大小，以满足工作负载需求
- 使用更改数据馈送在 Delta 表中以增量方式引入更新和删除（公共预览版）
- 使用 SQL 运算符从 JSON 字符串中提取数据（GA）
新的自动加载程序选项可简化架构演变
自动加载程序无需再指定架构输入即可在导入 JSON 数据时启动。 此外，自动加载器可以检测新列被引入到数据中并重启，确保不会再次丢失数据。 当 JSON blob 列中出现意外的数据（例如不同类型的数据）时，自动加载程序还可以“恢复”这些数据，您可以选择稍后使用半结构化数据访问 API来访问这些数据。 请参阅在自动加载程序中配置架构推理和演变。
查看 VACUUM 指标（公共预览版）
提交到 Delta 事务日志的 VACUUM 现包含有关已删除的文件和已清除的目录的信息。 请参阅 “审核信息 ”和 “查看表详细信息”，其中包含描述详细信息。
轻松了解 Delta Lake 数据的克隆或恢复量
Delta Lake CLONE 和 RESTORE 命令现在在完成时返回指标，让你轻松了解这些操作复制或恢复了多少数据。 请参阅克隆指标和还原指标。
调整 Delta 表中文件的大小，以满足工作负载需求
现在可以设置一个表属性，以指示 Delta Lake 通过常用的 MERGE 操作（例如，将更改数据更新插入到表中）选择适合于表的文件大小。 运行时还可以检测表何时为 MERGE 密集型，并自动调整文件大小。
若要进行更精细的优化，可以将目标大小设置为属性，然后所有数据布局优化操作（例如优化、优化写入和自动压缩）将尽力尝试生成该大小的文件。
请参阅 “控制数据文件大小”。
使用变化数据馈送以增量方式在 Delta 表中引入更新和删除（公共预览版）
Delta 表的变更数据流表示表的不同版本之间的行级更改。 启用后，运行时会记录有关表上每个写入操作的行级别更改的其他信息。 可以通过 SQL、DataFrame 和 DataStream 读取器查询这些更改。 数据流使能够：
- 合并、更新和删除的高效下游消耗。 获取已更新、插入或删除的行可极大地提高使用合并输出的下游作业的性能，因为现在无需处理整个文件并删除重复数据。
- 在表示相同数据的两个不同表的副本之间保持同步。 一种常见的做法是维护同一个表的两个版本：一个是作为事实来源的窄表，另一个是包含其他数据的较宽的表。 更改可以从窄表高效地迁移到较宽的表。
有关详细信息，请参阅在 Azure Databricks 上使用 Delta Lake 更改数据馈送。
使用 SQL 运算符从 JSON 字符串中提取数据（正式版）
让你可以轻松地从 JSON 字符串中提取数据的 SQL 运算符（:: 和 :）现已正式发布。 请参阅查询 JSON 字符串。
库升级
- 升级了 Python 库：
- koalas 已从 1.6.0 升级到 1.7.0。
- 升级了 Java 库：
- univocity-parsers 已从 2.9.0 升级到 2.9.1。
Apache Spark
Databricks Runtime 8.2 包括 Apache Spark 3.1.1。 此版本包括 Databricks Runtime 8.1 （EoL）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：
- [SPARK-34614] [SQL] ANSI 模式：将字符串强制转换为布尔值应在解析错误时抛出异常
- [SPARK-33794] [SQL] 在 ANSI 模式下，NextDay 表达式在收到无效输入时引发运行时 IllegalArgumentException
- [SPARK-34833] [SQL] 处理所有位置的外部引用
- [SPARK-34742] [SQL] ANSI 模式：如果输入超出范围，Abs 会引发异常
- [SPARK-34833] [SQL] 对关联的子查询正确应用右填充
- [SPARK-34719] [SQL] 正确处理列名重复的视图查询
- [SPARK-34392] [SQL] 支持 DateTimeUtils 中的 ZoneOffset +h:mm。 getZoneId
- [SPARK-34436] [SQL] DPP 支持 LIKE ANY/ALL 表达式
- [SPARK-34497] [SQL] 修复内置 JDBC 连接提供程序以还原 JVM 安全性上下文更改
-
[SPARK-34543] [SQL] 在 v1
spark.sql.caseSensitive中解析分区规格时遵循SET LOCATION配置 - [SPARK-34550] [SQL] 在将过滤器推送到 Hive 元存储期间跳过 InSet null 值
- [SPARK-34531] [CORE] 删除 PrometheusServlet 中的实验性 API 标记
- [SPARK-34515] [SQL] 如果 InSet 在 getPartitionsByFilter 期间包含 NULL 值，则修复 NPE
- [SPARK-34490] 如果表被删除，它可能被解析为视图
- [SPARK-34613] 修复视图不捕获禁用提示的配置
-
[SPARK-34504] 避免不必要的视图解析并删除
performCheck标记 - [SPARK-34373] [SQL] HiveThriftServer2 startWithContext 可能会因竞争条件问题而挂起
- [SPARK-34421] [SQL] 使用 CTE 在视图中解析临时函数和视图
- [SPARK-34713] [SQL] 修复带有 ExtractValue 的 group by CreateStruct
- [SPARK-34770] [SQL] 如果数据库不存在，InMemoryCatalog.tableExists 不应失败
- [SPARK-34681] [SQL] 修复在以不等条件构建左侧时的全外洗牌哈希连接 bug
维护更新
请参阅 Databricks Runtime 8.2 维护更新。
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.52.0.23-CA-linux64（内部版本 1.8.0_282-b08）
- Scala: 2.12.10
- Python：3.8.8（在 2021 年 5 月 26 日的维护更新中，更新自 3.8.6）
- R：R 版本4.0.4 (2021-02-15)
- Delta Lake 0.8.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | 回调 | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| 加密 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| 修饰器 | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| 入口点 | 0.3 | 文件锁 | 3.0.12 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.19.0 | ipython-genutils | 0.2.0 |
| jedi | 0.17.2 | jmespath | 0.10.0 | joblib | 0.17.0 |
| jupyter-client | 6.1.7 | jupyter-core | 4.6.3 | kiwisolver | 1.3.0 |
| koalas | 1.7.0 | matplotlib | 3.2.2 | numpy | 1.19.2 |
| pandas | 1.1.3 | parso | 0.7.0 | 替罪羊 | 0.5.1 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | pip | 20.2.4 |
| plotly | 4.14.3 | prompt-toolkit | 3.0.8 | psycopg2 | 2.8.5 |
| ptyprocess | 0.6.0 | pyarrow | 1.0.1 | pycparser | 2.20 |
| Pygments | 2.7.2 | pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 |
| PySocks | 1.7.1 | python-dateutil | 2.8.1 | pytz | 2020.5 |
| pyzmq | 19.0.2 | 请求 | 2.24.0 | 正在重试 | 1.3.3 |
| s3transfer | 0.3.4 | scikit-learn | 0.23.2 | scipy | 1.5.2 |
| seaborn（Python 数据可视化库） | 0.10.0 | setuptools | 50.3.1 | 6 | 1.15.0 |
| statsmodels | 0.12.0 | threadpoolctl | 2.1.0 | tornado | 6.0.4 |
| traitlets | 5.0.5 | urllib3 | 1.25.11 | virtualenv | 20.2.1 |
| wcwidth | 0.2.5 | wheel | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | 实现某软件包的特性向下移植 | 1.2.1 |
| 基础映像 | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| 比特 | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| 启动 | 1.3-27 | brew | 1.0-6 | 活力 | 1.1.0 |
| 扫帚 | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | 类 | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | 群集 | 2.1.1 |
| codetools | 0.2-18 | 色彩空间 | 2.0-0 | commonmark | 1.7 |
| 编译器 | 4.0.4 | 配置 | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | 蜡笔 | 1.3.4 | 凭据 | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| 数据集 | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| 摘要 | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 省略号 | 0.3.1 | 评估 | 0.14 | fansi | 0.4.1 |
| 颜色 | 2.0.3 | 快速映射 | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | 外国的 | 0.8-81 | 锻造 | 0.2.0 |
| fs | 1.5.0 | 未来 | 1.21.0 | 泛型 | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | 全局变量 | 0.14.0 |
| glue | 1.4.2 | 高尔 (Gower) | 0.2.2 | 图形 | 4.0.4 |
| grDevices | 4.0.4 | 网格 | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | 迭代器 | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | knitr | 1.30 |
| 标签 | 0.4.2 | 稍后 | 1.1.0.1 | 晶格 | 0.20-41 |
| 熔岩 | 1.6.8.1 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | 质量 | 7.3-53.1 | 矩阵 | 1.3-2 |
| 记忆化 | 1.1.0 | 方法 | 4.0.4 | mgcv | 1.8-33 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | 并行 | 4.0.4 |
| 并行地 | 1.22.0 | 支柱 | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | 称赞 | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 进度 | 1.2.2 | promises | 1.1.1 | 原型 | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | 食谱 | 0.1.15 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | 刻度 | 1.1.1 |
| selectr | 0.4-2 | 会话信息 | 1.1.1 | 形状 | 1.4.5 |
| 闪亮的 | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | 空间 | 7.3-11 | splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | 统计数据 | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| 生存 | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| 时间日期 | 3043.102 | tinytex | 0.28 | 工具 | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | 实用工具 | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | 晶须 | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组标识 | 工件 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning (AWS Java SDK 机器学习) | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 数据流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 探查器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.microsoft.azure | Azure数据湖存储SDK | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 度量-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | JVM指标 | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | 箭头-内存-核心 | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | 箭头向量 | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展者配方 | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | 蜂巢矢量代码生成器 | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet列 | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks6 |
| org.apache.parquet | Parquet 格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 用户注释 | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi资源定位器 | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | 垫片 | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试接口 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |