注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.1.2 提供支持的 Databricks Runtime 8.4 和 Databricks Runtime 8.4 Photon 的相关信息。 Databricks 于 2021 年 7 月发布了此版本。 Photon 处于公共预览版。
新增功能和改进
Delta Lake 新增功能和改进
- Delta 表更改数据馈送 (GA)
- 使用 Databricks Runtime 轻松加载共享 Delta 表
- 更多表受益于动态文件修剪
- 通过自动优化目标文件大小提高性能
-
在
DeltaTable.forName中指定表的更多方法 -
使用
foreachBatch实现可靠的流式处理多表写入 - 由于调整了检查点，某些工作负载中的读取查询性能有所提升
-
创建
GroupState以测试用户定义的结构化流式处理函数
Delta 表更改数据馈送 (GA)
Delta 表更改数据馈送现已正式发布。 它表示表的不同版本之间的行级别更改。 启用后，系统会记录关于表上每个写入操作的行级更改的其他信息。 请参阅在 Azure Databricks 上使用 Delta Lake 更改数据馈送。
使用 Databricks Runtime 轻松加载共享 Delta 表
用于 Delta Sharing 0.1.0 的 Apache Spark 连接器现位于 Databricks Runtime 中。 可以直接使用 spark.read.format("deltaSharing").load(uri) 加载共享表，而无需将 Delta Sharing Spark 连接器附加到群集。
更多表受益于动态文件修剪
动态文件修剪功能已优化为在文件较少的表上触发。 请参阅动态文件修剪。
通过自动优化目标文件大小提高性能
Delta 表的目标文件大小现在会根据表大小自动优化。 之前，OPTIMIZE 和 OPTIMIZE ZORDER BY 的目标文件大小为 1GB。 借助基于表大小的自动调整，2.56TB 以内的 Delta 表将使用 256MB 作为目标大小。 大于 10TB 的表将像以前一样使用 1GB 的目标大小。 这两个大小之间的表将使用与表大小成比例增长的目标大小。
请参阅配置 Delta Lake 以控制数据文件大小。
在 DeltaTable.forName 中指定表的更多方法
DeltaTable.forName 现在支持使用 delta.`<path>` 来标识表。
使用 foreachBatch 实现可靠的流式处理多表写入
现支持 foreachBatch() 命令中的幂等 Delta 流式处理写入。 有关详细信息，请参阅幂等多表写入。
由于调整了检查点，某些工作负载中的读取查询性能有所提升
Delta Lake 现可调整其执行检查点增强的频率。 Delta 现根据某些事件触发器动态调整检查点频率，而不是按固定间隔设置检查点。 这提高了以前无法应用某些数据跳过优化的工作负载中的读取查询性能。 若要使用这些优化，请将写入 Delta Lake 的作业升级到 Databricks Runtime 8.4。
创建 GroupState 以测试用户定义的结构化流式处理函数
到目前为止，只有结构化流式处理引擎才能创建 GroupState 的实例。 因此，用户定义函数的任何单元测试都需要在 Apache Spark 中运行流式处理查询。
现在，你可以使用 GroupState 创建 TestGroupState.create(…) 的实例。 这允许你在无需运行 Spark 的简单单元测试中测试用户定义的函数。 请参阅测试 mapGroupsWithState 更新函数。 具体而言，它会生成类型为 TestGroupState 的实例，该实例扩展了接口 GroupState，并提供用于在应用用户定义的函数之后检查内部状态的其他方法。
自动加载程序功能和改进
配置回填以捕获丢失的文件
自动加载程序现在支持异步执行回填，以通过文件通知捕获可能遗漏的任何文件。 文件存储系统和通知系统无法保证 100% 传递所有文件事件。 因此，Databricks 建议启用定期回填，以使用自动加载程序捕获所有数据。 使用 cloudFiles.backfillInterval 选项可以计划对数据进行定期回填。 请参阅常用的自动加载程序选项。
为大型卷流绑定存储占用空间
现在可以将自动加载程序配置为过期并删除 RocksDB 中的条目，以将其存储占用空间绑定到检查点位置。 Databricks 不建议使用此选项，除非需要以每小时数百万个文件的速度引入数据。 错误地设置此选项或尝试优化它可能会导致许多数据质量问题，例如忽略未处理的文件或复制某些文件，而不是仅进行一次处理。 有关详细信息，请参阅 文件事件跟踪。
具有无路径支持的简化配置
Azure Data Lake Storage 容器
现在，可以提供从多个容器接收事件的 Azure 队列。
如果提供 Azure 队列名称，则不需要 path 选项。
默认情况下，自动加载程序使用文件事件中的容器和密钥构造 Azure Data Lake Storage 路径。
如果要使用 WASB 路径或 DBFS 装入点，可以使用 cloudFiles.pathRewrites 更改路径前缀。
请参阅文件通知选项。
连接器升级
- Snowflake Spark 连接器已更新至 v2.9.0。
- Redshift 连接器的
UNLOAD语句中现已支持 KMS 加密。
Bug 修复
- 修复了启用表访问控制的群集中的问题：即使用户没有文件访问权限，
select * from folder也可以显示文件夹内容。 - 非管理员数据库所有者现在可以删除数据库中非拥有的表。 这修复了以下问题：数据库所有者在数据库中存在非拥有表时无法删除数据库。
库升级
- 升级了 Python 库：
- certifi 已从 2020.12.5 升级到 2021.5.30
- distill 已从 0.3.1 升级到 0.3.2
- koalas 已从 1.8.0 升级到 1.8.1
- protobuf 已从 3.17.0 升级到 3.17.3
- 升级了 R 库：
- 基础映像已从 4.0.4 升级到 4.1.0
- 启动文件已从 1.3-27 升级到 1.3-28
- 类已从 7.3-18 升级到 7.3-19
- 群集已从 2.1.1 升级到 2.1.2
- 编译器已从 4.0.4 升级到 4.1.0
- 数据集已从 4.0.4 升级到 4.1.0
- 图形已从 4.0.4 升级到 4.1.0
- grDevices 已从 4.0.4 升级到 4.1.0
- 网格已从 4.0.4 升级到 4.1.0
- KernSmooth 已从 2.23-18 升级到 2.23-20
- lattice 已从 0.20-41 升级到 0.20-44
- MASS 已从 7.3-53.1 升级到 7.3-54
- 矩阵已从 1.3-2 升级到 1.3-3
- 方法已从 4.0.4 升级到 4.1.0
- mgcv 已从 1.8-33 升级到 1.8-35
- nnet 已从 7.3-15 升级到 7.3-16
- 并行已从 4.0.4 升级到 4.1.0
- Rserve 已从 1.8-7 升级到 1.8-8
- SparkR 已从 3.1.1 升级到 3.1.2
- splines 已从 4.0.4 升级到 4.1.0
- stats 已从 4.0.4 升级到 4.1.0
- stats4 已从 4.0.4 升级到 4.1.0
- survival 已从 3.2-7 升级到 3.2-11
- tcltk 已从 4.0.4 升级到 4.1.0
- 工具已从 4.0.4 升级到 4.1.0
- utils 已从 4.0.4 升级到 4.1.0
- 升级了 Java 库：
- snowflake-jdbc 已从 3.12.8 升级到 3.13.3
- spark-snowflake_2.12 已从 2.8.1-spark_3.0 升级到 2.9.0-spark_3.1
- RoaringBitmap 已从 0.9.0 升级到 0.9.14
- shims 已从 0.9.0 升级到 0.9.14
- rocksdbjni 已从 6.2.2 升级到 6.20.3
Apache Spark
Databricks Runtime 8.4 包括 Apache Spark 3.1.2。 此版本包括 Databricks Runtime 8.3 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
-
[SPARK-35792] [SQL] 视图不应捕获
RelationConversions中使用的配置 - [SPARK-35700] [SQL] 读取由外部系统创建和写入的 char/varchar orc 表
- [SPARK-35636] [SQL] 不应在 Lambda 函数之外引用 Lambda 密钥
- [SPARK-35800] [Cherry Pick] 通过引入 TestGroupState 提高 GroupState 可测试性
- [SPARK-35391] 修复 ExecutorAllocationListener 中的内存泄漏
- [SPARK-35799] [CherryPick] 修复 FlatMapGroupsWithStateExec 中的 allUpdatesTimeMs 指标测量
- [SPARK-35763] [SS] 删除 StateStoreCustomMetric 子类枚举依赖项
- SPARK-35791 [SQL] 为 NULL 感知的反联接正确地发布正在进行的映射
- [SPARK-35695] [SQL] 从缓存的和自适应执行子树收集观察到的指标
- [SPARK-35767] [SQL] 避免在 CoalesceExec 中执行子计划两次
- [SPARK-35746] [UI] 在“阶段”页任务事件时间线中修复 taskid
- [SPARK-35673] [SQL] 修复子查询中用户定义的提示和未识别的提示。
- [SPARK-35714] [CORE] 执行器关闭过程中出现死锁的 Bug 修复
- [SPARK-35689] [SS] keyWithIndexToValue 返回 null 值时添加日志警告
- [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint 不应忽略更新过程中仅限于索引的无序文件
- [SPARK-35643] [PYTHON] 修复 functions.py column() 中的不明确引用
- [SPARK-35652] [SQL] 对同一个表生成的两个表使用 joinWith
- [SPARK-35679] [SQL] instantToMicros 溢出
- [SPARK-35602] [SS] 更新状态架构以便能够接受长的 JSON
- [SPARK-35653] [SQL] 修复 CatalystToExternalMap 解释路径对于以事例类作为键或值的映射失败
- [SPARK-35296] [SQL] 允许 Dataset.observe 继续运行，即使任务中的 CollectMetricsExec 处理多个分区。
- [SPARK-35659] [SS] 避免将 Null 写入 StateStore
- [SPARK-35665] [SQL] 解析 CollectMetrics 中的 UnresolvedAlias
- [SPARK-35558] 针对多分位数检索进行优化
- [SPARK-35621] [SQL] 向 TypeCoercion 规则添加规则 ID 修剪
- [SPARK-35077] [SQL] 为遗留的优化器规则迁移到 transformWithPruning
- [SPARK-35610] [CORE] 修复执行器的停止关闭挂钩引入的内存泄漏
- [SPARK-35544] [SQL] 向分析器规则添加树形模式
- [SPARK-35566] [SS] 修复 StateStoreRestoreExec 输出行
- [SPARK-35454] [SQL] [3.1] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35538] [SQL] 迁移 transformAllExpressions 调用站点以使用 transformAllExpressionsWithPruning
- [SPARK-35106] [Core][sql] 避免因目标目录不存在而导致的重命名失败
- [SPARK-35287] [SQL] 允许 RemoveRedundantProjects 保留为 DataSourceV2ScanRelation 生成 UnsafeRow 的 ProjectExec
- [SPARK-35495] [R] 更改 CRAN 的 SparkR 维护程序
- [SPARK-27991] [CORE] 延迟对 Netty OOM 的提取请求
- [SPARK-35171] [R] 将 Markdown 包声明为 SparkR 包的依赖项
- [SPARK-35454] [SQL] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35298] [SQL] 为 Optimizer.scala 中的规则迁移到 transformWithPruning
- [SPARK-35480] [SQL] 使 percentile_approx 使用透视
- [SPARK-35093] [SQL] AQE 现使用 newQueryStage 计划作为键来查找缓存的交换以便重复使用
- [SPARK-35146] [SQL] 为 finishAnalysis.scala 中的规则迁移到 transformWithPruning 或 resolveWithPruning
- [SPARK-35411] [SQL] 在将 TreeNode 序列化为 json 时添加基本信息
- [SPARK-35294] [SQL] 在优化器下的专用文件中添加树形遍历修剪
- [SPARK-34897] [SQL] [3.1] 支持嵌套列修剪后根据索引对架构进行协调
- [SPARK-35144] [SQL] 为对象规则迁移到 transformWithPruning
- [SPARK-35155] [SQL] 向分析器规则添加规则 ID
- [SPARK-35382] [PYTHON] 修复 Python API 中嵌套数据帧函数的 Lambda 变量名称问题。
- [SPARK-35359] [SQL] 如果数据长度超过长度限制，则插入包含 char/varchar 数据类型的数据将失败
- [SPARK-35381] [R] 修复 R API 上嵌套的高阶函数中的 Lambda 变量名称问题
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.54.0.21-CA-linux64
- Scala：2.12.10
- Python：3.8.8
- R：4.1.0 (2021-05-18)
- Delta Lake 1.0.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | 回调 | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| 加密 | 3.1.1 | 骑行者 | 0.10.0 | Cython | 0.29.21 |
| 修饰器 | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| 入口点 | 0.3 | 各个方面概述 | 1.0.0 | 文件锁 (filelock) | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | Jupyter客户端 | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | 考拉 | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | 熊猫 | 1.1.5 | 帕尔索 | 0.7.0 |
| 替罪羊 | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| 果仁 | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | Python代码解析器 | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | Python时区库pytz | 2020.5 | pyzmq | 19.0.2 |
| 请求 | 2.24.0 | 正在重试 | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | 龙卷风 | 6.0.4 | Traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | 断言 | 0.2.1 | 向后移植 | 1.2.1 |
| 基础映像 | 4.1.0 | base64enc | 0.1-3 | 黑 | 1.72.0-3 |
| 比特 | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| 启动 | 1.3-28 | 酿造 | 1.0-6 | 活力 | 1.1.0 |
| 扫帚 | 0.7.2 | callr | 3.5.1 | 文本光标 | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | 类 | 7.3-19 |
| cli | 2.2.0 | 剪辑器 | 0.7.1 | 群集 | 2.1.2 |
| codetools | 0.2-18 | 色彩空间 | 2.0-0 | commonmark | 1.7 |
| 编译器 | 4.1.0 | 配置 | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | 蜡笔 | 1.3.4 | 凭据 | 1.3.0 |
| 相声 | 1.1.0.1 | 卷曲 | 4.3 | data.table | 1.13.4 |
| 数据集 | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| 摘要 | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 省略号 | 0.3.1 | 评估 | 0.14 | fansi | 0.4.1 |
| 颜色 | 2.0.3 | fastmap | 1.0.1 | 猫用 | 0.5.0 |
| foreach | 1.5.1 | 外国 | 0.8-81 | 锻造 | 0.2.0 |
| fs | 1.5.0 | 未来 | 1.21.0 | 泛型 | 0.1.0 |
| 格尔特 | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | 全局 | 0.14.0 |
| 胶水 | 1.4.2 | gower | 0.2.2 | 图形 | 4.1.0 |
| grDevices | 4.1.0 | 网格 | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高的 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | 迭代器 | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | knitr | 1.30 |
| 标记 | 0.4.2 | 以后 | 1.1.0.1 | 格子 | 0.20-44 |
| 熔岩 | 1.6.8.1 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | 质量 | 7.3-54 | 矩阵 | 1.3-3 |
| 记忆化 | 1.1.0 | 方法 | 4.1.0 | mgcv | 1.8-35 |
| 默剧 | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 1.4.3 | 平行 | 4.1.0 |
| 并行地 | 1.22.0 | 柱子 | 1.4.7 | pkgbuild (软件包构建工具) | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | 普洛格 | 0.2.0 |
| 普莱尔 | 1.8.6 | 赞美 | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 进度 | 1.2.2 | 承诺 | 1.1.1 | 原型 (proto) | 1.0.0 |
| 附注 (ps) | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | 食谱 | 0.1.15 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.2.0 |
| 可复现示例 | 0.3.0 | reshape2 | 1.4.4 | 雷克斯 | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | 磅秤 | 1.1.1 |
| selectr | 0.4-2 | 会话信息 | 1.1.1 | 形状 | 1.4.5 |
| 光亮 | 1.5.0 | sourcetools | 0.1.7 | sparklyr（用于R的可视化和数据处理工具包） | 1.5.2 |
| SparkR | 3.1.1 | 空间 | 7.3-11 | 样 条 | 4.1.0 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | 统计数据 | 4.1.0 |
| 统计数据4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
| 生存 | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| 教学演示 | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| 时间日期 | 3043.102 | tinytex | 0.28 | 工具 | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
| UUID（通用唯一识别码） | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| 瓦尔多 | 0.2.3 | 晶 须 | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | 压缩包 | 2.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 数据流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo遮阳 | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations（Jackson注解库） | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 探查器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 箭头格式 | 2.0.0 |
| org.apache.arrow | 箭头-内存-核心 | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | 箭头向量 | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人-客户端 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | 蜂巢存储接口API | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks9 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 受众注释 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | 码头安全 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty工具库 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | 垫片 | 0.9.14 |
| .rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |