注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2020 年 9 月发布此版本。 2020 年 10 月为其声明了长期支持 (LTS)。
以下发行说明提供了由 Apache Spark 3.0 提供支持的 Databricks Runtime 7.3 LTS 的相关信息。
有关从 Databricks Runtime 6.x 进行迁移的帮助信息，请参阅 Databricks Runtime 7.x 迁移指南 (EoS)。
新功能
Delta Lake 新增功能和改进
此版本提供以下 Delta Lake 新功能和改进：
本节内容
Delta Lake 性能优化大大减少了开销
此版本可实现一系列优化，从而将 Delta Lake 操作的开销从几秒钟减少到数十毫秒。 若要启用这些优化，必须将所有写入和读取 Delta 表的群集升级到 Databricks Runtime 7.3 LTS 或更高版本。
克隆指标现已可用
现在会记录克隆操作指标，并可以在运行 DESCRIBE HISTORY 时查看。 有关详细信息，请参阅使用 describe detail 查看 Delta Lake 表详细信息。
Delta Lake MERGE INTO 改进
- 合并现在支持任意数量的
MATCHED和NOT MATCHED子句。 - 将匹配行以无条件方式删除的合并查询不会在多个匹配项上引发错误。
指定 Delta Lake 结构化流式处理源的初始位置
Delta Lake 结构化流式处理连接器现在支持 startingVersion 和 startingTimestamp 选项，以便指定流式处理查询的起点，而无需处理整个表。 有关详细信息，请参阅指定初始位置。
自适应查询执行
自适应查询执行 (AQE) 是一个查询重新优化框架，可以根据收集到的运行时统计信息在执行过程中动态调整查询计划。 AQE 在 Databricks Runtime 7.3 LTS 中已默认启用。 现在，可以尝试使用所有 AQE 功能。 有关详细信息，请参阅自适应查询执行。
改进
自动加载程序
- 现在目录列表模式下支持 Azure Data Lake Storage Gen1
- 如果文件格式为
text或binaryFile，则不再需要提供架构。 由于这两种文件格式具有固定的架构，Auto Loader 可以自动使用固定的架构。
新的 Azure Synapse Analytics 连接器列长度控件
现在，可以使用新参数 maxbinlength 来控制 BinaryType 列的列长。 此参数会转换为 VARBINARY(maxbinlength)。
先前的（不可配置的）默认值为 VARBINARY(MAX)，这在创建包含二进制列和默认索引架构的表时会引发问题。 具体来说，表创建将失败，因为默认的列存储索引不支持字符串和二进制列中的 MAX。
pandas 到 Spark DataFrame 的转换已简化
若要启用以下改进，请设置 Spark 配置 spark.databricks.execution.pandasZeroConfConversion.enabled：
-
createDataFrame(pandas_df)已在 Azure Databricks 上进行了优化。 - 如果无法有效地完成转换或无法进行转换，系统会显示警告。
maxResultSize 调用中的新 toPandas()
使用新的配置设置 (spark.databricks.driver.localMaxResultSize)，可以控制 maxResultSize 调用的 df.toPandas()。 此限制暂时更改为 max（spark.driver.maxResultSize、spark.databricks.driver.localMaxResultSize）。 配置设置的默认值为物理内存大小除以 4。
如果 df.toPandas() 结果大小大于 spark.driver.maxResultSize，但又小于 spark.databricks.driver.localMaxResultSize，则会显示警告。
此配置设置仅影响 df.toPandas() 调用创建的 DataFrame。
注意
spark.databricks.driver.localMaxResultSize 仅在 spark.databricks.execution.pandasZeroConfConversion.enabled 为 true 时才有效。
pandas 和 PySpark UDF 的可调试性
在 Azure Databricks 笔记本中，当 Pandas 或 PySpark UDF 出现错误时，相应的错误消息现在包括代码出错的行号及根本原因的信息。
库升级
- 升级了 Python 库：
- koalas 已从 1.1.0 升级到 1.2.0。
- pyarrow 已从 0.15.1 升级到 1.0.1。
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
- OpenJDK 8 版本从 Ubuntu OpenJDK 8 更改为 Zulu OpenJDK 8 。
Apache Spark
Databricks Runtime 7.3 LTS 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：
- [SPARK-32302][SPARK-28169] [SQL] 通过联接/分区部分下推转折谓词
- [SPARK-32337] [SQL] 在 AQE 计划树字符串中显示初始计划
- [SPARK-30662] 重置 HasBlockSize 的 API 更改
- [SPARK-32620] [SQL] 启用 DPP 后重置 numPartitions 指标
- [SPARK-32646] [SQL] ORC 谓词下推应与不区分大小写的分析一起使用
- [SPARK-32676] [ML] 修复 KMeans/BiKMeans 中的双重缓存问题
- [SPARK-32092] [ ML][pyspark] 删除了 foldCol 相关代码
-
[SPARK-32594] [SQL] 替代
get()，并在DaysWritable中使用儒略日 - [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
- [SPARK-32092] [ ML][pyspark] 修复了在 CrossValidatorModel.copy（）、 read（） 和 write（） 中未复制的参数
- [SPARK-32672] [SQL] 修复布尔位集压缩中的数据损坏问题
- [SPARK-32663] [CORE] 避免单独关闭共用的 TransportClients（必须通过池关闭）
- [SPARK-32621] [SQL] 路径的选项在推断 CSV/JSON 数据源中的架构时可能会导致问题
- [SPARK-28863] [SQL] 不要重复使用物理计划
- [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
- [SPARK-28863] [SQL] 引入 AlreadyPlanned，防止对 V1FallbackWriters 进行重新分析
- [SPARK-32451] [R] 支持 Apache Arrow 1.0.0
- [SPARK-32652] [SQL] RowEncoder 的 ObjectSerializerPruning 失败
- [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks 应考虑全部种类的资源
- [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
- [SPARK-32625] [SQL] 回退到解释器模式时记录错误消息
- [SPARK-32543] [R] 删除 SparkR 中的 arrow::as_tibble 用法
- [SPARK-31703] [SQL] 未正确读取大型 endian 平台上的 Parquet RLE 浮动/双精度
- [SPARK-32586] [SQL] 修复启用 ANSI 后出现 NumberFormatException 错误消息的问题
- [SPARK-32456] [SS] 通过将其视为结构化流式处理的聚合来检查区别
-
[SPARK-32576] [SQL] 支持 PostgreSQL
bpchar类型和字符类型数组 - [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
- [SPARK-32560] [SQL] 改进执行 InsertIntoHiveTable.processInsert 时出现的异常消息
- [SPARK-32546] [SQL] 直接从 Hive 表获取表名称
- [SPARK-32529] [CORE] 修复 Historyserver 日志扫描因应用程序状态更改而中止的问题
- [SPARK-32003] [CORE] 使用外部随机播放服务时，在执行程序丢失后发生提取失败时，取消注册执行程序的输出
- [SPARK-32160] [ CORE][pyspark] 更改配置名称以在执行器中切换允许/禁止 SparkContext
- [SPARK-32160] [ CORE][pyspark] 添加配置以切换允许/禁止在执行器中创建 SparkContext
- [SPARK-32083] [SQL] AQE 不应合并 SinglePartition 的分区
- [SPARK-32509] [SQL] 忽略标准化化中未使用的 DPP True 筛选器
- [SPARK-32332] [SQL] 支持列式交换
- [SPARK-32227] 使用 Spark 3.0.0 修复 load-spark-env.cmd 中的回归 bug
- [SPARK-32478] [ R][sql] 错误消息，显示在gapply中使用Arrow矢量化时的架构不匹配
- [SPARK-32030] [SQL] 在 SQL 解析器中的 MERGE INTO 中支持无限的 MATCHED 和 NOT MATCHED 子句
- [SPARK-32175] [CORE] 修正 ExecutorPlugin 初始化与启动心跳线程之间的顺序
- [SPARK-32283] [CORE] Kryo 应支持多个用户注册者
- [SPARK-32424] [SQL] 如果发生溢出，请修复静态数据更改以进行时间戳分析
- [SPARK-32430] [SQL] 扩展 SparkSessionExtensions，将规则注入 AQE 查询阶段准备
- [SPARK-32310] [ ML][pyspark] ML 参数默认值一致性
- [SPARK-32237] [SQL] 解析 CTE 中的提示
- [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight 只应重写冲突计划的上级节点的属性
- [SPARK-32364] [SQL] 添加 toMap 以返回 originalMap 和文档
- [SPARK-32364] [SQL] 将 CaseInsensitiveMap 用于 DataFrameReader/Writer 选项
- [SPARK-32377] [SQL] CaseInsensitiveMap 应在添加时具有确定性
- [SPARK-32365] [SQL] 在 regexp_extract 中为负值索引添加边界条件
- [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup 和 basePath 不应区分大小写
- [SPARK-32344] [SQL] 在不同的聚合中，无效 expr 设置为 FIRST/LAST ignoreNullsExpr
- [SPARK-32234] [SQL] Spark sql 命令在选择 Orc 表时失败
维护更新
请参阅 Databricks Runtime 7.3 LTS 维护更新。
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64（内部版本 1.8.0_265-b11）
- Scala：2.12.10
- Python：3.7.5
- R：R 版本 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | 回调 | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | 密码系统 | 2.8 | 骑行者 | 0.10.0 |
| Cython | 0.29.15 | 装饰师 | 4.4.1 | docutils | 0.15.2 |
| 入口点 | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | Jupyter客户端 | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | 考拉 | 1.2.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | 熊猫 | 1.0.1 |
| 帕尔索 | 0.5.2 | 替罪羊 | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 果仁 | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| Python代码解析器 | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | Python时区库pytz | 2019.3 |
| pyzmq | 18.1.1 | 请求 | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | 龙卷风 | 6.0.3 | Traitlets | 4.3.3 |
| 无人值守升级 | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | 轮子 | 0.34.2 |
已安装的 R 库
R 库安装自 2020-07-14 的 Microsoft CRAN 快照。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | 断言 | 0.2.1 | 向后移植 | 1.1.8 |
| 基础 | 3.6.3 | base64enc | 0.1-3 | 黑 | 1.72.0-3 |
| 比特 | 1.1-15.2 | bit64 | 0.9-7 | 团状物 | 1.2.1 |
| 靴子 | 1.3-25 | 酿造 | 1.0-6 | 扫帚 | 0.7.0 |
| callr | 3.4.3 | 文本光标 | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | 类 | 7.3-17 | cli | 2.0.2 |
| 剪辑器 | 0.7.0 | 集群 | 2.1.0 | codetools | 0.2-16 |
| 色彩空间 | 1.4-1 | commonmark | 1.7 | 编译器 | 3.6.3 |
| 配置 | 0.3 | covr | 3.5.0 | 蜡笔 | 1.3.4 |
| 相声 | 1.1.0.1 | 卷曲 | 4.3 | data.table | 1.12.8 |
| 数据集 | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | 摘要 | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | 省略 | 0.3.1 |
| 评价 | 0.14 | fansi | 0.4.1 | 颜色 | 2.0.3 |
| fastmap | 1.0.1 | 猫用 | 0.5.0 | foreach | 1.5.0 |
| 外国 | 0.8-76 | 锻造 | 0.2.0 | fs | 1.4.2 |
| 泛 型 | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | 全局 | 0.12.5 |
| 胶水 | 1.4.1 | gower | 0.2.2 | 图形 | 3.6.3 |
| grDevices | 3.6.3 | “业务流程参数” 网格 | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高的 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | 迭代器 | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1.29 |
| 标记 | 0.3 | 以后 | 1.1.0.1 | 格子 | 0.20-41 |
| 熔岩 | 1.6.7 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| 质量 | 7.3-52 | 矩阵 | 1.2-18 | 记忆化 | 1.1.0 |
| 方法 | 3.6.3 | mgcv | 1.8-32 | 默剧 | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | 蒙塞尔 | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016年8月至1月1日 |
| openssl（开放SSL） | 1.4.2 | 平行 | 3.6.3 | 柱子 | 1.4.6 |
| pkgbuild (软件包构建工具) | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.6 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | 进度 | 1.2.2 | 承诺 | 1.1.1 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | 随机森林 (randomForest) | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| 食谱 | 0.1.13 | 重赛 | 1.0.1 | rematch2 | 2.1.2 |
| 遥控器 | 2.1.1 | 可复现示例 | 0.3.0 | reshape2 | 1.4.4 |
| 雷克斯 | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.5 | 磅秤 | 1.1.1 | selectr | 0.4-2 |
| 会话信息 | 1.1.1 | 形状 | 1.4.4 | 光亮 | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr（用于R的可视化和数据处理工具包） | 1.3.1 | SparkR | 3.0.0 |
| 空间 | 7.3-11 | 样 条 | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | 统计数据 | 3.6.3 | 统计数据4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | 生存 | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | 教学演示 | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | 时间日期 | 3043.102 |
| tinytex | 0.24 | 工具 | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | UUID（通用唯一识别码） | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | 晶 须 | 0.4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 工件编号 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（亚马逊Kinesis客户端） | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 溪流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo遮阳 | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations（Jackson注解库） | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.最终版 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | 字符串模板 | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 箭头格式 | 0.15.1 |
| org.apache.arrow | 箭头内存 | 0.15.1 |
| org.apache.arrow | 箭头向量 | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人-客户端 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | Hive 元数据存储器 | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | 蜂巢存储接口API | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks6 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 受众注释 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | 船坞安全管理 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty工具库 | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试接口 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |