Databricks Runtime 8.0(不受支持)

Databricks 于 2021 年 3 月发布了此映像。

以下发行说明提供了由 Apache Spark 3.1.1提供支持的 Databricks Runtime 8.0 的相关信息。

新增功能

Databricks Runtime 8.0 包括 Apache Spark 3.1.1。 有关详细信息,请参阅 Apache Spark

改进

当未指定格式时,Delta 现在为默认格式

Databricks Runtime 8.0 会将默认格式更改为 delta,以更轻松地创建 Delta 表。 使用 SQL 命令或 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API 创建表,且未指定格式时,默认格式为 delta

借助 Delta Lake,可以获得比 Parquet 更好的性能,通过丰富的架构验证、质量约束和事务性保证获得更好的数据可靠性。 借助 Delta Lake,可以在单个数据源上进行统一的结构化流式处理和批处理,从而简化数据管道。

尽管 Databricks 建议使用 Delta Lake 来存储数据,但你可能拥有需要迁移到 Delta Lake 的旧工作流。 有关迁移现有工作流的信息,请参阅 Databricks Runtime 8.0 迁移指南

新的结构化流式处理默认触发间隔可降低成本

如果未在流式处理查询中使用 Trigger.ProcessingTime 设置触发器间隔,则间隔将设置为 500 毫秒。 以前,默认间隔为 0 毫秒。 此更改应减少空触发器的数量并降低云存储(如列表)的成本。

将 LDA 转换功能与凭据传递一起使用(公共预览版)

你现在可以在配置为使用凭据传递进行身份验证的群集上使用 LDA 转换函数。

配置了凭据传递的单用户群集不再需要受信任的文件系统(公共预览版)

使用为单个用户的凭据传递配置的标准或作业群集时,不再需要将本地文件系统配置为受信任文件系统。 此更改删除了在单个用户群集上运行作业时的不必要的文件系统限制。

库升级

Apache Spark

Databricks Runtime 8.0 包括 Apache Spark 3.1.1。

本节内容:

Core 和 Spark SQL

突出显示

ANSI SQL 兼容性增强功能

  • 支持 char/varchar 数据类型 (SPARK-33480)
  • ANSI 模式:运行时错误,而不是返回 null (SPARK-33275)
  • ANSI 模式:新的显式强制转换语法规则 (SPARK-33354)
  • 添加 SQL 标准命令 SET TIME ZONE (SET TIME ZONE)
  • 统一创建表的 SQL 语法 (SPARK-31257)
  • 统一临时视图和永久视图行为 (SPARK-33138)
  • INSERT 语句中的支持列列表 (INSERT)
  • 支持 ANSI 嵌套的带括号注释 (SPARK-28880)

性能增强功能

  • 没有无序服务的情况下读取主机本地无序数据 (SPARK-32077)
  • 在将节点重新分区之前删除冗余排序 (SPARK-32276)
  • 部分下推谓词(SPARK-32302SPARK-32352
  • 通过展开下推筛选器 (SPARK-33302)
  • 通过 CNF 转换,利用联接推送更多可能的谓词 (SPARK-31705)
  • 通过保留广播哈希联接的输出分区来删除无序 (SPARK-31869)
  • 通过改善重新排序联接键来删除无序 (SPARK-32282)
  • 通过规范化输出分区和排序顺序来删除无序 (SPARK-33399)
  • 无序哈希联接改善 (SPARK-32461)
    • 保留无序哈希联接生成端分区 (SPARK-32330)
    • 保留哈希联接(BHJ 和 SHJ)流端排序 (SPARK-32383)
    • 联合用于排序合并联接的存储表 (SPARK-32286)
    • 为无序哈希联接添加 code-gen (SPARK-32421)
    • 支持在无序哈希联接中进行完全外部联接 (SPARK-32399)
  • 支持全阶段 codegen 项目中的子表达式消除 (SPARK-33092)
  • 支持条件表达式中消除子表达式 (SPARK-33337)
  • 支持已解释表达式计算的子表达式消除 (SPARK-33427)
  • 支持已解释谓词的子表达式消除 (SPARK-33540)
  • 其他优化器规则
    • 规则 ExtractSingleColumnNullAwareAntiJoin (ExtractSingleColumnNullAwareAntiJoin)
    • 规则 EliminateNullAwareAntiJoin (EliminateNullAwareAntiJoin)
    • 规则 EliminateAggregateFilter (EliminateAggregateFilter)
    • 规则 UnwrapCastInBinaryComparison (UnwrapCastInBinaryComparison)
    • 规则 DisableUnnecessaryBucketedScan (DisableUnnecessaryBucketedScan)
    • 规则 CoalesceBucketsInJoin (CoalesceBucketsInJoin)
    • 从没有项目的生成中删除不必要的嵌套字段 (SPARK-29721)
    • 从聚合和扩展中删除不必要的嵌套字段 (SPARK-27217)
    • 从按表达式重新分区和联接中删除不必要的嵌套字段 (SPARK-31736)
    • 删除不必要的嵌套字段以修饰变化 (SPARK-32163)
    • 将不必要的嵌套字段从窗口和排序删除 (SPARK-32059)
    • 将 CreateArray/CreateMap 的大小优化为其子级的大小 (SPARK-33544)

扩展性增强功能

  • 在 DataSourceV2 上添加 SupportsPartitions API (SupportsPartitions)
  • 在 DataSourceV2 上添加 SupportsMetadataColumns API (SupportsMetadataColumns)
  • 将 SQL 缓存序列化可插入 (SPARK-32274)
  • 在v2目录的 TableCatalog.dropTable 中引入 purge 选项 (purge)

连接器增强功能

功能增强

  • 节点停用 (SPARK-20624)
  • 新的内置函数
  • 说明命令增强功能 (SPARK-32337SPARK-31325)
  • 提供一个选项,用于禁用用户提供的提示 (SPARK-31875)
  • 支持 Hive 样式替换列语法 (SPARK-30613)
  • 支持 LIKE ANYLIKE ALL 运算符 (LIKE ANY)
  • MERGE INTO 中支持无限的 MATCHEDNOT MATCHED (MATCHED)
  • 支持后缀为 F 的浮点文字 (F)
  • 支持 RESET 语法用于重置单一配置 (RESET)
  • 支持筛选器表达式允许同时使用 DISTINCT (DISTINCT)
  • 支持更改表添加/删除 DSv2 的分区命令 (SPARK-32512)
  • 支持嵌套 OR 条件内的 NOT IN 子查询 (NOT IN)
  • 支持 REFRESH FUNCTION 命令 (REFRESH FUNCTION)
  • 在数据集中的添加 sameSemanticssementicHash 方法 (sameSemantics)
  • 支持 UDF 中的事例类的组合类型 (SPARK-31826)
  • 支持编码器中的枚举 (SPARK-32585)
  • 支持嵌套的字段 API withFielddropFields (withFielddropFields)
  • 支持在 unionByName 中填充缺少的列的 null 值 (unionByName)
  • 支持 DataFrameReader.table 使用指定选项 (DataFrameReader.tableSPARK-32844)
  • 支持 spark.sql.hive.metastore.jars 中的 HDFS 位置 (spark.sql.hive.metastore.jars)
  • 本机支持 --archives 选项 (--archivesSPARK-33615)
  • 增强 ExecutorPlugin API,使其包括任务开始和结束事件的方法 (ExecutorPlugin)

其他值得注意的更改

  • 在 Spark 文档站点中提供搜索功能 (SPARK-33166)
  • 将 Apache Arrow 升级到 2.0.0 (SPARK-33213)
  • 在 thrift 服务器中启用 Java 8 时间 API (SPARK-31910)
  • 在 UDF 中启用 Java 8 时间 API (SPARK-32154)
  • 对包含小数的聚合汇总的溢出检查 (SPARK-28067)
  • 修复动态分区覆盖模式下的提交冲突 (SPARK-27194SPARK-29302)
  • 删除对从属、阻止列表和允许列表的引用 (SPARK-32004SPARK-32036SPARK-32037)
  • 删除无序映射阶段的任务结果大小检查 (SPARK-32470)
  • 通用化 ExecutorSource 以公开用户提供的文件系统方案 (ExecutorSource)
  • 添加 StorageLevel.DISK_ONLY_3 (StorageLevel.DISK_ONLY_3)
  • 在执行程序的 Web UI 中公开执行程序的内存指标 (SPARK-23432)
  • 在“阶段”选项卡中的阶段级别上公开执行程序的内存指标 (SPARK-26341)
  • 修复 YARN 群集模式中显式设置的 spark.ui.port (spark.ui.port)
  • 添加 spark.submit.waitForCompletion 配置以控制在独立群集模式下的 spark-submit 退出 (spark.submit.waitForCompletion)
  • 设置 yarn.Client 以打印指向驱动程序 stdout/stderr 的直接链接 (yarn.Client)
  • 修复存储广播片段失败时的内存泄露 (SPARK-32715)
  • 使 BlockManagerMaster 驱动程序检测信号超时可配置 (BlockManagerMaster)
  • 统一并完成缓存行为 (SPARK-33507)

行为变更

请参阅每个组件的迁移指南:Spark CoreSpark SQL

PySpark

Project Zen

其他值得注意的更改

  • 删除重复确定性 PythonUDF 调用 (SPARK-33303)
  • 支持 PySpark 函数中的高阶函数 (SPARK-30681)
  • 支持数据源 v2x 写入 API (SPARK-29157)
  • 在 PySpark 函数中支持 percentile_approx (percentile_approx)
  • 在 PySpark 数据帧中的支持 inputFiles (inputFiles)
  • 在 PySpark 列中支持 withField (withField)
  • 在 PySpark 列中支持 dropFields (dropFields)
  • 在 PySpark 函数中支持 nth_value (nth_value)
  • 支持 acoshasinhatanh (acosh)
  • 在 PySpark SparkContext 中支持 getCheckpointDir 方法 (getCheckpointDir)
  • 支持在 unionByName 中填充缺少的列的 null 值 (unionByName)
  • 更新 cloudpickle 到 v1.5.0 (cloudpickle)
  • 使用箭头添加对 PySpark 的 MapType 支持 (MapType)
  • DataStreamReader.tableDataStreamWriter.toTable (DataStreamReader.table)

行为变更

请参阅 [PySpark] 的迁移指南(https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html)。

结构化流式处理

性能增强功能

  • 将 maxFilesPerTrigger 之外的文件列表缓存到未读文件 (SPARK-30866)
  • 简化文件流源和接收器元数据日志的逻辑 (SPARK-30462)
  • 如果查询从 compact 批处理重启,请避免读取 compact 元数据日志两次 (SPARK-30900)

功能增强

  • 添加 DataStreamReader.table API (DataStreamReader.table)
  • 添加 DataStreamWriter.toTable API (DataStreamWriter.toTable)
  • 左半流-流联接 (SPARK-32862)
  • 完全外部流-流联接 (SPARK-32863)
  • 提供保留输出文件的新选项 (SPARK-27188)
  • 添加 Spark 结构化流式处理历史记录服务器支持 (SPARK-31953)
  • 在查询重启之间引入状态架构验证 (SPARK-27237)

其他值得注意的更改

  • 引入流式传输状态存储的架构验证 (SPARK-31894)
  • 支持在状态存储中使用不同的压缩编解码器 (SPARK-33263)
  • 由于元数据从未更新,Kafka 连接器无限等待 (SPARK-28367)
  • 将 Kafka 升级到 2.6.0 (SPARK-32568)
  • 对结构化流式处理 UI 页的分页支持(SPARK-31642SPARK-30119
  • 结构化流式处理 UI 中的状态信息 (SPARK-33223)
  • 结构化流式处理 UI 中的水印间隙信息 (SPARK-33224)
  • 在 SS UI 上公开状态自定义指标信息 (SPARK-33287)
  • 添加有关晚于水印的行数的新指标 (SPARK-24634)

行为变更

有关结构化流式处理,请参阅迁移指南。

MLlib

亮点

  • LinearSVC blockify 输入向量 (SPARK-30642)
  • LogisticRegression blockify 输入向量 (SPARK-30659)
  • LinearRegression blockify 输入向量 (SPARK-30660)
  • AFT blockify 输入向量 (SPARK-31656)
  • 在 ML 中添加对关联规则的支持 (SPARK-19939)
  • 添加 LinearSVCModel 的训练摘要 (SPARK-20249)
  • 将摘要添加到 RandomForestClassificationModel (SPARK-23631)
  • 将训练摘要添加到 FMClassificationModel (SPARK-32140)
  • 将摘要添加到 MultilayerPerceptronClassificationModel (SPARK-32449)
  • 将 FMClassifier 添加到 SparkR (SPARK-30820)
  • 添加 SparkR LinearRegression 包装器 (SPARK-30818)
  • 将 FMRegressor 包装器添加到 SparkR (SPARK-30819)
  • vector_to_array 添加 SparkR 包装器 (vector_to_array)
  • 自适应 blockify 实例 - LinearSVC (SPARK-32907)
  • 使 CrossValidator/TrainValidateSplit/OneVsRest 读取器/写入器支持 Python 后端估算器/计算器 (SPARK-33520)
  • 通过 GEMV 提高 ML ALS recommendForAll 的性能 (SPARK-33518)
  • 添加 UnivariateFeatureSelector (SPARK-34080)

其他值得注意的更改

  • GMM 在一个作业中计算摘要和更新分发 (SPARK-31032)
  • 删除 mllib.ChiSqSelectorModel 上的 ChiSqSelector 依赖项 (SPARK-31077)
  • 平展 testChiSquare 中测试的结果数据帧 (SPARK-31301)
  • MinHash keyDistance 优化 (SPARK-31436)
  • 基于三角不相等性的 KMeans 优化 (SPARK-31007)
  • 在 ClusteringEvaluator 中添加权重支持 (SPARK-31734)
  • 在计算器中添加 getMetrics (SPARK-31768)
  • 在 LinearRegressionSummary 中添加实例权重支持 (SPARK-31944)
  • 将用户指定的折叠列添加到 CrossValidator (SPARK-31777)
  • ML 参数默认值在功能和优化中的奇偶校验 (SPARK-32310)
  • 修复 KMeans/BiKMeans 中的双重缓存问题 (SPARK-32676)
  • aft 转换优化 (SPARK-33111)
  • FeatureHasher 转换优化 (SPARK-32974)
  • 为数据帧列添加 array_to_vector 函数 (SPARK-33556)
  • 分类、回归、群集和 fpm 中的 ML 参数默认值奇偶校验 (SPARK-32310)
  • Summary.totalIterations 大于 maxIters (SPARK-31925)
  • 树模型预测优化 (SPARK-32298)

行为变更

请参阅 MLlib 迁移指南。

SparkR

行为变更

请参阅 SparkR(Spark 上的 R)的迁移指南。

GraphX

编程指南:GraphX 编程指南

维护更新

请参阅 Databricks Runtime 8.0 维护更新

系统环境

  • 操作系统:Ubuntu 18.04.5 LTS
  • Java:Zulu 8.50.0.51-CA-linux64(内部版本 1.8.0_275-b01)
  • Scala:2.12.10
  • Python:3.8.8(在 2021 年 5 月 26 日的维护更新中,更新自 3.8.6)
  • R:R 版本 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

已安装的 Python 库

版本 版本 版本
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
密码系统 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
请求 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
6 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

已安装的 R 库

R 库安装自 2020-11-02 的 Microsoft CRAN 快照

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
启动 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 凭据 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 评估 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 网格 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 矩阵 1.2-18
memoise 1.1.0 方法 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
进度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 工具 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速度 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52