Databricks Runtime 4.0（不受支持）

  • 项目

Databricks 于 2018 年 3 月发布了此映像。

重要

此版本已于 2018 年 11 月 1 日弃用。 有关 Databricks Runtime 弃用策略和计划的详细信息，请参阅 Databricks Runtime 支持生命周期。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 4.0 的相关信息。

更改和改进

  • JSON 数据源现在尝试自动检测编码，而不是假设编码为 UTF-8。 在自动检测失败的情况下，用户可以指定“字符集”选项来强制执行某种编码。 请参阅字符集自动检测。
  • 完全支持在结构化流中使用 Spark MLlib 管道进行评分和预测。
  • 完全支持 Databricks ML 模型导出。 借助此功能，可以在 Databricks 上训练 Spark MLlib 模型，使用函数调用导出该模型，并使用所选系统中的 Databricks 库导入模型并给新数据评分。
  • 新的 Spark 数据源实现提供对 Azure Synapse Analytics 的可缩放的读/写访问权限。 请参阅 Spark - Synapse Analytics 连接器。
  • from_json 函数的架构始终转换为可为空的函数。 换句话说，所有字段（包括嵌套字段）都可为空。 这可确保数据与架构兼容，当数据中缺少某个字段且用户提供的架构将字段声明为不可为空时，可防止在将数据写入 parquet 后发生损坏。
  • 升级了一些已安装的 Python 库：
    • futures：从 3.1.1 升级到 3.2.0
    • pandas：从 0.18.1 升级到 0.19.2
    • pyarrow：从 0.4.1 升级到 0.8.0
    • setuptools：从 38.2.3 升级到 38.5.1
    • tornado：4.5.2 升级到4.5.3
  • 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
  • 已将 AWS Java SDK 从 1.11.126 升级到 1.11.253。
  • 已将 SQL Server JDBC 驱动程序从 6.1.0.jre8 升级到 6.2.2.jre8。
  • 已将 PostgreSQL JDBC 驱动程序从 9.4-1204-jdbc41 升级到 42.1.4。

Apache Spark

Databricks Runtime 4.0 包括 Apache Spark 2.3.0。

Core、PySpark 和 Spark SQL

主要功能

  • 向量化 ORC 读取器：[SPARK-16060]：添加对新的 ORC 读取器的支持，通过向量化（2-5 倍）大幅提高 ORC 扫描吞吐量。 若要启用读取器，用户可以将 spark.sql.orc.impl 设置为 native。
  • Spark History Server V2：[SPARK-18085]：新的 spark 历史记录服务器 (SHS) 后端，通过更高效的事件存储机制为大型应用程序提供更好的可缩放性。
  • 数据源 API V2：[SPARK-15689][SPARK-22386]：用于在 Spark 中插入新数据源的实验性 API。 新的 API 试图解决 V1 API 的几个限制，旨在促进高性能、易于维护和可扩展的外部数据源的开发。 此 API 仍在紧密开发中，预期会进行重大更改。
  • PySpark 性能增强功能：[SPARK-22216][SPARK-21187]：通过快速数据序列化和向量化执行，显著改进了 Python 的性能和互操作性。

性能和稳定性

其他值得注意的更改

编程指南：Spark RDD 编程指南 和 Spark SQL 数据帧和数据集指南。

结构化流式处理

连续处理

  • 一种新的执行引擎，只需更改一行用户代码，就可以将流式处理查询的端到端延迟减少到亚毫秒级别。 有关详细信息，请参阅编程指南。

流之间的联接

  • 能够联接两个数据流，同时缓冲行，直到匹配的元组到达另一个流。 谓词可用于针对事件时间列绑定需要保留的状态量。

流式处理 API V2

  • 用于插入适用于批处理、微批处理和连续执行的新源和接收器的实验性 API。 此 API 仍在进行主动开发，预期将发生重大更改。

编程指南：结构化流编程指南。

MLlib

要点

  • ML 预测现在使用更新的 API 与结构化流一起使用。 下面提供了详细信息。

已改进的新 API

  • [SPARK-21866]：将图像读取到数据帧的内置支持 (Scala/Java/Python)。
  • [SPARK-19634]：用于对矢量列进行描述性汇总统计信息 (Scala/Java) 的数据帧函数。
  • [SPARK-14516]：用于优化群集算法的 ClusteringEvaluator，支持余弦剪影和方形欧几里得剪影指标 (Scala/Java/Python)。
  • [SPARK-3181]：Huber loss 的强大线性回归 (Scala/Java/Python)。
  • [SPARK-13969]：FeatureHasher 转换器 (Scala/Java/Python)。
  • 多个功能转换器的多列支持：
  • [SPARK-21633] 和 SPARK-21542]：改进了对 Python 中自定义管道组件的支持。

新功能

  • [SPARK-21087]：CrossValidator 和 TrainValidationSplit 在拟合时可收集所有模型 (Scala/Java)。 这使你可以检查或保存所有拟合的型号。
  • [SPARK-19357]：元算法 CrossValidator、TrainValidationSplit 和 OneVsRest 支持在并行 Spark 作业中拟合多个子模型时使用并行度参数。
  • [SPARK-17139]：多项式逻辑回归模型摘要 (Scala/Java/Python)
  • [SPARK-18710]：添加了 GLM 中的偏移量。
  • [SPARK-20199]：已将 featureSubsetStrategy 参数添加到 GBTClassifier 和 GBTRegressor。 使用此功能可以显著提升训练速度；此选项是 xgboost 的主要优势。

其他值得注意的更改

  • [SPARK-22156]：已修复 num 迭代的 Word2Vec 学习速率缩放。 新的学习速率设置为与原始 Word2Vec C 代码匹配，应能提供更好的训练结果。
  • [SPARK-22289]：添加对矩阵参数的 JSON 支持（这解决了在系数上使用边界时 LogisticRegressionModel 的一个 ML 持久性 bug。）
  • [SPARK-22700]：Bucketizer.transform 错误删除了包含 NaN 的行。 当参数 handleInvalid 设置为“skip”时，如果另一个（不相关的）列具有 NaN 值，则 Bucketizer 将删除输入列中具有有效值的行。
  • [SPARK-22446]：当 handleInvalid 设置为“error”时，Catalyst 优化器有时会导致 StringIndexerModel 引发不正确的“标签不可见”异常。由于谓词下推，筛选的数据可能会发生这种情况，即使在从输入数据集中筛选出无效行后，也会导致错误。
  • [SPARK-21681]：解决了多项式逻辑回归中的一个边缘案例 bug：导致某些功能零方差时系数不正确。
  • 主要优化：
    • [SPARK-22707]：已降低 CrossValidator 的内存消耗。
    • [SPARK-22949]：已降低 TrainValidationSplit 的内存消耗。
    • [SPARK-21690]：Imputer 应使用单个传递数据来进行训练。
    • [SPARK-14371]：OnlineLDAOptimizer 避免将每个小型批处理的统计信息收集到驱动程序。

编程指南：机器学习库 (MLlib) 指南。

SparkR

SparkR 在 2.3.0 版本中的重点改进是提升 UDF 的稳定性，并在现有 API 周围添加几个新的 SparkR 包装器：

主要功能

编程指南：SparkR（Spark 上的 R）。

GraphX

优化

编程指南：GraphX 编程指南。

弃用功能

Python

  • [SPARK-23122]：弃用 SQLContext 中 UDF 和 PySpark 中 Catalog 的 register*

MLlib

  • [SPARK-13030]：已弃用 OneHotEncoder，并将在 3.0 中删除它。 该版本已替换为新 OneHotEncoderEstimator。 OneHotEncoderEstimator 将在 3.0 中重命名为 OneHotEncoder（但 OneHotEncoderEstimator 将保留为别名）。

行为变更

SparkSQL

  • [SPARK-22036]：默认情况下，如果无法提供准确的表示形式，则小数之间的算术运算返回舍入值（而不是像以前的版本那样返回 NULL）
  • [SPARK-22937]：当所有输入都是二进制的时，SQL elt() 将以二进制形式返回输出。 否则，它将以字符串形式返回。 在以前的版本中，无论输入类型如何，它始终以字符串格式返回。
  • [SPARK-22895]：如果可能，第一个非确定性谓词之后的 Join/Filter 的确定性谓词也会下推/通过子运算符。 在以前的版本中，这些筛选器不符合谓词下推条件。
  • [SPARK-22771]：当所有输入都是二进制的时，functions.concat() 将以二进制形式返回输出。 否则，它将以字符串形式返回。 在以前的版本中，无论输入类型如何，它始终以字符串格式返回。
  • [SPARK-22489]：当任一联接方都可广播时，我们倾向于广播在广播提示中显式指定的表。
  • [SPARK-22165]：分区列推理以前发现不同推断类型的通用类型不正确。 例如，以前它最终将 double 类型作为 double 类型和 date 类型的通用类型。 现在，它找到了此类冲突的正确常见类型。 有关详细信息，请参阅迁移指南。
  • [SPARK-22100]：percentile_approx 函数之前接受 numeric 类型输入和输出的 double 类型结果。 现在它支持 date 类型、timestamp 类型和 numeric 类型作为输入类型。 结果类型也更改为与输入类型相同，对于百分位数来说，这更合理。
  • [SPARK-21610]：当引用的列仅包含内部的损坏记录列（默认情况下名为 _corrupt_record）时，不允许来自原始 JSON/CSV 文件的查询。 而是可以缓存或保存分析的结果，然后发送相同的查询。
  • [SPARK-23421]：从 Spark 2.2.1 和 2.3.0 开始，当数据源表同时具有分区架构和数据架构中都含有的列时，架构始终在运行时进行推断。 推断的架构没有分区列。 读取表时，Spark 会以这些重叠列的分区值为准，而不是存储在数据源文件中的值。 在 2.2.0 和 2.1.x 版本中，对推断的架构进行了分区，但表中的数据对用户不可见（即结果集为空）。

PySpark

  • [SPARK-19732]：na.fill() 或 fillna 也接受布尔值，并将 null 替换为布尔值。 在以前的 Spark 版本中，PySpark 直接忽略它并返回原始数据集/数据帧。
  • [SPARK-22395]：使用pandas 相关的功能（如 Pandas 数据帧的 toPandas、createDataFrame 等）时需要 pandas 0.19.2 或以上版本。
  • [SPARK-22395]：Pandas 相关功能时间戳值的行为已更改为遵循会话时区，以前的版本会忽略此项。
  • [SPARK-23328]：当 to_replace 不是字典时，df.replace 不允许忽略 value。 以前，在其他情况下可以省略 value，默认情况下存在 None，这与常识不符且容易出错。

MLlib

  • 重大 API 更改：对逻辑回归模型摘要的类和特征层次结构进行了优化，多类摘要的添加变得更简洁、性能更好。 这是将 LogisticRegressionTrainingSummary 转换为 BinaryLogisticRegressionTrainingSummary 的用户代码的重大更改。 用户应改为使用 model.binarySummary 方法。 请参阅 [SPARK-17139]：获取详细信息（请注意这是 @Experimental API）。 这不会影响 Python 摘要方法，该方法仍适用于多项式和二进制情况。
  • [SPARK-21806]：BinaryClassificationMetrics.pr()：第一个点 (0.0, 1.0) 存在误导性，已替换为 (0.0, p)，其中精度 p 与最小撤回点匹配。
  • [SPARK-16957]：在选择拆分值时，决策树现在使用加权中点。 这可能会改变模型训练的结果。
  • [SPARK-14657]：没有截距的 RFormula 现在在编码字符串术语时输出引用类别，以便匹配本机 R 行为。 这可能会改变模型训练的结果。
  • [SPARK-21027]：OneVsRest 中使用的默认并行度现在设置为 1（即串行）。 在 2.2 和更早版本中，并行级别设置为 Scala 中的默认线程池大小。 这可能会更改性能。
  • [SPARK-21523]：已将 Breeze 升级到 0.13.2。 这包括对 L-BFGS 的强大 Wolfe 行搜索中的一个重要 bug 修补程序。
  • [SPARK-15526]：JPMML 依赖项现在已着色。
  • 另请参阅“Bug 修复”部分，了解因修复 bug 导致的行为更改。

已知问题

  • [SPARK-23523][SQL]：由规则 OptimizeMetadataOnlyQuery 引起的结果不正确。
  • [SPARK-23406]：流到流自联接中的 Bug。

维护更新

请参阅 Databricks Runtime 4.0 维护更新。

系统环境

  • 操作系统：Ubuntu 16.04.4 LTS
  • Java：1.8.0_151
  • Scala：2.11.8
  • Python：2.7.12（如果使用 Python 3，则为 3.5.2）
  • R：R 版本 3.4.3 (2017-11-30)
  • GPU 群集：安装了以下 NVIDIA GPU 库：
    • Tesla 驱动程序 375.66
    • CUDA 8.0
    • CUDNN 6.0

已安装的 Python 库

库 版本 库 版本 库 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密码系统 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Future 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 9.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
请求 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.30.0
wsgiref 0.1.2

已安装的 R 库

库 版本 库 版本 库 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 启动 1.3-20
brew 1.0-6 broom 0.4.3 汽车 2.1-6
caret 6.0-77 chron 2.3-51 class 7.3-14
cluster 2.0.6 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.3 crayon 1.3.4
curl 3.0 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.3 DBI 0.7 ddalpha 1.3.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 digest 0.6.12 dimRed 0.1.0
doMC 1.3.4 dplyr 0.7.4 DRR 0.0.2
foreach 1.4.3 foreign 0.8-69 gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
glue 1.2.0 gower 0.1.2 graphics 3.4.3
grDevices 3.4.3 grid 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.5.1 lazyeval 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 maps 3.2.0 MASS 7.3-48
矩阵 1.2-11 MatrixModels 0.4-1 memoise 1.1.0
方法 3.4.3 mgcv 1.8-23 mime 0.5
minqa 1.2.4 mnormt 1.5-5 ModelMetrics 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 praise 1.0.0 pROC 1.10.0
prodlim 1.6.1 proto 1.0.0 psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
recipes 0.1.1 reshape2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0.7 scales 0.5.0
sfsmisc 1.1-1 sp 1.2-5 SparkR 2.3.0
SparseM 1.77 spatial 7.3-11 splines 3.4.3
sqldf 0.4-11 statmod 1.4.30 stats 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
survival 2.41-3 tcltk 3.4.3 TeachingDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 工具 3.4.3
utils 3.4.3 viridisLite 0.2.0 whisker 0.3-2
withr 2.1.0 xml2 1.1.1

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 流 (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52