Databricks Runtime 5.0 (EoS)
注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2018 年 11 月发布了此映像。
以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 5.0 的相关信息。
新功能
Delta Lake
- 现在，
WHERE子句中支持子查询，以支持DELETE和UPDATE命令。 MERGE命令的新的可缩放实现。- 插入和更新次数没有限制。
- 可用于 SCD Type 1 和 Type 2 查询。
- 可以在“更新”模式下从流式处理查询执行更新插入（例如，将流式处理聚合输出写入 Delta 表）。 请参阅示例使用 MERGE 和 foreachBatch 将流式处理聚合写入 Databricks Delta 笔记本。
- 现在，
结构化流式处理
- 基于 Azure Blob 存储文件通知的流式处理源。 当对 Azure Blob 存储中的文件运行结构化流式处理查询时，这可以显著降低列表成本。 无需使用列表来查找要处理的新文件，此流式处理源可以直接读取文件事件通知以查找新文件。 请参阅具有 Azure 队列存储（旧版）的 Azure Blob 存储文件源。
添加了对 TensorBoard 的支持，用于监视深度学习作业。 请参阅 TensorBoard。
改进
- Delta Lake
OPTIMIZE性能和稳定性。OPTIMIZE命令将尽快提交批处理，而不是在结束时提交。- 减小
OPTIMIZE并行运行的线程的默认数目。 对于大型表，这是一种严格的性能提升。 - 通过在写入已分区表时避免对数据进行不必要的排序，加速
OPTIMIZE写入。 - 通过使其递增来加速
OPTIMIZE ZORDER BY。 这意味着该命令现在可以避免重写已按相同列进行 Z 排序的数据文件。 请参阅 Delta Lake 的跳过数据。
- 查询 Delta 表时的快照隔离。 任何具有对 Delta 表的多个引用的查询（例如自联接）都从同一个表快照读取，即使该表存在并发更新。
- 通过在驱动程序上缓存元数据，改善了从小型（< 2000 文件）Delta 表中进行读取时的查询延迟。
- 改进了 MLlib 逻辑回归性能。
- 改进了 MLlib 树算法性能。
- 升级了几个 Java 库和 Scala 库。 请参阅已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）。
- 升级了一些已安装的 Python 库：
- pip：10.0.1 到 18.0
- setuptools：39.2.0 到 40.4.1
- tornado：5.0.2 到 5.1.1
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
缺陷修复
- Delta Lake
- 现在，在 SQL 配置中设置的配置可以正确地应用于最初加载到其他笔记本中的 Delta Lake 操作。
- 修复了
DELETE命令中的 bug，该 bug 会错误地删除条件评估为 null 的行。 - 尝试从检查点恢复时，花费两天以上的时间来处理初始批处理的流（即，流启动时表中的数据）不再因
FileNotFoundException而失败。 - 避免在加载新表时会导致
NoClassDefError的争用条件。 - 修复了
VACUUM中可能导致操作失败并出现 AssertionError（显示“此处不应有任何用于删除的绝对路径”）的问题。 - 修复了
SHOW CREATE TABLE命令以不包括 Hive 生成的存储属性。
- 现在会自动重启引发内部 Spark 类出现许多
NoClassDefFoundError错误的执行程序，以解决此问题。
已知问题
- 即使启用了不区分大小写（默认设置），在 Delta Lake 中
overwrite模式的replaceWhere选项中指定的列名也是区分大小写的。 - Databricks Runtime 5.0 的 Snowflake 连接器处于预览版。
- 如果取消了附加到 Databricks Runtime 5.0 群集的笔记本中正在运行的流式处理单元，则无法在笔记本中运行任何后续命令，除非清除笔记本状态或重启该群集。 有关解决方法，请参阅知识库。
Apache Spark
Databricks Runtime 5.0 包括 Apache Spark 2.4.0。
Core 和 Spark SQL
注意
本文包含对术语“从属”的引用，Azure Databricks 不再使用该术语。 在从软件中删除该术语后，我们会将其从本文中删除。
主要功能
- 屏障执行模式：[SPARK-24374] 支持计划程序中的屏障执行模式，以更好地与深度学习框架集成。
- Scala 2.12 支持：[SPARK-14220] 添加实验性 Scala 2.12 支持。 现在，可以通过 Scala 2.12 构建 Spark，并在 Scala 2.12 中编写 Spark 应用程序。
- 高阶函数：[SPARK-23899] 添加许多新的内置函数（包括高阶函数），以便更轻松地处理复杂数据类型。 请参阅 Apache Spark 内置函数。
- 内置 Avro 数据源：[SPARK-24768] 具有逻辑类型支持、更好的性能和可用性的内联 Spark-Avro 包。
API
- [SPARK-24035] 透视的 SQL 语法
- [SPARK-24940] SQL 查询的联合和重新分区提示
- [SPARK-19602] 支持全限定的列名称的列解析
- [SPARK-21274] 实施 EXCEPT ALL 和 INTERSECT ALL
性能和稳定性
- [SPARK-16406] 对大量列的引用解析应该更快
- [SPARK-23486] 从 lookupFunctions 的外部目录缓存函数名
- [SPARK-23803] 支持 Bucket 修剪
- [SPARK-24802] 优化规则排除
- [SPARK-4502] Parquet 表的嵌套架构修剪
- [SPARK-24296] 支持复制大于 2 GB 的块
- [SPARK-24307] 支持从内存发送超过 2GB 的消息
- [SPARK-23243] RDD 上的随机+ 重新分 区可能导致错误的答案
- [SPARK-25181] 限制 BlockManager 主线程池和从属线程池的大小，在网络速度较慢时降低内存开销
连接器
- [SPARK-23972] 将 Parquet 从 1.8.2 更新到 1.10.0
- [SPARK-25419] Parquet 谓词下推改进
- [SPARK-23456] 默认情况下本机 ORC 读取器为打开状态
- [SPARK-22279] 默认情况下使用本机 ORC 读取器读取 Hive serde 表
- [SPARK-21783] 默认打开 ORC 筛选器下推
- [SPARK-24959] 加快 JSON 和 CSV 的 count() 速度
- [SPARK-24244] 仅分析 CSV 分析程序所需的列
- [SPARK-23786] CSV 架构验证 - 不检查列名称
- [SPARK-24423] 选项查询，用于指定要从 JDBC 中读取的查询
- [SPARK-22814] 支持 JDBC 分区列中的日期/时间戳
- [SPARK-24771] 将 Avro 从 1.7.7 更新到 1.8
PySpark
- [SPARK-24215] 实现数据帧 API 的预先评估
- [SPARK-22274] - [SPARK-22239] 用户定义的包含 pandas udf 的聚合函数
- [SPARK-24396] 为 Python 添加结构化流式处理 ForeachWriter
- [SPARK-23874] 将 Apache Arrow 升级到 0.10.0
- [SPARK-25004] 添加 spark.executor.pyspark.memory 限制
- [SPARK-23030] 使用 Arrow 流格式以创建和收集 pandas 数据帧
- [SPARK-24624] 支持 Python UDF 和标量 pandas UDF 的组合
其他值得注意的更改
- [SPARK-24596] 非级联缓存失效
- [SPARK-23880] 不要触发任何用于缓存数据的作业
- [SPARK-23510][SPARK-24312] 支持 Hive 2.2 和 Hive 2.3 元存储
- [SPARK-23711] 为 UnsafeProjection 添加回退生成器
- [SPARK-24626] Analyze Table 命令中的并行位置大小计算
结构化流式处理
主要功能
- [SPARK-24565] 使用 foreachBatch（Python、Scala 和 Java）以数据帧的形式公开每个微批处理的输出行
- [SPARK-24396] 为 foreach 和 ForeachWriter 添加了 Python API
- [SPARK-25005] 支持“kafka.isolation.level”以仅读取使用事务生成器编写的 Kafka 主题中的已提交记录。
其他值得注意的更改
- [SPARK-24662] 支持 LIMIT 运算符用于 Append 或 Complete 模式下的流
- [SPARK-24763] 从流式处理聚合的值中删除冗余的密钥数据
- [SPARK-24156] 当输入流中没有数据时，使用状态操作（mapGroupsWithState、流流联接、流式处理聚合、流式处理 dropDuplicates）可以更快地生成输出结果和/或清除状态。
- [SPARK-24730] 支持在查询中存在多个输入流时选择最小或最大的水印
- [SPARK-25399] 修复了在重用来自连续处理的执行线程以进行微批处理流式处理可能会导致准确性问题的 bug
- [SPARK-18057] 将 Kafka 客户端版本从 0.10.0.1 升级到 2.0.0
MLlib
主要功能
- [SPARK-22666] 用于映像格式的 Spark 数据源
其他值得注意的更改
- [SPARK-22119][SPARK-23412][SPARK-23217] 向 KMeans/BisectingKMeans/聚类分析计算器添加余弦距离度量值
- [SPARK-10697] 关联规则挖掘中的提升计算
- [SPARK-14682][SPARK-24231] 为 spark.ml GBT 提供 evaluateEachIteration 方法或等效方法
- [SPARK-7132][SPARK-24333] 添加拟合并将验证设置为 spark.ml GBT
- [SPARK-15784][SPARK-19826] 向 spark.ml 添加 Power 迭代聚类
- [SPARK-15064] StopWordsRemover 中的区域设置支持
- [SPARK-21741] 用于基于数据帧的多元摘要生成器的 Python API
- [SPARK-21898][SPARK-23751] MLlib 中 KolmogorovSmirnovTest 的功能奇偶一致性
- [SPARK-10884] 支持回归和分类相关模型的单实例预测
- [SPARK-23783] 为 ML 管道添加新的通用导出特征
- [SPARK-11239] 用于 ML 线性回归的 PMML 导出
SparkR
- [SPARK-25393] 添加新函数 from_csv()
- [SPARK-21291] 在数据帧中添加 R partitionBy API
- [SPARK-25007] 向 SparkR 添加 array_intersect/array_except/array_union/shuffle
- [SPARK-25234] 避免在并行化时出现整数溢出
- [SPARK-25117] 在 R 中添加 EXCEPT ALL 和 INTERSECT ALL 支持
- [SPARK-24537] 添加 array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-24187] 向 SparkR 添加 array_join 函数
- [SPARK-24331] 向 SparkR 添加 arrays_overlap、array_repeat、map_entries
- [SPARK-24198] 向 SparkR 添加切片函数
- [SPARK-24197] 向 SparkR 添加 array_sort 函数
- [SPARK-24185] 向 SparkR 添加平展函数
- [SPARK-24069] 添加 array_min / array_max 函数
- [SPARK-24054] 添加 array_position function / element_at 函数
- [SPARK-23770] 在 SparkR 中添加 repartitionByRange API
GraphX
- [SPARK-25268] 运行并行个性化 PageRank 引发序列化异常
弃用功能
- [SPARK-23451] 弃用 KMeans computeCost
- [SPARK-25345] 从 ImageSchema 弃用 readImages API
行为变更
- [SPARK-23549] 将时间戳与日期进行比较时强制转换为时间戳
- [SPARK-24324] pandas 分组的映射 UDF 应按名称分配结果列
- [SPARK-25088] Rest 服务器默认和文档更新
- [SPARK-23425] 为使用通配符的 hdfs 文件路径加载数据未正常工作
- [SPARK-23173] from_json 可以为标记为不可为 null 的字段产生 null 值
- [SPARK-24966] 实现设置操作的优先规则
- [SPARK-25708] 没有 GROUP BY 的 HAVING 应为全局汇总
- [SPARK-24341] 正确处理多值 IN 子查询
- [SPARK-19724] 创建具有已存在默认位置的托管表应引发异常
已知问题
- [SPARK-25793] 加载 BisectingKMeans 中的模型 bug
- [SPARK-25271] 具有 Hive parquet 表的 CTAS 应利用本机 parquet 源
- [SPARK-24935] 执行 Hive UDAF 出现问题是从 Spark 2.2 开始的
维护更新
请参阅 Databricks Runtime 5.0 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.5 LTS
- Java：1.8.0_162
- Scala：2.11.8
- Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
- R：R 版本 3.4.4 (2018-03-15)
- GPU 群集：安装了以下 NVIDIA GPU 库：
- Tesla 驱动程序 375.66
- CUDA 9.0
- cuDNN 7.0
注意
尽管 Apache Spark 2.4 支持 Scala 2.12，但 Databricks Runtime 5.0 不支持。
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密码系统 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Future | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 18.0 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| 请求 | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 40.4.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
已安装的 R 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
| bindr | 0.1.1 | bindrcpp | 0.2.2 | bit | 1.1-14 |
| bit64 | 0.9-7 | bitops | 1.0-6 | blob | 1.1.1 |
| boot | 1.3-20 | brew | 1.0-6 | broom | 0.5.0 |
| callr | 3.0.0 | car | 3.0-2 | carData | 3.0-1 |
| caret | 6.0-80 | cellranger | 1.1.0 | chron | 2.3-52 |
| class | 7.3-14 | cli | 1.0.0 | cluster | 2.0.7-1 |
| codetools | 0.2-15 | colorspace | 1.3-2 | commonmark | 1.5 |
| compiler | 3.4.4 | crayon | 1.3.4 | curl | 3.2 |
| CVST | 0.2-2 | data.table | 1.11.4 | datasets | 3.4.4 |
| DBI | 1.0.0 | ddalpha | 1.3.4 | DEoptimR | 1.0-8 |
| desc | 1.2.0 | devtools | 1.13.6 | digest | 0.6.16 |
| dimRed | 0.1.0 | doMC | 1.3.5 | dplyr | 0.7.6 |
| DRR | 0.0.3 | fansi | 0.3.0 | forcats | 0.3.0 |
| foreach | 1.4.4 | foreign | 0.8-70 | gbm | 2.1.3 |
| geometry | 0.3-6 | ggplot2 | 3.0.0 | git2r | 0.23.0 |
| glmnet | 2.0-16 | glue | 1.3.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.20.0.2 |
| haven | 1.1.2 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-7 |
| iterators | 1.0.10 | jsonlite | 1.5 | kernlab | 0.9-27 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.3 | lazyeval | 0.2.1 | littler | 0.3.4 |
| lme4 | 1.1-18-1 | lubridate | 1.7.4 | magic | 1.5-8 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| maptools | 0.9-3 | MASS | 7.3-50 | 矩阵 | 1.2-14 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.4.4 |
| mgcv | 1.8-24 | mime | 0.5 | minqa | 1.2.4 |
| ModelMetrics | 1.2.0 | munsell | 0.5.0 | mvtnorm | 1.0-8 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.2 | openxlsx | 4.1.0 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.3.0 |
| pkgbuild | 1.0.0 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.0 | plogr | 0.2.0 | pls | 2.7-0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.12.1 | processx | 3.2.0 | prodlim | 2018.04.18 |
| proto | 1.0.0 | ps | 1.1.0 | purrr | 0.2.5 |
| quantreg | 5.36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.7.0 | R6 | 2.2.2 | randomForest | 4.6-14 |
| RColorBrewer | 1.1-2 | Rcpp | 0.12.18 | RcppEigen | 0.3.3.4.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.1.1 |
| readxl | 1.1.0 | recipes | 0.1.3 | rematch | 1.0.1 |
| reshape2 | 1.4.3 | rio | 0.5.10 | rlang | 0.2.2 |
| robustbase | 0.93-2 | RODBC | 1.3-15 | roxygen2 | 6.1.0 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.7-3 |
| RSQLite | 2.1.1 | rstudioapi | 0.7 | scales | 1.0.0 |
| sfsmisc | 1.1-2 | sp | 1.3-1 | SparkR | 2.4.0 |
| SparseM | 1.77 | spatial | 7.3-11 | splines | 3.4.4 |
| sqldf | 0.4-11 | SQUAREM | 2017.10-1 | statmod | 1.4.30 |
| stats | 3.4.4 | stats4 | 3.4.4 | stringi | 1.2.4 |
| stringr | 1.3.1 | survival | 2.42-6 | tcltk | 3.4.4 |
| TeachingDemos | 2.10 | testthat | 2.0.0 | tibble | 1.4.2 |
| tidyr | 0.8.1 | tidyselect | 0.2.4 | timeDate | 3043.102 |
| tools | 3.4.4 | utf8 | 1.1.4 | utils | 3.4.4 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | zip | 1.0.0 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 流 (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db7-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db7-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收集器 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1-databricks2 |
| org.apache.parquet | parquet-common | 1.10.1-databricks2 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks2 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks2 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.9 |
| org.codehaus.janino | janino | 3.0.9 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |