Databricks Runtime 4.3（不受支持）

  • 项目

Databricks 于 2018 年 8 月发布了此映像。

重要

此版本已于 2019 年 4 月 9 日弃用。 有关 Databricks Runtime 弃用策略和计划的详细信息，请参阅 Databricks Runtime 支持生命周期。

以下发行说明提供有关 Apache Spark 提供支持的 Databricks Runtime 4.3 的信息。

新功能

  • Delta Lake
    • TRUNCATE TABLE 命令：从表中删除所有行。 与 Delta 表的对应项 Spark 表不同，Delta 表不支持删除特定分区。
    • ALTER TABLE REPLACE COLUMNS命令：替换 Delta 表中的列。 该命令支持更改列的注释并对多个列重新排序。
    • FSCK REPAIR TABLE命令：从 Delta 表的事务日志中移除无法再从基础文件系统中找到的文件条目。 手动删除这些文件时，可能会发生这种情况。
    • 支持对过时的 Delta 表进行查询，以改进交互式查询体验：现在，当不需要最新结果时，对 Delta 表的查询可以在过时版本的表上运行。 此功能可以减少查询的延迟，尤其是通过流持续更新基础 Delta 表时。
  • 结构化流式处理
    • 对Azure Synapse Analytics 连接器的可缩放流式写入支持。
    • 支持在 Python 中使用 foreachBatch()（Scala 中已可供使用）。 有关更多详细信息，请参阅 foreach 和 foreachBatch 文档。
    • 支持在查询中存在多个输入流时选择最小或最大水印。 之前始终使用最小时间戳。 有关更多详细信息，请参阅多水印策略。
    • 支持对 Append 和 Complete 输出模式下的流使用 LIMIT 运算符。 为最大程度地减少驱动程序上的 OOM 错误，在对无限制流使用 display() 时会自动应用 LIMIT。

改进

  • Delta Lake

    • 无 10000 行插入限制的 MERGE INTO 命令的新可缩放实现的个人预览版。 如果你想尝试此操作，请联系支持人员。
    • OPTIMIZE 命令的性能和可伸缩性更好，尤其是在较大的群集上。
    • OPTIMIZE 命令现在以增量方式提交到表，这意味着，如果命令失败，重试不需要处理整个数据集。
    • 减少了使用 Delta Lake 作为流式处理源时发现新数据所需的文件系统 RPC 数。
    • 在 Python 中添加了对 df.writeStream.table(table-name) 的支持，以便从流创建 Delta 表。

  • 提高了具有多个联接、聚合或窗口的查询性能。

  • 提高了具有广播哈希联接的查询中分区级别修剪的效率。

  • 改进了整个阶段的代码生成，以便检测重复的表达式、减少生成的代码量并提高特定表达式类型的性能。

  • 高并发群集现在支持在笔记本中运行 %fs。

  • 已将 PySpark 使用的 Py4J 升级到 0.10.7。

  • 改进了 Azure Ls 系列实例上的磁盘缓存性能。 缓存在这些实例上默认为启用状态，加快了重复读取 Parquet 文件的工作负载。

已弃用的功能

  • Databricks Delta 之外的数据跳过功能已弃用。 增强版的数据跳过功能将继续作为 Delta Lake 的一部分提供。 建议切换到使用 Delta Lake 以继续利用此功能。 有关详细信息，请参阅 Databricks Delta 数据跳过。

Bug 修复

  • 修复了以下问题：当 ON 条件的谓词仅引用目标表时，Delta 的谓词下推 MERGE INTO 语句不正确。

  • 修复了 mapGroupsWithState 和 flatMapGroupsWithState 中的 bug，该 bug 阻止在删除状态后设置超时 (SPARK-22187)。

  • 修复了阻止水印与 Trigger.Once 一起正常工作的 bug (SPARK-24699)。

  • Update 命令现在可验证 SET 子句中的列，以确保所有列实际存在，并且没有列经过多次设置。

  • 修复了可能导致目录提交死锁的潜在争用条件。

  • 修复了导致刷新装载时使用已弃用 DBFS 客户端版本的 bug。

已知问题

  • 表的 Delta Lake 配置选项仅在加载表的第一个笔记本中生效。

Apache Spark

Databricks Runtime 4.3 包括 Apache Spark 2.3.1。 此版本包括 Databricks Runtime 4.2（不受支持）中包含的所有修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-24934][SQL] 在内存中分区修剪的上限/下限中将支持的类型显式加入允许列表
    • 当在针对缓存数据的查询筛选器中使用复杂数据类型时，Spark 始终返回一个空结果集。 基于内存中统计信息的修剪生成了错误结果，原因是复杂类型的上限/下限设置为 null。 解决方法是不对复杂类型使用基于内存中统计信息的修剪。
  • [SPARK-24957][SQL] 后跟聚合的带小数的平均值返回了错误结果
    • 可能会返回错误的 AVERAGE 结果。 如果 Divide 的结果类型与强制转换的类型相同，则会跳过在 Average 运算符中添加的 CAST。
  • [SPARK-24867][SQL] 将 AnalysisBarrier 添加到 DataFrameWriter
    • 使用 DataFrameWriter 编写具有 UDF 的数据帧时，不使用 SQL 缓存。 这是我们在 AnalysisBarrier 中所做的更改导致的回归，因为并非所有分析器规则都是幂等的。
  • [SPARK-24790][SQL] 允许在透视中使用复杂聚合表达式
    • 放宽检查以允许使用复杂聚合表达式（如 ceil(sum(col1)) 或 sum(col1) + 1），这大致意味着，除了 pandas UDF 之外，任何聚合表达式都可能出现在聚合计划中。
  • [SPARK-24870][SQL] 如果 SQL 中存在大小写字母，缓存无法正常工作
    • 修复了计划标准化问题。
  • [SPARK-24852]使 spark.ml 训练使用更新的检测 API。
  • [SPARK-24891][SQL] 修复 HandleNullInputsForUDF 规则
    • 使 HandleNullInputsForUDF 规则幂等，以免在多次分析计划时缓存管理器中出现计划不匹配的情况。
  • [SPARK-24878][SQL] 针对包含 null 的基元类型的数组类型修复 reverse 函数。
  • [SPARK-24871][SQL] 重构 Concat 和 MapConcat，以免为每行创建 concatenator 对象。
  • [SPARK-24802][SQL] 为优化规则排除添加新配置
    • 向用户提供配置以排除某些优化器规则。
  • [SPARK-24879][SQL] 修复 Hive 分区修剪筛选器下推中的 NPE
    • 如果分区谓词类似于 col IN (1, null)，则会引发 NPE。 此修补程序修复了此问题。
  • [SPARK-23731][SQL] 使 FileSourceScanExec 在（反）序列化后可规范化
  • [SPARK-24755][CORE] 执行器丢失可能导致任务无法重新提交
    • 修复了 Spark 可能因执行器丢失而无法重新提交任务的 bug。 此 bug 是在 Spark 2.3 中引入的。
  • [SPARK-24677][CORE] 避免 MedianHeap 中出现 NoSuchElementException
    • 修复了收集任务持续时间指标时与推理任务相关的 bug。
  • [SPARK-24868][PYTHON] 在 Python 中添加 sequence 函数
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] 修复类型强制转换和为 Null 性。
  • [SPARK-24699][SS] 通过将更新的水印保存到提交日志，使水印与 Trigger.Once 一起工作
  • [SPARK-24537][R] 添加 array_remove / array_zip / map_from_arrays / array_distinct
  • [SPARK-22187][SS] 更新 flatMapGroupsWithState 中保存的状态的 unsaferow 格式，以允许对已删除的状态使用超时 (4.x)
  • [SPARK-24681][SQL] 验证 Hive 元存储中的嵌套列名称
    • 确保 Hive 元存储中的嵌套列名称不包含“,”、“:”和“;”
  • [SPARK-23486] 从 lookupFunctions 的外部目录缓存函数名
    • 加快函数查找速度。
  • [SPARK-24781][SQL] 在筛选器/排序中使用来自数据集的引用可能不起作用
  • [SPARK-24208][SQL] 修复 FlatMapGroupsInPandas 的重复属性删除
    • 修复包含 FlatMapGroupsInPandas 的数据集上因属性重复而导致的自联接故障
  • [SPARK-24530][PYTHON] 添加控制以通过环境变量 SPHINXPYTHON 在 Sphinx 中强制使用 Python 版本
  • [SPARK-24250] 支持在任务内部访问 SQLConf
    • 触发 SQL 执行时，将所有 SQL 配置保存到作业属性中。 在执行器端，我们从作业属性重新生成 SQLConf。
  • [SPARK-23936][SQL] 实现 map_concat
  • [SPARK-23914][SQL] 添加 array_union 函数
  • [SPARK-24732][SQL] MapTypes 之间的类型强制转换。
    • 添加了对 MapTypes 之间的类型强制转换的支持，其中键类型和值类型都兼容。 例如，可以将类型 MapType(IntegerType, FloatType) 和 MapType(LongType, DoubleType) 强制转换为类型 MapType(LongType, DoubleType)
  • [SPARK-24662][SQL] [SS] 支持在结构化流中设置限制
  • [SPARK-24730][SS] 添加策略，以便在流式处理查询具有多个水印时选择最大值作为全局水印 (branch-4.x)
  • [SPARK-24596][SQL] 非级联缓存失效
    • 取消缓存或删除临时视图时，不需要以级联方式取消缓存依赖于该视图的所有计划，因为基础数据不会更改。
  • [SPARK-23927][SQL] 添加“sequence”表达式
  • [SPARK-24636][SQL] array_join 函数的数组类型强制转换
  • [SPARK-22384][SQL] 优化在 Cast 中包装属性时的分区修剪
    • 改进分区修剪，以便能使用安全的类型强制转换（int 到 long，而不是 long 到 int）向下推送分区谓词。
  • [SPARK-24385][SQL] 解决 EqualNullSafe 的自联接条件不明确问题
    • 实现 EqualNullSafe 以解决自联接条件不明确问题。
  • [SPARK-24696][SQL] ColumnPruning 规则无法删除额外的项目
    • 修复了 ColumnPruning 规则中导致优化器中出现无限循环错误的 bug。
  • [SPARK-24603][SQL] 修复注释中的 findTightestCommonType 引用
  • [SPARK-24613][SQL] 具有 UDF 的缓存无法与后续的依赖缓存匹配
    • 使用 AnalysisBarrier 包装逻辑计划以在 CacheManager 中编译执行计划，目的是避免再次分析计划。 这也是 Spark 2.3 的回归。
  • [SPARK-24017][SQL] 将 ExternalCatalog 重构为接口
  • [SPARK-24324][PYTHON] pandas 分组的映射 UDF 应按名称分配结果列
    • 如果用户使用字符串标记，则按架构名称分配结果列，否则使用位置分配。
  • [SPARK-23778][CORE] 避免 union 获取空 RDD 时出现不必要的随机选择
    • 忽略 union 方法中传入的空 RDD，以避免在所有其他 Rdd 具有相同分区时出现不必要的额外随机选择。
  • [SPARK-24552][CORE][SQL] 使用唯一 ID，而不是写入的尝试次数。
    • 向 v2 数据源传递唯一的任务尝试 ID，而不是重试次数，因为在重试阶段时会重复使用尝试次数。 这会影响数据源 V1 和 V2 API，但不会影响文件格式 API，因为 DBR 使用不同的提交协议。
  • [SPARK-24588][SS] 流式处理联接应当需要来自子代的 HashClusteredPartitioning。
  • [SPARK-24589][CORE] 在输出提交协调器中正确标识任务。
    • 向协调器跟踪的阶段状态添加详细信息，以便只允许一个任务提交输出。 此修补程序还删除了 SPARK-18113 引入的无用代码更改。
  • [SPARK-23933][SQL] 添加 map_from_arrays 函数
  • [SPARK-24583][SQL] InsertIntoDataSourceCommand 中的架构类型错误
    • 创建具有 NOT NULL 约束的 Delta 表时，可以删除为 Null 性并插入 NULL 值，且无需检查冲突。
  • [SPARK-24542][SQL] UDF 系列 UDFXPathXXXX 使用户可传递经过精心设计的 XML 来访问任意文件
    • 这是社区报告的安全修补程序。 UDF 系列 UDFXPathXXXX 使用户可传递精心设计的 XML 来访问任意文件。 当用户使用外部访问控制库时，用户可能会绕过这些库并访问文件内容。
  • [SPARK-23934][SQL] 添加 map_from_entries 函数
  • [SPARK-23912][SQL] 添加 array_distinct
  • [SPARK-24574][SQL] array_contains、array_position、array_remove 和 element_at 函数处理列类型

维护更新

请参阅 Databricks Runtime 4.3 维护更新。

系统环境

  • 操作系统：Ubuntu 16.04.4 LTS
  • Java：1.8.0_162
  • Scala：2.11.8
  • Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
  • R：R 版本 3.4.4 (2018-03-15)
  • GPU 群集：安装了以下 NVIDIA GPU 库：
    • Tesla 驱动程序 375.66
    • CUDA 9.0
    • cuDNN 7.0

已安装的 Python 库

库 版本 库 版本 库 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密码系统 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Future 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
请求 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

已安装的 R 库

库 版本 库 版本 库 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 汽车 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-50 矩阵 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 流 (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52