Databricks Runtime 4.1（不受支持）
Databricks 于 2018 年 5 月发布了此映像。
重要
此版本已于 2019 年 1 月 17 日弃用。 有关 Databricks Runtime 弃用策略和计划的详细信息，请参阅 Databricks Runtime 支持生命周期。
以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 4.1 的相关信息。
Delta Lake
Databricks Runtime 版本 4.1 为 Delta Lake 添加了重大质量改进和功能。 Databricks 强烈建议将所有 Delta Lake 客户升级到新的运行时。 此版本仍以个人预览版提供，但它代表了即将发布的正式发布版 (GA) 的候选发行版。
Delta Lake 现在也提供 Azure Databricks 用户的个人预览版。 请联系你的帐户管理员或在 https://databricks.com/product/databricks-delta 进行注册。
中断性变更
Databricks Runtime 4.1 包括对事务协议的更改，以便启用新功能，如验证。 使用 Databricks Runtime 4.1 创建的表会自动使用新版本，且旧版本的 Databricks Runtime 无法写入。 必须升级现有表才能利用这些改进。 若要升级现有表，请先升级写入表的所有作业。 然后运行：
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")有关详细信息，请参阅 Azure Databricks 如何管理 Delta Lake 功能兼容性？。
现在，将针对表的当前架构对写入操作进行验证，而不是像以前一样自动添加目标表中缺少的列。 若要启用以前的行为，请将
mergeSchema选项设置为true。 请参阅 Delta Lake 架构验证。如果运行更早版本的 Databricks Delta，则需要升级所有作业才能使用 Databricks Runtime 4.1。 如果看到以下任一错误，请升级到 Databricks Runtime 4.1：
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchError表不能再具有仅因大小写而不同的列。
Delta 特定的表配置现在必须以
delta.为前缀
新增功能
架构管理 - Databricks Delta 现在验证对现有表的追加和覆盖，以确保所写入的架构与架构匹配。
- Databricks Delta 继续支持自动架构迁移。
- Databricks Delta 现在支持以下 DDL 以显式修改架构：
- 向表中添加新列的
ALTER TABLE ADD COLUMN - 更改列顺序的
ALTER TABLE CHANGE COLUMNS ALTER TABLE [SET|UNSET] TBLPROPERTIES
- 向表中添加新列的
有关详细信息，请参阅 Delta Lake 架构验证。
增强的 DDL 和表支持
- 表 DDL 和
saveAsTable()的完全支持。save()和saveAsTable()现在具有相同的语义。 - 所有 DDL 和 DML 命令都支持表名称和
delta.`<path-to-table>`。 SHOW PARTITIONSSHOW COLUMNSDESC TABLE- 详细表信息 - 你可以通过运行
DESCRIBE DETAIL查看表当前的读取器和编写器版本。 请参阅 Azure Databricks 如何管理 Delta Lake 功能兼容性？。 - 表详细信息 - 现在，每次写入表时都提供出处信息。 数据边栏还显示 Databricks Delta 表的详细表信息和历史记录。 请参阅使用 describe detail 查看 Delta Lake 表详细信息。
- 流式处理表 - 可使用
spark.readStream.format("delta").table("<table-name>")创建流式处理数据帧。 - 仅追加表 - Databricks Delta 现在支持基本数据治理。 可通过设置表属性
delta.appendOnly=true来阻止对表的删除和修改。 MERGE INTO源 - 对MERGE的查询规范添加更全面的支持。 例如，可以在源中指定LIMIT、ORDER BY和INLINE TABLE。- 表 ACL 的完全支持。
- 表 DDL 和
性能改进
- 降低了统计数据收集开销 - 统计数据收集的效率已提高，现在仅为可配置的数量的列收集统计信息（默认情况下设置为 32）。 由于统计信息收集开销的减少，Databricks Delta 写入性能提高了 2 倍。 若要配置列数，请设置表属性
delta.dataSkippingNumIndexedCols=<number-of-columns>。 - 支持限制下推 - 统计信息用于限制针对某些查询进行扫描的文件的数量，这些查询的分区列上方具有
LIMIT和谓词。 这适用于笔记本中的查询，因为所有笔记本命令都使用隐式limit=1000。 - 流式源中的筛选器下推 - 流式查询现在在启动新流时使用分区来跳过不相关的数据。
- 改进的
OPTIMIZE-OPTIMIZE的并行度现在作为单个 Spark 任务运行，并将使用群集上可用的所有并行度（以前限制为一次 100 个压缩文件）。 - DML 中的数据跳过 -
UPDATE、DELETE和MERGE现在在发现需要重写的文件时使用统计信息。 - 减少了检查点保留 - 检查点现在保留两天（历史记录仍保留 30 天），以减少事务日志的存储成本。
API 行为
- Databricks Delta 中的
insertInto(<table-name>)行为和其他数据源相同。- 如果未指定模式，或
mode是ErrorIfExists、Ignore或Append，则会将数据帧中的数据追加到 Databricks Delta 表。 - 如果
mode是Overwrite，则删除现有表中的所有数据，并将数据帧中的数据插入 Databricks Delta 表中。
- 如果未指定模式，或
- 如果已缓存，则必须对
MERGE的目标表手动取消缓存。
可用性改进
- 工作负载迁移验证 - 将工作负载迁移到 Databricks Delta 时所犯的常见错误现在引发异常而不是失败：
- 使用
format("parquet")读取或写入表。 - 直接读取或写入分区（即
/path/to/delta/part=1）。 - 清扫表的子目录。
INSERT OVERWRITE DIRECTORY对表使用 Parquet。
- 使用
- 不区分大小写的配置 - 数据帧读取器/写入器和表属性的选项现在不区分大小写（包括读取路径和写入路径）。
- 列名 - 表列名现在可以包含点。
已知问题
- 多插入语句的插入位置位于不同的工作单位中，而不是同一个事务中。
Bug 修复
- 在快速更新表上启动新流时，已修复无限循环。
弃用功能
结构化流式处理不处理非追加的输入，并且会在对用作源的表进行了任何修改时引发异常。 以前，你可以使用 ignoreFileDeletion 标志替代此行为，但现在已弃用此操作。 改为使用 ignoreDeletes 或 ignoreChanges。 请参阅用作源的 Delta 表。
其他更改和改进
- 已为使用 UI 创建的所有用途的群集启用了查询监视器。
- 已改进 DBIO 缓存的驱动程序端性能
- 已通过新的本机 Parquet 解码器提升 Parquet 解码性能
- 已提升常见子表达式消除性能
- 已提升连接小表的大表的数据跳过性能（事实维度表联接）
display()现在以富 HTML 的形式呈现包含图像数据类型的列。- 记录、加载、注册和部署 MLflow 模型的改进
- 已将 dbml-local 升级到最新版本 0.4.1
- 已修复和指定的
threshold参数一起导出的模型的 bug - 已添加对导出
OneVsRestModel、GBTClassificationModel的支持
- 升级了一些已安装的 Python 库：
- pip：从 9.0.1 升级到 10.0.0b2
- setuptools：从 38.5.1 升级到 39.0.1
- tornado：4.5.3 到 5.0.1
- wheel：0.30.0 到 0.31.0
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
- 已将 Azure Data Lake Store SDK 从 2.0.11 升级到 2.2.8。
- 已将 GPU 群集的 CUDA 从 8.0 升级到 9.0，CUDNN 从 6.0 升级到 7.0。
Apache Spark
Databricks Runtime 4.1 包括 Apache Spark 2.3.0。 此版本包括 Databricks Runtime 4.0（不受支持）中包含的所有修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-24007][SQL] FloatType 和 DoubleType 的 EqualNullSafe 可能会按 codegen 生成错误的结果。
- [SPARK-23942][PYTHON][SQL] 使 PySpark 中的收集成为查询执行器侦听器的操作
- [SPARK-23815][CORE] Spark 写入器动态分区覆盖模式可能无法在多级分区上写入输出
- [SPARK-23748][SS] 修复 SS 连续进程不支持 SubqueryAlias 问题
- [SPARK-23963][SQL] 在针对基于文本的 Hive 表的查询中正确处理大量列
- [SPARK-23867][SCHEDULER] 在 logWarning 中使用 droppedCount
- [SPARK-23816][CORE] 终止的任务应忽略 FetchFailures。
- [SPARK-23809][SQL] 应当通过 getOrCreate 设置活动 SparkSession
- [SPARK-23966][SS] 在通用 CheckpointFileManager 接口中重构所有检查点文件写入逻辑
- [SPARK-21351][SQL] 基于子输出更新为 Null 性
- [SPARK-23847][PYTHON][SQL] 将 asc_nulls_first、asc_nulls_last 添加到 PySpark
- [SPARK-23822][SQL] 改善有关 Parquet 架构不匹配的错误消息
- [SPARK-23823][SQL] 在 transformExpression 中保留来源
- [SPARK-23838][WEBUI] 正在运行的 SQL 查询在 SQL 选项卡中显示为“已完成”
- [SPARK-23802][SQL] PropagateEmptyRelation 可能在未解决的状态下退出查询计划
- [SPARK-23727][SQL] 支持在 parquet 中向下推送 DateType 的筛选器
- [SPARK-23574][SQL] 当正好有 1 个数据读取器工厂时，在 DataSourceV2ScanExec 中报告 SinglePartition。
- [SPARK-23533][SS] 添加对 ContinuousDataReader 的 startOffset 的更改支持
- [SPARK-23491][SS] 从 ContinuousExecution 重新配置中删除显式作业取消
- [SPARK-23040][CORE] 返回随机读取器的可中断迭代器
- [SPARK-23827][SS] StreamingJoinExec 应确保将输入数据分区成特定数目的分区
- [SPARK-23639][SQL] 在初始化 SparkSQL CLI 中的元存储客户端之前获取令牌
- [SPARK-23806]使用…时，Broadcast.unpersist 可能导致严重异常
- [SPARK-23599][SQL] 在 Uuid 表达式中使用 RandomUUIDGenerator
- [SPARK-23599][SQL] 从伪随机数添加 UUID 生成器
- [SPARK-23759][UI] 无法将 Spark UI 绑定到特定的主机名/IP
- [SPARK-23769][CORE] 删除不必要地禁用 Scalastyle 检查的注释
- [SPARK-23614][SQL] 修复使用缓存时错误地重复使用交换的问题
- [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs 应正确保存/还原 CSE 状态
- [SPARK-23729][CORE] 解析 glob 时遵循 URI 分段
- [SPARK-23550][CORE] 清理 Utils
- [SPARK-23288][SS] 修正 parquet 接收器的输出指标
- [SPARK-23264][SQL] 修复 literals.sql.out 中的 scala.MatchError
- [SPARK-23649][SQL] 跳过 UTF-8 中禁止的字符
- [SPARK-23691][PYTHON] 尽量在 PySpark 测试中使用 sql_conf 实用工具
- [SPARK-23644][CORE][UI] 对 SHS 中的 REST 调用使用绝对路径
- [SPARK-23706][PYTHON] spark.conf.get(value, default=None) 应在 PySpark 中生成 None
- [SPARK-23623][SS] 避免在 CachedKafkaConsumer 中并发使用缓存的使用者
- [SPARK-23670][SQL] 修复 SparkPlanGraphWrapper 上的内存泄漏
- [SPARK-23608][CORE][WEBUI] 在 attachSparkUI 和 detachSparkUI 函数之间添加 SHS 同步，以避免 Jetty 处理程序的并发修改问题
- [SPARK-23671][CORE] 修复状态以启用 SHS 线程池。
- [SPARK-23658][LAUNCHER] InProcessAppHandle 在 getLogger 中使用错误的类
- [SPARK-23642][DOCS] 修复 AccumulatorV2 子类 isZero scaladoc
- [SPARK-22915][MLLIB] spark.ml.feature 的从 N 到 Z 的流测试
- [SPARK-23598][SQL] 使 BufferedRowIterator 中的方法成为公共方法，以避免大型查询出现运行时错误
- [SPARK-23546][SQL] 在 CodegenContext 中重构无状态方法/值
- [SPARK-23523][SQL] 修复规则 OptimizeMetadataOnlyQuery 导致的错误结果
- [SPARK-23462][SQL] 改善 StructType 中的缺少字段错误消息
- [SPARK-23624][SQL] 在 Datasource V2 中修订方法 pushFilters 的文档
- [SPARK-23173][SQL] 从 JSON 加载数据时避免创建损坏的 parquet 文件
- [SPARK-23436][SQL] 仅当分区可以强制转换为日期时，才推断分区
- [SPARK-23406][SS] 启用流间自联接
- [SPARK-23490][SQL] 在 CreateTable 中检查包含现有表的 storage.locationUri
- [SPARK-23524]不应检查大型本地随机块是否已损坏。
- [SPARK-23525][SQL] 支持外部 hive 表的 ALTER TABLE CHANGE COLUMN COMMENT
- [SPARK-23434][SQL] Spark 不应针对 HDFS 文件路径的元数据目录发出警告
- [SPARK-23457][SQL] 首先在 ParquetFileFormat 中注册任务完成侦听器
- [SPARK-23329][SQL] 修正三角函数的文档
- [SPARK-23569][PYTHON] 允许 pandas_udf 使用 python3 样式的类型批注函数
- [SPARK-23570][SQL] 在 HiveExternalCatalogVersionsSuite 中添加 Spark 2.3.0
- [SPARK-23517][PYTHON] 使 _pyspark.util.xception_message 通过 Py4JJavaError 生成 Java 端的跟踪
- [SPARK-23508][CORE] 修复“blockManagerIdCache 导致 oom”情况下的 BlockmanagerId
- [SPARK-23448][SQL] 阐明文档中的 JSON 和 CSV 解析器行为
- [SPARK-23365][CORE] 终止空闲执行器时，不要调整 num 执行器。
- [SPARK-23438][DSTREAMS] 修复驱动程序崩溃时因使用 WAL 产生的 DStreams 数据丢失问题
- [SPARK-23475][UI] 还显示跳过的阶段
- [SPARK-23518][SQL] 避免在用户只想读取和写入数据帧时发生元存储访问
- [SPARK-23406][SS] 启用流间自联接
- [SPARK-23541][SS] 允许 Kafka 源采用比文章分区数量更大的并行度来读取数据
- [SPARK-23097][SQL][SS] 将文本套接字源迁移到 V2
- [SPARK-23362][SS] 将 Kafka Microbatch 源迁移到 v2
- [SPARK-23445]ColumnStat 重构
- [SPARK-23092][SQL] 将 MemoryStream 迁移到 DataSourceV2 API
- [SPARK-23447][SQL] 清理文本的 codegen 模板
- [SPARK-23366]提高 ReadAheadInputStream 中的热读取路径
- [SPARK-22624][PYSPARK] 公开范围分区随机排序
维护更新
请参阅 Databricks Runtime 4.1 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.4 LTS
- Java：1.8.0_162
- Scala：2.11.8
- Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
- R：R 版本 3.4.4 (2018-03-15)
- GPU 群集：安装了以下 NVIDIA GPU 库：
- Tesla 驱动程序 375.66
- CUDA 9.0
- cuDNN 7.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密码系统 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Future | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.0b2 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| 请求 | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.0 |
| wsgiref | 0.1.2 |
已安装的 R 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | 汽车 | 3.0-0 |
| carData | 3.0-1 | caret | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-69 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-49 | 矩阵 | 1.2-13 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methods | 3.4.4 | mgcv | 1.8-23 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.41-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 流 (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收集器 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |