Databricks Runtime 9.1 LTS

以下发行说明提供了由 Apache Spark 3.1.2 提供支持的 Databricks Runtime 9.1 LTS 和 Databricks Runtime 9.1 LTS Photon 的相关信息。 Databricks 于 2021 年 9 月发布此版本。 Photon 处于公共预览版

注意

LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。

新增功能和改进

自动加载程序架构提示现在支持数组和映射类型

使用架构提示重写架构推理(适用于自动加载程序)支持数组和映射类型。

适用于数组的架构提示示例包括:

  1. arr Array<TYPE> 更改数组类型。

  2. arr.element TYPE 更改数组类型(通过 element 关键字)。

  3. arr.element.x TYPE 更改结构数组中的嵌套字段类型。

前两个提示示例将数组 arr 的类型更改为 TYPE,但它们使用不同的语法。 在第三个示例中,arr 是具有字段 x 的结构数组。 此示例说明如何将 x 的类型更改为 TYPE

适用于映射的架构提示示例包括:

  1. m Map<KEY-TYPE, VALUE-TYPE> 更改映射键和值类型。

  2. m.key TYPE 更改映射键的类型。

  3. m.value TYPE 更改映射值的类型。

  4. m.key.x TYPE 更改映射键中的字段类型。

  5. m.value.x TYPE 更改映射值的字段类型。

第一个示例将映射 m 的键和值类型分别更改为 KEY_TYPEVALUE_TYPE。 如果只需要更改键类型或只需要更改值类型,则可以使用第二个和第三个示例。 在第四个和第五个示例中,m 是一个包含结构类型(具有字段 x)的键和值的映射。 此示例说明如何将 x 的类型更改为 TYPE

Avro 文件支持合并架构

读取文件时,Avro 文件格式现在支持 mergeSchema 选项。 如果在读取 Avro 文件时将 mergeSchema 设置为 true,将从一组 Avro 文件而不是从单个文件推断架构。 此操作通过推断可能能够读取所有文件(即使它们各自的架构不同)的架构,来提高可用性。 请参阅配置

自动加载程序增量列表支持(公共预览版)

对于按字典顺序生成的文件,什么是自动加载程序?现在利用字典顺序的文件排序和经过优化的现有 API,通过从以前引入的文件中列出而不是列出整个目录来提高目录列表的效率。 默认情况下,自动加载程序会自动检测给定目录是否适用于增量列表。 若要显式控制此行为,请将新的 cloudFiles.useIncrementalListing 选项设置为开 (true)、关 (false) 或自动 (auto)。 如果将此行为设置为 true,还可以将 cloudFiles.backfillInterval 选项设置为对数据计划定期回填,以确保完全引入所有数据。

Delta 现在支持任意 replaceWhere

结合覆盖模式,replaceWhere 选项可用于同时覆盖与选项中定义的谓词匹配的数据。 以前,replaceWhere 仅支持对分区列使用谓词,但它现在可以是任意表达式。 请参阅写入表

CREATE FUNCTION 现在支持创建表函数

除了创建返回标量值的标量函数之外,现在还可以创建返回一组行的表函数。 请参阅 CREATE FUNCTION (SQL 和 Python)

Kafka 流式处理源立即报告 estimatedTotalBytesBehindLatest 指标

Kafka 流式处理源立即报告在每个批处理后,使用者在最新可用字节后面使用的估计字节数。 可以使用该指标跟踪流进度。 请参阅检索 Kafka 指标

示例指标输出:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

对于数组内部的结构,Delta MERGE INTO 现在按名称解析结构字段并演化结构架构

Delta MERGE INTO 现在支持按名称解析结构字段,并支持结构数组的自动架构演变。 通过将 spark.databricks.delta.schema.autoMerge.enabled 设置为 true 来启用自动架构演变时,UPDATEINSERT 子句将按名称解析数组内的结构字段,强制转换为目标数组中定义的相应数据类型,并使用 null 值填充源或目标中的附加或缺失字段。 禁用自动架构演变时,UPDATEINSERT 子句将按名称解析数组内的结构字段,但无法演化附加字段。 请参阅更新 Delta Lake 表架构

Bug 修复

  • 修复了 Amazon S3 连接器中可能发生在长时间运行的作业或服务中的内存泄漏,这是由 JVM DeleteOnExit 功能引起的。

库升级

  • 升级了 Python 库:
    • plotly 已从 4.14.3 升级到 5.1.0
  • 升级了 R 库:
    • base 已从 4.1.0 升级到 4.1.1
    • bslib 已从 0.2.5.1 升级到 0.3.0
    • cachem 已从 1.0.5 升级到 1.0.6
    • compiler 已从 4.1.0 升级到 4.1.1
    • datasets 已从 4.1.0 升级到 4.1.1
    • future 已从 1.21.0 升级到 1.22.1
    • gert 已从 1.3.1 升级到 1.3.2
    • graphics 已从 4.1.0 升级到 4.1.1
    • grDevices 已从 4.1.0 升级到 4.1.1
    • grid 已从 4.1.0 升级到 4.1.1
  • 升级了 Java 库:
    • org.eclipse.jetty 已从 9.4.36.v20210114 升级到 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS 包括 Apache Spark 3.1.2。 此版本包括 Databricks Runtime 9.0 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:

  • [SPARK-36674][SQL][CHERRY-PICK] 支持 ILIKE - 不区分大小写的 LIKE
  • [SPARK-36353][SQL][3.1] RemoveNoopOperators 应保留输出架构
  • [SPARK-35876][SQL][3.1] ArraysZip 应保留字段名称,以避免由分析器/优化器重新写入
  • [SPARK-36398][SQL] 编修 Spark Thrift 服务器日志中的敏感信息
  • [SPARK-36498][SQL] 在 byName V2 写入中对输入查询的内部字段重新排序
  • [SPARK-36614][CORE][UI] 纠正 UI 中的解除授权导致的执行程序丢失原因
  • [SPARK-36012][SQL] 在 SHOW CREATE TABLE 中添加 null 标志
  • [SPARK-36509][CORE] 修复在独立群集中,如果辅助角色停止,永远不会重新计划执行程序的问题
  • [SPARK-36603][CORE] 在 LevelDB 中使用 WeakReference 而不是 SoftReference
  • [SPARK-36564][CORE] 修复 LiveRDDDistribution.toApi 中的 NullPointerException
  • [SPARK-36086][SQL][3.1] CollapseProject 项目替换别名应使用源列名称
  • [SPARK-33527][SQL] 扩展解码功能,以与主流数据库保持一致
  • [SPARK-36400][SPARK-36398][SQL][WEBUI] 让 ThriftServer 识别 spark.sql.redaction.string.regex
  • [SPARK-34054][CORE] BlockManagerDecommissioner 代码清理
  • [SPARK-36500][CORE] 修复任务中断时 temp_shuffle 文件泄漏的问题
  • [SPARK-36489][SQL] 在没有分组键的情况下,只有一个存储桶的表上的聚合函数返回多行
  • [SPARK-36464][CORE] 修复 ChunkedByteBufferOutputStream 中的基础大小变量初始化问题,以写入超过 2GB 数据
  • [SPARK-36339][SQL][3.0] 应替换对不属于聚合的分组的引用
  • [SPARK-36354][CORE] EventLogFileReader 应跳过滚动读取没有日志的事件日志目录
  • [SPARK-36242][CORE][3.1] 确保在 ExternalSorter.spillMemoryIteratorToDisk 方法中设置 success = true 之前关闭溢出文件
  • [SPARK-36211][PYTHON] 正确键入 udf 返回值
  • [SPARK-34222][SQL] 增强布尔简化规则
  • [SPARK-35027][CORE] 编写…时关闭 FileAppender 中的 inputStream
  • [SPARK-36269][SQL] 修复仅将数据列设置为 Hive 列名配置
  • [SPARK-36213][SQL] 使用 PartitionSpec 规范化 Describe Table 命令的 PartitionSpec
  • [SPARK-36210][SQL] 在 Dataset.withColumns 中保留列插入顺序
  • [SPARK-36079][SQL] 基于 Null 的筛选器估计值应始终在 [0, 1] 范围内
  • [SPARK-28266][SQL] 读取 Hive 表时,convertToLogicalRelation 不应解释 path 属性

维护更新

请参阅 Databricks Runtime 9.1 LTS 维护更新

系统环境

  • 操作系统:Ubuntu 20.04.4 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.10
  • Python:3.8.10
  • R:4.1.1
  • Delta Lake:1.0.0

已安装的 Python 库

版本 版本 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 回调 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 骑行者 0.10.0 Cython 0.29.23
dbu-python 1.2.16 装饰师 5.0.6 distlib 0.3.2
发行版信息 0.23ubuntu1 各个方面概述 1.0.0 文件锁 (filelock) 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils(IPython通用工具) 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 Jupyter客户端 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 考拉 1.8.1 matplotlib 3.4.2
numpy 1.19.2 熊猫 1.2.4 帕尔索 0.7.0
替罪羊 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
枕头 8.2.0 果仁 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 Python时区库pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 6 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 毅力 8.0.1 threadpoolctl 2.1.0
龙卷风 6.1 Traitlets 5.0.5 无人值守升级 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
轮子 0.36.2

已安装的 R 库

R 库安装自 2021-09-08 的 Microsoft CRAN 快照。 快照不再可用。

版本 版本 版本
askpass 1.1 断言 0.2.1 向后移植 1.2.1
基础 4.1.1 base64enc 0.1-3 比特 4.0.4
bit64 4.0.5 团状物 1.2.2 启动 1.3-28
酿造 1.0-6 活力 1.1.2 扫帚 0.7.9
bslib 0.3.0 卡齐姆 1.0.6 callr 3.7.0
文本光标 6.0-88 cellranger 1.1.0 chron 2.3-56
7.3-19 cli 3.0.1 剪辑器 0.7.1
集群 2.1.2 codetools 0.2-18 色彩空间 2.0-2
commonmark 1.7 编译器 4.1.1 配置 0.3.1
cpp11 0.3.1 蜡笔 1.4.1 凭据 1.3.1
卷曲 4.3.2 data.table 1.14.0 数据集 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 摘要 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 省略 0.3.2
评估 0.14 fansi 0.5.0 颜色 2.1.0
fastmap 1.1.0 猫用 0.5.1 foreach 1.5.1
外国 0.8-81 锻造 0.2.0 fs 1.5.0
未来 1.22.1 future.apply 1.8.1 漱口 1.2.0
泛 型 0.1.0 格尔特 1.3.2 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
全局 0.14.0 胶水 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 图形 4.1.1
grDevices 4.1.1 “业务流程参数” 网格 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 避风港 2.4.3
更高的 0.9 赫姆斯 1.1.0 HTML工具 0.5.2
HTML小插件 1.5.3 httpuv 1.6.2 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-11 isoband 0.2.5
迭代器 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.33 标记 0.4.2
以后 1.3.0 格子 0.20-44 熔岩 1.6.10
生命周期 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 质量 7.3-54
矩阵 1.3-4 记忆化 2.0.0 方法 4.1.1
mgcv 1.8-36 默剧 0.11 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞尔 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016年8月至1月1日 openssl(开放SSL) 1.4.5
平行 4.1.1 并行地 1.27.0 柱子 1.6.2
pkgbuild (软件包构建工具) 1.2.0 pkgconfig 2.0.3 pkgload 1.2.1
普洛格 0.2.0 普莱尔 1.8.6 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进度 1.2.2 progressr 0.8.0
承诺 1.2.0.1 原型 (proto) 1.0.0 附注 (ps) 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
随机森林 (randomForest) 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 食谱 0.1.16 重赛 1.0.1
rematch2 2.1.2 遥控器 2.4.0 可复现示例 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.10
RODBC 1.3-18 roxygen2 7.1.1 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0.13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 磅秤 1.1.1 selectr 0.4-2
会话信息 1.1.1 形状 1.4.6 光亮 1.6.0
sourcetools 0.1.7 sparklyr(用于R的可视化和数据处理工具包) 1.7.1 SparkR 3.1.1
空间 7.3-11 样 条 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 统计数据 4.1.1 统计数据4 4.1.1
stringi 1.7.4 stringr 1.4.0 生存 3.2-13
sys 3.4 tcltk 4.1.1 教学演示 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 时间日期 3043.102
tinytex 0.33 工具 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
UUID(通用唯一识别码) 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.4 瓦尔多 0.3.0 晶 须 0.4
withr 2.4.2 xfun 0.25 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
压缩包 2.2.0

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws AWS Java SDK CloudFront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws AWS Java SDK 云搜索 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.11.655
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.11.655
com.amazonaws aws-java-sdk-弹性负载均衡 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws AWS Java SDK Glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws AWS Java 软件开发工具包 - KMS 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.11.655
com.amazonaws AWS-Java-SDK-机器学习 1.11.655
com.amazonaws aws-java-sdk-市场商业分析工具包 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws AWS Java SDK 存储网关 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws AWS Java SDK支持 1.11.655
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo遮阳 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations(Jackson注解库) 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.crypto.tink 丁克 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.10
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine 辉岩 4.30
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 箭头格式 2.0.0
org.apache.arrow 箭头-内存-核心 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow 箭头向量 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator 策展人-客户端 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人食谱 2.7.1
org.apache.derby 德比 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop Hadoop客户端 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop Hadoop 分布式文件系统 (Hadoop-HDFS) 2.7.4
org.apache.hadoop Hadoop MapReduce 客户端应用 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop Hadoop-YARN客户端 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive 蜂巢存储接口API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 孵化
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet Parquet 编码 1.10.1-databricks9
org.apache.parquet Parquet格式 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus 受众注释 0.5.0
org.apache.zookeeper 动物园管理员 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.42.v20210604
org.eclipse.jetty jetty-continuation 9.4.42.v20210604
org.eclipse.jetty jetty-http 9.4.42.v20210604
org.eclipse.jetty jetty-io 9.4.42.v20210604
org.eclipse.jetty jetty-jndi 9.4.42.v20210604
org.eclipse.jetty jetty-plus 9.4.42.v20210604
org.eclipse.jetty jetty-proxy 9.4.42.v20210604
org.eclipse.jetty 码头安全 9.4.42.v20210604
org.eclipse.jetty jetty-server(Jetty服务器) 9.4.42.v20210604
org.eclipse.jetty jetty-servlet 9.4.42.v20210604
org.eclipse.jetty jetty-servlets 9.4.42.v20210604
org.eclipse.jetty Jetty工具库 9.4.42.v20210604
org.eclipse.jetty jetty-util-ajax 9.4.42.v20210604
org.eclipse.jetty Jetty 网页应用 9.4.42.v20210604
org.eclipse.jetty jetty-xml 9.4.42.v20210604
org.eclipse.jetty.websocket WebSocket API 9.4.42.v20210604
org.eclipse.jetty.websocket WebSocket客户端 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-common 9.4.42.v20210604
org.eclipse.jetty.websocket WebSocket服务器 9.4.42.v20210604
org.eclipse.jetty.websocket websocket-servlet 9.4.42.v20210604
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb (Jersey 媒体库 - JAXB) 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 垫片 0.9.14
.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework 春季测试 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel 机床工_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1
xmlenc xmlenc 0.52