다음을 통해 공유

Databricks Runtime 10.5 (EoS)

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性

以下发行说明提供了由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.5 的相关信息。 Databricks 于 2022 年 5 月发布此版本。

新增功能和改进

SQL:新函数 to_numbertry_to_number

函数to_number函数try_to_number允许将各种格式的数字字符表示形式转换为DECIMAL

SQL:新函数 try_sum

与上述不同 sumtry_sum 聚合函数 在发生溢出时返回 NULL 而不是错误。

SQL:对 ceilceilingfloor 函数的更新

函数ceilceiling函数floor函数现在支持另一个可选参数来指定目标缩放。

SQL:新的聚合函数 regr_avgxregr_avgy

新的 regr_avgx 聚合函数regr_avgy 聚合函数 支持线性回归。

SQL:对 containsstartswithendswith 函数的更新

除了字符串之外,函数containsstartswith函数endswith函数现在还支持二进制数据类型作为输入。

SQL:新函数 array_size

array_size 函数 计算数组的大小。

Unity Catalog:SQL LIST 输出删除了 is_directory 列,并为目录路径添加了尾部 /(公共预览版)

用于列出由 Unity Catalog 管理的路径的 SQL LIST 语句的输出已更改。 不再显示 is_directory 列。 取而代之的是,表示目录的路径现在以 /path 列的尾部斜杠 (name) 结尾。 此项更改是为了与 dbutils.fs.ls 命令的输出保持一致。

自动加载程序:新的 SQL 函数 CLOUD_FILES_STATE

可以使用新的 CLOUD_FILES_STATE 函数来查询自动加载程序流的内部状态;请参阅查询自动加载程序发现的文件

自动加载程序:文件通知支持现已正式发布

Google Cloud 对什么是自动加载程序?的文件通知支持现已正式发布。

Delta Lake:新的 maxRecordsPerFile 选项,用于指定可写入到单个文件的最大记录数

使用数据帧 API 写入到 Delta 表时,可以使用 maxRecordsPerFile 选项来指定可写入到单个文件的最大记录数。 指定零值或负值表示无限制。 请参阅配置 Delta Lake 以控制数据文件大小

弃用了 Koalas

Koalas 现已弃用。 Koalas 在 Apache Spark 上提供 pandas API。 Koalas 由社区贡献,从 Apache Spark 3.2 开始作为 Spark 上的 pandas API 提供。 将继续为 Databricks Runtime 10.5 预安装 Koalas,但从下一个 Databricks Runtime 版本开始将不再预安装 Koalas。

若要详细了解 Spark 上的 pandas API,请参阅:

为所有文件格式新增了 _metadata

可以使用 _metadata 列获取输入文件的元数据信息。 _metadata 列已隐藏。 此列适用于所有输入文件格式。 若要将 _metadata 列包含在返回的 DataFrame 中,必须在查询中显式引用此列。 请参阅文件元数据列

使用 Databricks Runtime 10.5 测试管道

Databricks Runtime 10.5 现在是 Lakeflow 声明性管道所支持的版本 preview。 若要使用 Databricks Runtime 10.5 测试管道,请在管道设置中将 channel 设置设置为 preview

漏洞修复

  • 修复了已启用变更数据捕获 (CDC) 的 Delta 表上更新操作的 numUpdatedRowsnumCopiedRows 指标结果的显示。

图书馆升级

  • 升级了 Python 库:
    • plotly 已从 5.5.0 升级到 5.6.0
  • 升级了 R 库:
    • base 已从 4.1.2 升级到 4.1.3
    • caret 已从 6.0-90 升级到 6.0-91
    • cluster 已从 2.1.2 升级到 2.1.3
    • commonmark 已从 1.7 升级到 1.8.0
    • compiler 已从 4.1.2 升级到 4.1.3
    • crayon 已从 1.5.0 升级到 1.5.1
    • datasets 已从 4.1.2 升级到 4.1.3
    • desc 已从 1.4.0 升级到 1.4.1
    • fansi 已从 1.0.2 升级到 1.0.3
    • glue 已从 1.6.1 升级到 1.6.2
    • graphics 已从 4.1.2 升级到 4.1.3
    • grDevices 已从 4.1.2 升级到 4.1.3
    • grid 已从版本 4.1.2 升级到 4.1.3
    • knitr 已从 1.37 升级到 1.38
    • MASS 已从 7.3-55 升级到 7.3-56
    • Matrix 已从 1.4-0 升级到 1.4-1
    • 方法从 4.1.2 到 4.1.3
    • mgcv 已从 1.8-39 升级到 1.8-40
    • nlme 已从 3.1-155 升级到 3.1-157
    • openssl 已从 1.4.6 升级到 2.0.0
    • parallel 已从 4.1.2 升级到 4.1.3
    • plyr 已从 1.8.6 升级到 1.8.7
    • processx 已从 3.5.2 升级到 3.5.3
    • r2d3 已从 0.2.5 升级到 0.2.6
    • Rcpp 已从 1.0.8 升级到 1.0.8.3
    • rlang 已从 1.0.1 升级到 1.0.2
    • rmarkdown 已从 2.11 升级到 2.13
    • RSQLite 已从 2.2.10 升级到 2.2.11
    • sass 已从 0.4.0 升级到 0.4.1
    • splines 已从 4.1.2 升级到 4.1.3
    • stats 已从 4.1.2 升级到 4.1.3
    • stats4 已从 4.1.2 升级到 4.1.3
    • tcltk 已从 4.1.2 升级到 4.1.3
    • tools 已从 4.1.2 升级到 4.1.3
    • utils 已从 4.1.2 升级到 4.1.3
    • uuid 已从版本 1.0-3 升级到 1.0-4
    • waldo 已从 0.3.1 升级到 0.4.0
    • withr 已从 2.4.3 升级到 2.5.0
    • xfun 已从 0.29 升级到 0.30
  • 升级了 Java 库:
    • com.h2database.h2 已从 1.4.195 升级到 2.1.210
    • org.apache.hadoop.hadoop-client-api 已从 3.3.1-databricks 升级到 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime 已从 3.3.1 升级到 3.3.2
    • org.rocksdb.rocksdbjni 已从 6.24.2 升级到 6.20.3

Apache Spark

Databricks Runtime 10.5 包含 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.4 LTS 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:

  • [SPARK-38354] [SC-97886] 还原“[SQL] 为随机哈希联接添加哈希探测指标”
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] 使用通用使用情况记录器检测 PySpark SQL 模块
  • [SPARK-38333] [SQL] PlanExpression 表达式应跳过执行程序中的 addExprTree 函数
  • [SPARK-38646] [PYTHON][10.x] 提取 Python 函数的特性
  • [SPARK-38674] [PHOTON] 向 PhotonSubqueryBroadcastExec 添加指标
  • [SPARK-38787] [SS] 将找到的值替换为剩余键列表中的非 null 元素,并从流-流联接的 keyWithIndexToValue 存储中的值中删除剩余的 null 元素
  • [SPARK-38446] [Core] 修复 Log4j 在 ExecutorClassLoader 和 FileDownloadCallback 之间导致的死锁
  • [SPARK-38705] [SQL] 在创建和删除函数命令中使用函数标识符
  • [SPARK-38684] [SS] 修复使用 RocksDB 状态存储提供程序的流-流外联接的正确性问题
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase 找不到输入不为 null 的偏移行
  • [SPARK-38204] [SS] 对于有状态运算符,使用 StatefulOpClusteredDistribution,并保持向后兼容性
  • [SPARK-38616] [SQL] 跟踪 Catalyst TreeNode 中的 SQL 查询文本
  • [SPARK-38600] [SQL] 在 unit 的 SQL 字符串中包含 TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] 从别名中的嵌套列传播元数据
  • [SPARK-38535] [SQL] 添加 datetimeUnit 枚举并在 TIMESTAMPADD/DIFF 中使用它
  • [SPARK-38415] [SQL] 更新 histogram_numeric (x, y) 结果类型,使 x == 输入类型
  • [SPARK-38148] [SQL] 如果存在静态分区修剪,则不添加动态分区修剪
  • [SPARK-37527] [SQL] 在 COVAR_POP 中编译 COVAR_SAMPCORRH2Dialet
  • [SPARK-38510] [SQL] 重试 ClassSymbol.selfType 以解决循环引用问题
  • [SPARK-38509] [SQL] 取消注册 TIMESTAMPADD/DIFF 函数并删除 DATE_ADD/DIFF
  • [SPARK-38504] [SQL] 无法将 TimestampNTZ 读取为 TimestampLTZ
  • [SPARK-38526] [SQL] 修复 RuntimeReplaceable 的误导性函数别名
  • [SPARK-38335] [SQL] 实现分析程序对 DEFAULT 列值的支持
  • [SPARK-38593] [SS] 将丢弃的延迟事件数量指标转移到 SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] 将 numRowsDroppedByWatermark 添加到 SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] 还原允许数字类型的 to_timestamp 的行为
  • [SPARK-38481] [SQL] 将 TIMESTAMPADD 中的 Java 溢出异常替换为 Spark 异常
  • [SPARK-37753] [SQL] 微调逻辑以降级 DynamicJoinSelection 中的广播哈希联接
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS、STARTSWITH、ENDSWITH 应同时支持字符串和二进制类型
  • [SPARK-38345] [SQL] 引入 SQL 函数 ARRAY_SIZE
  • [SPARK-38385] [SQL] 改进了 ParseException 中的空语句和 <EOF> 的错误消息
  • [SPARK-37614] [SQL] 支持 ANSI 聚合函数:regr_avgx & regr_avgy
  • [SPARK-38560] [SQL] 如果 SumCountAny 与 distinct 伴随,则无法执行部分聚合下推。
  • [SPARK-38360] [SQL][ss][PYTHON] 引入用于existsTreeNode消除重复代码模式的函数
  • [SPARK-38385] [SQL] 改善 ANTLR 的“输入不匹配”情况下的错误信息
  • [SPARK-38240] [SQL] 改善 RuntimeReplaceable 并添加有关新增函数的准则
  • [SPARK-38542] [SQL] UnsafeHashedRelation 应序列化 numKeys
  • [SPARK-38521] [SQL] 在 Scala 中将 partitionOverwriteMode 从字符串更改为变量
  • [SPARK-38558] [SQL] 删除 IntegerType 和 IntDecimal 之间不必要的强制转换
  • [SPARK-38489] [SQL] Aggregate.groupOnly 支持可折叠表达式
  • [SPARK-38410] [SQL] 支持指定用于重新平衡的初始分区编号
  • [SPARK-38107] [SQL] 在 python/pandas UDF 的编译错误中使用错误类
  • [SPARK-38354] [SQL] 为随机哈希联接添加哈希探测指标
  • [SPARK-38112] [SQL] 在日期/时间戳处理的执行错误中使用错误类
  • [SPARK-38361] [SQL] 将工厂方法 getConnection 添加到 JDBCDialect 中。
  • [SPARK-37865] [SQL] 修复联合重复数据删除正确性 bug
  • [SPARK-38298] [ SQL][测试] 修复 DataExpressionSuite、NullExpressionsSuite、StringExpressionsSuite、complexTypesSuite、ANSI 模式下的 CastSuite
  • [SPARK-38407] [SQL] ANSI 强制转换:放宽强制转换非 null 复杂类型的限制
  • [SPARK-38352] [SQL] 修复 ANSI 模式下的 DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite
  • [SPARK-38054] [SQL] 支持 JDBC v2 MySQL 方言中的列表命名空间
  • [SPARK-37960] [SQL] 用于在 DS v2 API 中表示 catalyst 表达式的新框架
  • [SPARK-38103] [SQL] 将转换的分析错误迁移到新的错误框架中
  • [SPARK-38519] [SQL] AQE 引发异常应遵循 SparkFatalException
  • [SPARK-38528] [SQL] 在 ExtractGenerator 中生成项目列表时急切地迭代聚合序列
  • [SPARK-38320] [SS] 修复使用键数据批量处理 flatMapGroupsWithState 超时的问题
  • [SPARK-38442] [SQL] 修复 ANSI 模式下的 ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite
  • [SPARK-38268] [SQL] 在 Abs/CheckOverflow 的 toString 方法中隐藏“failOnError”字段
  • [SPARK-37949] [SQL] 改善重新平衡统计数据估算
  • [SPARK-38450] [SQL] 修复 ANSI 模式下的 HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite
  • [SPARK-38501] [SQL] 修复 ANSI 模式下的 thriftserver 测试失败
  • [SPARK-37895] [SQL] 筛选带引号列的下推列
  • [SPARK-38449] [SQL] 当 ignoreIfExists=true 并且表存在时避免调用 createTable
  • [SPARK-38406] [SQL] 提高 ShufflePartitionsUtil createSkewPartitionSpecs 的性能
  • [SPARK-37947] [SQL] 从 Generate 运算符包含的 GeneratorOuter 表达式中提取生成器。
  • [SPARK-38309] [CORE] 修复 SHS shuffleTotalReadsshuffleTotalBlocks 百分位指标
  • [SPARK-38412] [SS] 修复 StateSchemaCompatibilityChecker 中来源和目标的交换顺序
  • [SPARK-38267] [ CORE][sql][SS] 用条件语句替换布尔表达式上的模式匹配项
  • [SPARK-38104] [SQL] 将窗口分析错误迁移到新的错误框架
  • [SPARK-38434] [SQL] 更正 CheckAnalysis.getDataTypesAreCompatibleFn 方法的语义
  • [SPARK-38033] [SS] 无法启动 SS 处理,因为 ...
  • [SPARK-38378] [SQL] 将 ANTLR 语法定义重构为单独的 Parser 和 Lexer 文件
  • [SPARK-37475] [SQL] 为 floor 和 ceil 函数添加 scale 参数
  • [SPARK-38411] [CORE] 当 UTF-8 读取事件日志时使用 doMergeApplicationListingInternal
  • [SPARK-36553] [ML] KMeans 避免计算大 K 的辅助统计信息
  • [SPARK-38393] [SQL] 清理已弃用的 GenSeq/GenMap
  • [SPARK-38389] [SQL] 为 DATEDIFF() 添加 DATE_DIFF()TIMESTAMPDIFF() 别名
  • [SPARK-33206] [CORE][3.2] 修复对小型索引文件的随机索引缓存权重计算
  • [SPARK-38353] [PYTHON] 为 Spark 上的 Pandas API 检测 enter 和 exit magic 方法
  • [SPARK-38323] [SQL][流式处理] 支持流式处理中的隐藏文件元数据
  • [SPARK-38138] [SQL] 具体化 QueryPlan 子查询
  • [SPARK-38094] 启用按字段 ID 匹配架构列名称
  • [SPARK-37923] [SQL] 为分析器内部的 BucketSpec 生成分区转换
  • [SPARK-38363] [SQL] 当 ANSI 模式打开时避免 Dataset.summary()/Dataset.describe() 发生运行时错误
  • [SPARK-38284] [SQL] 添加 TIMESTAMPDIFF() 函数
  • [SPARK-38251] [SQL] 在 ANSI 模式下将 Cast.toString 更改为“cast”而不是“ansi_cast”
  • [SPARK-38314] [SQL] 修复写入隐藏文件元数据后无法读取 parquet 文件的问题

请参阅 Databricks Runtime 10.5 维护更新

系统环境

  • 操作系统:Ubuntu 20.04.4 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.3
  • Delta Lake:1.2.1

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
Antergos Linux 2015.10(ISO 滚动) appdirs(应用程序目录) 1.4.4 argon2-cffi 20.1.0
异步生成器 1.10 属性 20.3.0 回调 0.2.0
bidict 0.21.4 漂白剂 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 骑行者 0.10.0 Cython 0.29.23
dbu-python 1.2.16 修饰器 5.0.6 defusedxml 0.7.1
distlib 0.3.4 Linux发行版信息 0.23ubuntu1 入口点 0.3
各个方面概述 1.0.0 文件锁 (filelock) 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils(IPython通用工具) 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Jupyter客户端 6.1.12 Jupyter核心组件 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 考拉 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
包装 20.9 熊猫 1.2.4 pandocfilters 1.4.3
帕尔索 0.7.0 替罪羊 0.5.1 pexpect 4.8.0
pickleshare(软件名称) 0.7.5 枕头 8.2.0 果仁 21.0.1
plotly 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 Python代码解析器 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent(持久性,类似于 persistent 的 Python 包) 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 韧性 8.0.1
完成 0.9.4 测试路径 0.4.4 threadpoolctl 2.1.0
龙卷风 6.1 特征 5.0.5 自动升级 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Web编码 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库是从 2022-03-28 的 Microsoft CRAN 快照中安装的。

图书馆 版本 图书馆 版本 图书馆 版本
askpass 1.1 assertthat 0.2.1 反向移植 1.4.1
基础映像 4.1.3 base64enc 0.1-3 一点 4.0.4
bit64 4.0.5 blob 1.2.2 启动 1.3-28
泡制 1.0-7 活力 1.1.3 扫帚 0.7.12
bslib 0.3.1 卡齐姆 1.0.6 调用方 3.7.0
光标 6.0-91 cellranger (细胞测序工具) 1.1.0 chron 2.3-56
7.3-20 cli 3.2.0 剪辑器 0.8.0
群集 2.1.3 codetools 0.2-18 色彩空间 2.0-3
commonmark 1.8.0 编译器 4.1.3 配置 0.3.1
cpp11 0.4.2 蜡笔 1.5.1 凭据 1.3.2
卷曲 4.3.2 数据表 (data.table) 1.14.2 数据集 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
devtools 2.4.3 diffobj 0.3.5 摘要 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略号 0.3.2 评价 0.15 fansi 1.0.3
颜色 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
猫咪 0.5.1 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 fs 1.5.2 未来 1.24.0
future.apply 1.8.1 漱口 1.2.0 泛型 0.1.2
格尔特 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 全局变量 0.14.0
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
高尔 1.0.0 图形 4.1.3 grDevices 4.1.3
网格 4.1.3 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 安全帽 0.2.0 避风港 2.4.3
高级 (assuming it means "higher" or "advanced") 0.9 赫姆斯 1.1.1 HTML工具 0.5.2
HTML小插件 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
迭代器 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 针织器 1.38 标记 0.4.2
以后 1.3.0 格子 0.20-45 熔岩 1.6.10
生命周期 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 质量 7.3-56
矩阵 1.4-1 记忆化 2.0.1 方法 4.1.3
mgcv 1.8-40 默剧 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞尔 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016年8月至1月1日 openssl(开放SSL) 2.0.0
平行 4.1.3 并行 1.30.0 支柱 1.7.0
pkgbuild (软件包构建工具) 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
普洛格 0.2.0 普莱尔 1.8.7 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 进度 1.2.2 progressr 0.10.0
承诺 1.2.0.1 原型 (proto) 1.0.0 代理 0.4-26
附注 (ps) 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 随机森林 (randomForest) 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr(阅读器) 2.1.2 readxl 1.3.1
食谱 0.2.0 重赛 1.0.1 rematch2 2.1.2
遥控器 2.4.2 可复现示例 (reprex) 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown(R语言动态文档生成工具) 2.13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.1
磅秤 1.1.1 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6 光亮 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 空间 7.3-11
样条曲线 4.1.3 sqldf(R环境中的数据库操作软件包) 0.4-11 SQUAREM 2021年1月
统计数据 4.1.3 统计数据4 4.1.3 stringi 1.7.6
stringr 1.4.0 生存 3.2-13 sys 3.4
tcltk 4.1.3 教学演示 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse(数据分析工具包) 1.3.1 时间日期 3043.102 tinytex 0.37
工具 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 实用工具 4.1.3 UUID(通用唯一识别码) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
瓦尔多 0.4.0 晶 须 0.4 withr 2.5.0
xfun 0.30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 压缩包 2.2.0

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (亚马逊 Kinesis 客户端) 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWS Java SDK CloudFront 1.12.189
com.amazonaws AWS-Java-SDK-云HSM 1.12.189
com.amazonaws AWS Java SDK 云搜索 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.12.189
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.189
com.amazonaws aws-java-sdk-datapipeline(AWS Java SDK 数据流水线) 1.12.189
com.amazonaws AWS Java SDK Direct Connect(直连) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.12.189
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws AWS Java SDK Glacier 1.12.189
com.amazonaws AWS Java SDK Glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.12.189
com.amazonaws aws-java-sdk-机器学习 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK 存储网关 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK支持 1.12.189
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 丁克 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload(公共文件上传) commons-fileupload(公共文件上传) 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging(日志库) commons-logging(日志库) 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib 基础线性代数程序库 (BLAS) 2.2.1
dev.ludovic.netlib lapack(线性代数软件包) 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics 度量核心 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics 指标-json 4.1.1
io.dropwizard.metrics 指标-JVM 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (简单客户端推送网关) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api (Java中的注解API) 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine 辉岩 4.30
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake Snowflake 数据导入 SDK 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc(远程调用协议库) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch(Java的SSH库) 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 箭头格式 2.0.0
org.apache.arrow 箭头-内存-核心 2.0.0
org.apache.arrow 箭头内存网状系统 2.0.0
org.apache.arrow 箭头向量 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text (通用文本库) 1.6
org.apache.curator 策展人客户端 2.13.0
org.apache.curator Curator框架 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop客户端API 3.3.2-databricks
org.apache.hadoop Hadoop 客户端运行时 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive 海蜂垫片 2.3.9
org.apache.hive 蜂巢存储API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (Hive适配器调度器) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
\ org.apache.orc orc-core 1.6.13
\ org.apache.orc orc-mapreduce 1.6.13
\ org.apache.orc orc-shims 1.6.13
org.apache.parquet Parquet列 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet Parquet 编码 1.12.0-databricks-0004
org.apache.parquet Parquet 格式结构 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 观众注释 0.5.0
org.apache.zookeeper 动物园管理员 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson jackson-mapper-asl(Jackson映射库-ASL) 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty Jetty-HTTP 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty 码头安全 9.4.43.v20210629
org.eclipse.jetty Jetty服务器 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Jetty 网页应用 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket API 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket 客户端 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-通用 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket服务器 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss 日志 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 垫片 0.9.14
.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1