Databricks Runtime 10.4 LTS

以下发行说明提供了由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.4 LTS 和 Databricks Runtime 10.4 LTS Photon 的相关信息。 Photon 处于公共预览版。 Databricks 于 2022 年 3 月发布了此版本。

注意

LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。

新增功能和改进

Iceberg 表到 Delta 表转换器(公共预览版)

“转换为 Delta”现在支持将 Iceberg 表转换为 Delta 表。 通过使用 Iceberg 本机元数据和文件清单执行此操作。 请参阅转换为 Delta Lake

现在默认会启用自动压缩回滚

此版本改进了当存在并发自动压缩事务时提交的 Delta Lake 写入操作的行为。 在此版本之前,由于对表的并发修改,此类写入操作经常会退出。 现在,即使存在并发自动压缩事务,写入操作也会成功。

现在默认会启用 Low Shuffle Merge

现在,MERGE INTO 命令始终使用新的 low-shuffle 实现。 对于大多数工作负载,此行为会显著提高 MERGE INTO 命令的性能。 过去用于启用此功能的配置设置现已删除。 请参阅 Azure Databricks 上的低随机合并

现在会为 UPDATEDELETE 保留插入顺序标记

UPDATEDELETE 命令现在会保留已更新或删除的文件的现有群集信息(包括 Z 顺序)。 此行为是一种尽力而为的方法,对于文件太小以致于这些文件在更新或删除期间合并的情况,这种方法并不适用。

HikariCP 现在是默认的 Hive 元存储连接池

与以前的 BoneCP 连接池实现相比,HikariCP 极大地提高了 Hive 元存储访问的稳定性,同时减少了需要维护的连接。 使用 Databricks Hive 元存储的任何 Databricks Runtime 群集上默认会启用 HikariCP(例如,未设置 spark.sql.hive.metastore.jars 时)。 还可以通过设置 spark.databricks.hive.metastore.client.pool.type 显式切换到其他连接池实现,例如 BoneCP。

Azure Synapse 连接器现在支持设置允许的拒绝行数上限

Azure Synapse 连接器现在支持 maxErrors 数据帧选项。 此更新使你能够配置在取消加载操作之前,读取和写入过程中允许的最大拒绝行数。 所有拒绝的行都将被忽略。 例如,如果 10 条记录中有 2 条出错,则只处理 8 条记录。

此选项直接映射到 PolyBase中 REJECT_VALUE 语句的 CREATE EXTERNAL TABLE 选项,以及 Azure Synapse 连接器的 MAXERRORS 命令的 COPY 选项。

默认情况下,maxErrors 值设置为 0:所有记录都应有效。

异步状态检查点现已正式发布

可以在具有较大状态更新的有状态流式处理查询中启用异步状态检查点。 这可以减少端到端的微批处理延迟。 此功能现已正式发布。 有关用于有状态查询的异步状态检查点

现在可以为 SQL 用户定义的函数指定参数默认值

创建 SQL 用户定义函数 (SQL UDF) 时,现在可以为 SQL UDF 的参数指定默认表达式。 然后,无需为这些形参提供实参即可调用 SQL UDF,Databricks 将填写这些形参的默认值。 请参阅 CREATE FUNCTION (SQL 和 Python)

新的 Spark SQL 函数

以下 Spark SQL 函数现已在此版本中提供:

  • try_multiply:返回 multiplier 乘以 multiplicand,或针对溢出返回 NULL
  • try_subtract:返回 expr2 减去 expr1 的差值,或针对溢出返回 NULL

高并发群集的新工作目录

在启用了表访问控制或凭据直通的高并发群集上,笔记本的当前工作目录现在是用户的主目录。 以前,工作目录是 /databricks/driver

Delta 表中的标识列支持现已发布

Delta Lake 现在支持标识列。 当你写入定义标识列的 Delta 表,并且你不提供该列的值时,Delta 现在会自动分配唯一且以统计方式增加或减少的值。 请参阅 CREATE TABLE [USING]

库升级

  • 升级了 Python 库:
    • filelock 已从 3.4.2 升级到 3.6.0
  • 升级了 R 库:
    • brew 已从 1.0-6 升级到 1.0-7
    • broom 已从 0.7.11 升级到 0.7.12
    • cli 已从 3.1.0 升级到 3.2.0
    • clipr 已从 0.7.1 升级到 0.8.0
    • colorspace 已从 2.0-2 升级到 2.0-3
    • crayon 已从 1.4.2 升级到 1.5.0
    • dplyr 已从 1.0.7 升级到 1.0.8
    • dtplyr 已从 1.2.0 升级到 1.2.1
    • evaluate 已从 0.14 升级到 0.15
    • foreach 已从 1.5.1 升级到 1.5.2
    • future 已从 1.23.0 升级到 1.24.0
    • generics 已从 0.1.1 升级到 0.1.2
    • glue 已从 1.6.0 升级到 1.6.1
    • gower 已从 0.2.2 升级到 1.0.0
    • iterators 已从 1.0.13 升级到 1.0.14
    • jsonlite 已从 1.7.3 升级到 1.8.0
    • magrittr 已从 2.0.1 升级到 2.0.2
    • mgcv 已从 1.8-38 升级到 1.8-39
    • pillar 已从 1.6.4 升级到 1.7.0
    • randomForest 已从 4.6-14 升级到 4.7-1
    • readr 已从 2.1.1 升级到 2.1.2
    • recipes 已从 0.1.17 升级到 0.2.0
    • rlang 已从 0.4.12 升级到 1.0.1
    • rpart 已从 4.1-15 升级到 4.1.16
    • RSQLite 已从 2.2.9 升级到 2.2.10
    • sparklyr 已从 1.7.4 升级到 1.7.5
    • testthat 已从 3.1.1 升级到 3.1.2
    • tidyr 已从 1.1.4 升级到 1.2.0
    • tidyselect 已从 1.1.1 升级到 1.1.2
    • tinytex 已从 0.36 升级到 0.37
    • yaml 已从 2.2.1 升级到 2.3.5
  • 升级了 Java 库:
    • io.delta.delta-sharing-spark_2.12 已从 0.3.0 升级到 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS 包括 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.3 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:

  • [SPARK-38322] [SQL] 支持查询阶段以带格式的解释模式显示运行时统计信息
  • [SPARK-38162] [SQL] 在正常模式和 AQE 优化器中优化一个行计划
  • [SPARK-38229] [SQL] 运行解析器时不应使用 visitReplaceTable 检查 temp/external/ifNotExists
  • [SPARK-34183] [SS] DataSource V2:微批执行中需要分布和排序
  • [SPARK-37932] [SQL] 在应用 DeduplicateRelations 之前等待解决缺少属性的问题
  • [SPARK-37904] [SQL] 改进优化器规则中的 RebalancePartitions
  • [SPARK-38236] [SQL][3.2][3.1] 按照 create/alter table 语句中的“new Path(locationUri).isAbsolute”检查表位置是否是绝对路径
  • [SPARK-38035] [SQL] 为内置 JDBC 方言添加 docker 测试
  • [SPARK-38042] [SQL] 确保 ScalaReflection.dataTypeFor 可对别名数组类型正常运行
  • [SPARK-38273] [SQL] decodeUnsafeRows 的迭代器应关闭基础输入流
  • [SPARK-38311] [SQL] 修复 ANSI 模式下的 DynamicPartitionPruning / BucketedReadSuite/ExpressionInfoSuite
  • [SPARK-38305] [CORE] 在调用 FileUtil 方法之前显式检查 unpack() 中是否存在源
  • [SPARK-38275] [SS] 将 writeBatch 的内存使用率包含为 RocksDB 状态存储的总内存使用率
  • [SPARK-38132] [SQL] 删除 NotPropagation 规则
  • [SPARK-38286] [SQL] 并集的 maxRows 和 maxRowsPerPartition 可能溢出
  • [SPARK-38306] [SQL] 修复 ANSI 模式下的 ExplainSuite、StatisticsCollectionSuite 和 StringFunctionsSuite
  • [SPARK-38281] [ SQL][测试] 修复 ANSI 模式下的 AnalysisSuite
  • [SPARK-38307] [ SQL][测试] 修复 ANSI 模式下的 ExpressionTypeCheckingSuite 和 CollectionExpressionsSuite
  • [SPARK-38300] [SQL] 使用 ByteStreams.toByteArray 简化 catalyst.util 中的 fileToStringresourceToBytes
  • [SPARK-38304] [SQL] 如果在 ANSI 模式下索引为 null,则 Elt() 应返回 null
  • [SPARK-38271] PoissonSampler 输出的行数可能超过 MaxRows
  • [SPARK-38297] [PYTHON] 在 POS 中的 DataFrame.to_numpy 处显式强制转换返回值
  • [SPARK-38295] [SQL][测试] 修复 ANSI 模式下的 ArithmeticExpressionSuite
  • [SPARK-38290] [SQL] 修复 ANSI 模式下的 JsonSuite 和 ParquetIOSuite
  • [SPARK-38299] [SQL] 清理已弃用的 StringBuilder.newBuilder
  • [SPARK-38060] [SQL] 在 JSON 阅读器中分析带引号的 NaN 和 Infinity 值时遵循 allowNonNumericNumbers
  • [SPARK-38276] [SQL] 在 ANSI 模式下添加已批准的 TPCDS 计划
  • [SPARK-38206] [SS] 在流与流的联接中比较联接键的数据类型时忽略可为 null 性
  • [SPARK-37290] [SQL] - 使用非确定性函数时的指数规划时间
  • [SPARK-38232] [SQL] 带格式解释不会在 AQE 中的查询阶段收集子查询
  • [SPARK-38283] [SQL] 在 ANSI 模式下测试无效的日期/时间分析
  • [SPARK-38140] [SQL] 由于时区差异,时间戳类型的说明列统计信息(最小值、最大值)与值不一致
  • [SPARK-38227] [ SQL][ss] 在时间窗口/会话窗口中应用嵌套列的严格可空性
  • [SPARK-38221] [SQL] 将复杂分组表达式移出聚合节点时立即迭代 groupingExpressions
  • [SPARK-38216] [SQL] 如果在创建 Hive 表时所有列都是分区列,则提前失败
  • [SPARK-38214] [SS] 当 windowDuration 是 slideDuration 的倍数时无需筛选窗口
  • [SPARK-38182] [SQL] 修复当推送的筛选器不包含任何引用时发生的 NoSuchElementException
  • [SPARK-38159] [SQL] 为隐藏的文件元数据添加新的 FileSourceMetadataAttribute
  • [SPARK-38123] [SQL] 统一使用 DataType 作为 targetTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [SQL] HAVING 子句中的 Func(错误数据类型) 应引发数据不匹配错误
  • [SPARK-35173] [ SQL][python] 添加多列添加支持
  • [SPARK-38177] [SQL] 修复优化器中错误的 transformExpressions
  • [SPARK-38228] [SQL] 在 ANSI 模式下,旧存储分配不应在出错时失败
  • [SPARK-38173] [SQL] 当 quotedRegexColumnNa… 时,无法正确识别带引号的列
  • [SPARK-38130] [SQL] 删除 array_sort 可排序条目检查
  • [SPARK-38199] [SQL] 删除 dataType 定义中指定的未使用的 IntervalColumnAccessor
  • [SPARK-38203] [SQL] 修复 ANSI 模式下的 SQLInsertTestSuite 和 SchemaPruningSuite
  • [SPARK-38163] [SQL] 在构造函数生成器时保留 SparkThrowable 的错误类
  • [SPARK-38157] [SQL] 在测试 timestampNTZ/timestamp.sql 和 SQLQueryTestSuite 中将 ANSI 显式设置为 false,以匹配预期的标准结果
  • [SPARK-38069] [ SQL][ss] 改进时间窗口的计算
  • [SPARK-38164] [SQL] 新的 SQL 函数:try_subtract 和 try_multiply
  • [SPARK-38176] [SQL] ANSI 模式:允许将字符串隐式强制转换为其他简单类型
  • [SPARK-37498] [PYTHON] 最终为 test_reuse_worker_of_parallelize_range 添加
  • [SPARK-38198] [SQL][3.2] 修复 QueryExecution.debug#toFile 在 explainMode 为 CodegenMode 时使用传入的 maxFields 的问题
  • [SPARK-38131] [SQL] 仅在面向用户的异常中使用错误类
  • [SPARK-37652] [SQL] 添加测试以通过并集优化有偏差的联接
  • [SPARK-37585] [SQL] 使用 TaskCompletionListener 更新 DataSourceRDD 中的 InputMetric
  • [SPARK-38113] [SQL] 在透视执行错误中使用错误类
  • [SPARK-38178] [SS] 更正逻辑以度量 RocksDB 的内存使用率
  • [SPARK-37969] [SQL] HiveFileFormat 应检查字段名称
  • [SPARK-37652] 撤消“[SQL] 添加测试以通过并集优化有偏差的联接”
  • [SPARK-38124] [SQL][ss] 引入 StatefulOpClusteredDistribution 并应用于流-流联接
  • [SPARK-38030] [SQL] 规范化不应去除 AttributeReference dataType 的可为 null 性
  • [SPARK-37907] [SQL] InvokeLike 支持 ConstantFolding
  • [SPARK-37891] [CORE] 添加 scalastyle 检查以禁用 scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] 更新 RelationConversions 的注释
  • [SPARK-37943] [SQL] 在分组编译错误中使用错误类
  • [SPARK-37652] [SQL] 添加测试以通过并集优化有偏差的联接
  • [SPARK-38056] [Web UI][3.2] 修复使用 LevelDB 时结构化流在历史服务器中不正常工作的问题
  • [SPARK-38144] [CORE] 删除未使用的 spark.storage.safetyFraction 配置
  • [SPARK-38120] [SQL] 修复当分区列名为大写且分区值中包含句点时 HiveExternalCatalog.listPartitions 出现的问题
  • [SPARK-38122] [Docs] 更新 DocSearch 的应用键
  • [SPARK-37479] [SQL] 迁移 DROP NAMESPACE 以默认使用 V2 命令
  • [SPARK-35703] [SQL] 放宽桶联接的约束并删除 HashClusteredDistribution
  • [SPARK-37983] [SQL] 从排序聚合中取消聚合生成时间指标
  • [SPARK-37915] [SQL] 如果并集之间存在项目,则合并并集
  • [SPARK-38105] [SQL] 在联接分析错误中使用错误类
  • [SPARK-38073] [PYTHON] 更新 atexit 函数以避免后期绑定出现问题
  • [SPARK-37941] [SQL] 在强制转换编译错误中使用错误类
  • [SPARK-37937] [SQL] 在横向联接分析错误中使用错误类
  • [SPARK-38100] [SQL] 删除 Decimal 中未使用的专用方法
  • [SPARK-37987] [SS] 修复重启查询时状态的不可靠测试 StreamingAggregationSuite.changing 架构
  • [SPARK-38003] [SQL] LookupFunctions 规则应仅从标量函数注册表中查找函数
  • [SPARK-38075] [SQL] 修复 hasNext 的进程输出迭代器中的 HiveScriptTransformationExec
  • [SPARK-37965] [SQL] 在 Orc 中读取/写入现有数据时删除检查字段名称
  • [SPARK-37922] [SQL] 如果我们可以安全地向上强制转换两个强制转换项,则合并为一个强制转换(适用于 dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] 完成随机排列后防止覆盖推送随机排列合并的文件
  • [SPARK-38011] [SQL] 删除 ParquetFileFormat 中重复且无用的配置
  • [SPARK-37929] [SQL] 支持 dropNamespace API 的级联模式
  • [SPARK-37931] [SQL] 根据需要将列名括在引号中
  • [SPARK-37990] [SQL] 支持 RowToColumnConverter 中的 TimestampNTZ
  • [SPARK-38001] [SQL] 将与不受支持的功能相关的错误类替换为 UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 支持部分聚合下推 AVG
  • [SPARK-37878] [SQL] 迁移 SHOW CREATE TABLE 以默认使用 v2 命令
  • [SPARK-37731] [SQL] 在分析器中重构和清理函数查找
  • [SPARK-37979] [SQL] 在 AES 函数中切换到更泛型的错误类
  • [SPARK-37867] [SQL] 编译内置 JDBC 方言的聚合函数
  • [SPARK-38028] [SQL] 从 ArrowColumnVector 公开 Arrow 向量
  • [SPARK-30062] [SQL] 将 IMMEDIATE 语句添加到 DB2 方言截断实现
  • [SPARK-36649] [SQL] 支持 Kafka 数据源上的 Trigger.AvailableNow
  • [SPARK-38018] [SQL] 修复 ColumnVectorUtils.populate 以正确处理 CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved 应处理完 ExecutorDecommission
  • [SPARK-38019] [CORE] 使 ExecutorMonitor.timedOutExecutors 具有确定性
  • [SPARK-37957] [SQL] 正确传递 V2 标量函数的确定性标志
  • [SPARK-37985] [SQL] 修复 SPARK-37578 的不可靠测试
  • [SPARK-37986] [SQL] 在基数排序中支持 TimestampNTZ
  • [SPARK-37967] [SQL] Literal.create 支持 ObjectType
  • [SPARK-37827] [SQL] 将一些内置表属性放入 V1Table.propertie 以适应 V2 命令
  • [SPARK-37963] [SQL] 在重命名 InMemoryCatalog 中的表后需要更新分区 URI
  • [SPARK-35442] [SQL] 支持通过聚合/并集传播空关系
  • [SPARK-37933] [SQL] 更改 V2ScanRelationPushDown 下推规则的遍历方法
  • [SPARK-37917] [SQL] 如果联接条件为空,则对左侧半/反联接的右侧实施下推限制 1
  • [SPARK-37959] [ML] 修复 KMeans 和 BiKMeans 中检查规范的 UT
  • [SPARK-37906] [SQL] spark- sql 不应将最后一条注释传递给后端
  • [SPARK-37627] [SQL] 在 BucketTransform 中添加排序列

维护更新

请参阅 Databricks Runtime 10.4 LTS 维护更新

系统环境

  • 操作系统:Ubuntu 20.04.4 LTS
    • 注意:这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行,该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安装的 Python 库

版本 版本 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
异步生成器 1.10 属性 20.3.0 回调 0.2.0
bidict 0.21.4 漂白剂 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 骑行者 0.10.0 Cython 0.29.23
dbu-python 1.2.16 装饰师 5.0.6 defusedxml 0.7.1
distlib 0.3.4 发行版信息 0.23ubuntu1 入口点 0.3
各个方面概述 1.0.0 文件锁 (filelock) 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils(IPython通用工具) 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Jupyter客户端 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 考拉 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
打包 20.9 熊猫 1.2.4 pandocfilters 1.4.3
帕尔索 0.7.0 替罪羊 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 枕头 8.2.0 果仁 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 Python代码解析器 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent(持久性,类似于 persistent 的 Python 包) 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 Python时区库pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 毅力 8.0.1
完成 0.9.4 测试路径 0.4.4 threadpoolctl 2.1.0
龙卷风 6.1 Traitlets 5.0.5 无人值守升级 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Web编码 0.5.1 轮子 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库安装自 2022-02-24 版本中的 Microsoft CRAN 快照。 快照不再可用。

版本 版本 版本
askpass 1.1 断言 0.2.1 向后移植 1.4.1
基础 4.1.2 base64enc 0.1-3 比特 4.0.4
bit64 4.0.5 团状物 1.2.2 启动 1.3-28
酿造 1.0-7 活力 1.1.3 扫帚 0.7.12
bslib 0.3.1 卡齐姆 1.0.6 callr 3.7.0
文本光标 6.0-90 cellranger (细胞测序工具) 1.1.0 chron 2.3-56
7.3-20 命令行接口 (CLI) 3.2.0 剪辑器 0.8.0
集群 2.1.2 codetools 0.2-18 色彩空间 2.0-3
commonmark 1.7 编译器 4.1.2 配置 0.3.1
cpp11 0.4.2 蜡笔 1.5.0 凭据 1.3.2
卷曲 4.3.2 data.table 1.14.2 数据集 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 摘要 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略 0.3.2 评估 0.15 fansi 1.0.2
颜色 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
猫用 0.5.1 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 fs 1.5.2 未来 1.24.0
future.apply 1.8.1 漱口 1.2.0 泛 型 0.1.2
格尔特 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 全局 0.14.0
胶水 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 图形 4.1.2 grDevices 4.1.2
“业务流程参数” 网格 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 安全帽 0.2.0 避风港 2.4.3
更高的 0.9 赫姆斯 1.1.1 HTML工具 0.5.2
HTML小插件 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
迭代器 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 针织器 1.37 标记 0.4.2
以后 1.3.0 格子 0.20-45 熔岩 1.6.10
生命周期 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 质量 7.3-55
矩阵 1.4-0 记忆化 2.0.1 方法 4.1.2
mgcv 1.8-39 默剧 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞尔 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016年8月至1月1日 openssl(开放SSL) 1.4.6
平行 4.1.2 并行地 1.30.0 柱子 1.7.0
pkgbuild (软件包构建工具) 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
普洛格 0.2.0 普莱尔 1.8.6 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进度 1.2.2 progressr 0.10.0
承诺 1.2.0.1 原型 (proto) 1.0.0 代理服务器 0.4-26
附注 (ps) 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 随机森林 (randomForest) 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr(阅读器) 2.1.2 readxl 1.3.1
食谱 0.2.0 重赛 1.0.1 rematch2 2.1.2
遥控器 2.4.2 可复现示例 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown(R语言动态文档生成工具) 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
R版本 2.1.1 rvest 1.0.2 sass 0.4.0
磅秤 1.1.1 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6 光亮 1.7.1 sourcetools 0.1.7
sparklyr(用于R的可视化和数据处理工具包) 1.7.5 SparkR 3.2.0 空间 7.3-11
样 条 4.1.2 sqldf 0.4-11 SQUAREM 2021年1月
统计数据 4.1.2 统计数据4 4.1.2 stringi 1.7.6
stringr 1.4.0 生存 3.2-13 sys 3.4
tcltk 4.1.2 教学演示 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse(数据分析工具包) 1.3.1 时间日期 3043.102 tinytex 0.37
工具 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 UUID(通用唯一识别码) 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
瓦尔多 0.3.1 晶 须 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 压缩包 2.2.0

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws AWS Java SDK CloudFront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws AWS Java SDK 云搜索 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.11.655
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws AWS Java SDK Direct Connect(直连) 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.11.655
com.amazonaws aws-java-sdk-弹性负载均衡 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws AWS Java SDK Glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws AWS Java 软件开发工具包 - KMS 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.11.655
com.amazonaws AWS-Java-SDK-机器学习 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws AWS Java SDK 存储网关 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws AWS Java SDK支持 1.11.655
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo遮阳 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations(Jackson注解库) 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 丁克 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging(日志库) commons-logging(日志库) 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api (Java中的注解API) 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine 辉岩 4.30
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc(远程调用协议库) 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 箭头格式 2.0.0
org.apache.arrow 箭头-内存-核心 2.0.0
org.apache.arrow 箭头内存网状系统 2.0.0
org.apache.arrow 箭头向量 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator 策展人-客户端 2.13.0
org.apache.curator Curator框架 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop客户端API 3.3.1-databricks
org.apache.hadoop Hadoop 客户端运行时 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive 海蜂垫片 2.3.9
org.apache.hive 蜂巢存储接口API 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-孵化中
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
\ org.apache.orc orc-core 1.6.12
\ org.apache.orc orc-mapreduce 1.6.12
\ org.apache.orc 兽人垫片 1.6.12
org.apache.parquet parquet列 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet Parquet 编码 1.12.0-databricks-0003
org.apache.parquet Apache Parquet 格式结构 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 受众注释 0.5.0
org.apache.zookeeper 动物园管理员 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty 码头安全 9.4.43.v20210629
org.eclipse.jetty jetty-server(Jetty服务器) 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty Jetty工具库 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty Jetty 网页应用 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket API 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket客户端 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-通用 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket服务器 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core Jersey框架服务器 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator 休眠验证器 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 垫片 0.9.14
.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1