Compartir a través de

Databricks Runtime 10.4 LTS (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关支持结束日期,请参阅 支持结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性

以下发行说明提供有关由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.4 和 Databricks Runtime 10.4 Photon 的信息。 Photon公共预览版提供。 Databricks 于 2022 年 3 月发布了此版本。

小窍门

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。

新增功能和改进

Apache Iceberg 到 Delta 表转换器 (公共预览版)

转换为 Delta 现在支持将 Apache Iceberg 表转换为就地的 Delta 表。 它通过使用 Iceberg 本机元数据和文件清单来执行此作。 请参阅 “转换为 Delta Lake”。

自动压缩回滚现在默认启用

此版本改进了在并发自动压缩事务时提交的 Delta Lake 写入行为。 在此版本之前,由于表的并发修改,此类写入通常会退出。 即使存在并发自动压缩事务,写入作现在也会成功。

低随机合并现在默认启用

MERGE INTO 命令现在始终使用新的低随机实现。 对于大多数工作负荷,此行为可显著提高命令的性能 MERGE INTO 。 以前用于启用此功能的配置设置已被删除。 请参阅 Azure Databricks 上的低随机合并

插入顺序标记现在保留 s UPDATEDELETEs

现在,命令UPDATEDELETE会保留更新或删除的文件的现有聚类分析信息(包括 Z 排序)。 此行为是一种最佳方法,此方法不适用于在更新或删除期间合并这些文件的小情况。

HikariCP 现在是默认 Hive 元存储连接池

与以前的 BoneCP 连接池实现相比,HikariCP 为 Hive 元存储访问带来了许多稳定性改进,同时保持了更少的连接。 默认情况下,HikariCP 在使用 Databricks Hive 元存储的任何 Databricks Runtime 群集上启用(例如,未设置时间 spark.sql.hive.metastore.jars )。 还可以通过设置 spark.databricks.hive.metastore.client.pool.type显式切换到其他连接池实现,例如 BoneCP。

Azure Synapse 连接器现在允许设置允许的最大拒绝行数

Azure Synapse 连接器现在支持 maxErrors DataFrame 选项。 通过此更新,可以在取消加载作之前配置读取和写入期间允许的最大拒绝行数。 将忽略所有拒绝的行。 例如,如果十分之二的记录有错误,则只处理八条记录。

此选项直接映射到 REJECT_VALUE PolyBase 中的语句选项 CREATE EXTERNAL TABLE ,并映射到 MAXERRORS Azure Synapse 连接器 COPY 命令的选项。

默认情况下, maxErrors 值设置为 0:所有记录应有效。

异步状态检查点现已正式发布

可以使用大型状态更新在有状态流式处理查询中启用异步状态检查点。 这可以减少端到端微批处理延迟。 此功能现已正式发布。 有关 有状态查询,请参阅异步状态检查点

现在可以为 SQL 用户定义函数指定参数默认值

创建 SQL 用户定义的函数(SQL UDF)时,现在可以为 SQL UDF 的参数指定默认表达式。 然后,无需为这些参数提供参数即可调用 SQL UDF,Databricks 将填充这些参数的默认值。 请参阅 CREATE FUNCTION (SQL 和 Python)。

新的 Spark SQL 函数

此版本现在提供以下 Spark SQL 函数:

  • try_multiply:返回 multiplier 乘以 multiplicandNULL 溢出。
  • try_subtract:返回从expr1溢出或NULL溢出减expr2法。

高并发群集的新工作目录

在启用了表访问控制或凭据传递的高并发群集上,笔记本的当前工作目录现在是用户的主目录。 以前,工作目录为 /databricks/driver.

Delta 表中的标识列支持现已正式发布

Delta Lake 现在支持标识列。 当你写入定义标识列的 Delta 表,并且你不提供该列的值时,Delta 现在会自动分配唯一且以统计方式递增或减少值。 请参阅 CREATE TABLE [USING]

库升级

  • 升级后的 Python 库:
    • filelock 从 3.4.2 到 3.6.0
  • 升级后的 R 库:
    • 从 1.0-6 酿造到 1.0-7
    • 从 0.7.11 到 0.7.12
    • cli 从 3.1.0 到 3.2.0
    • 从 0.7.1 到 0.8.0 的剪辑器
    • colorspace 从 2.0-2 到 2.0-3
    • crayon 从 1.4.2 到 1.5.0
    • dplyr 从 1.0.7 到 1.0.8
    • dtplyr 从 1.2.0 到 1.2.1
    • 从 0.14 评估为 0.15
    • foreach 从 1.5.1 到 1.5.2
    • future 从 1.23.0 到 1.24.0
    • 从 0.1.1 到 0.1.2 的泛型
    • 粘附从 1.6.0 到 1.6.1
    • gower 从 0.2.2 到 1.0.0
    • 迭代器从 1.0.13 到 1.0.14
    • 从 1.7.3 到 1.8.0 的 jsonlite
    • magrittr 从 2.0.1 到 2.0.2
    • mgcv 从 1.8-38 到 1.8-39
    • 从 1.6.4 到 1.7.0 的支柱
    • randomForest 从 4.6-14 到 4.7-1
    • readr 从 2.1.1 到 2.1.2
    • 食谱从 0.1.17 到 0.2.0
    • rlang 从 0.4.12 到 1.0.1
    • rpart 从 4.1-15 到 4.1.16
    • RSQLite 从 2.2.9 到 2.2.10
    • sparklyr 从 1.7.4 到 1.7.5
    • testthat 从 3.1.1 到 3.1.2
    • 从 1.1.4 到 1.2.0 的整理器
    • 从 1.1.1 到 1.1.2 的 tidyselect
    • tinytex 从 0.36 到 0.37
    • yaml 从 2.2.1 到 2.3.5
  • 升级后的 Java 库:
    • io.delta.delta-sharing-spark_2.12 从 0.3.0 到 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS 包括 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.3(EoS)中包含的所有 Spark 修复和改进,以及对 Spark 进行了以下其他 bug 修复和改进:

  • [SPARK-38322] [ SQL] 支持查询阶段以格式化解释模式显示运行时统计信息
  • [SPARK-38162] [ SQL] 在正常和 AQE 优化器中优化一行计划
  • [SPARK-38229] [SQL] 分析器时不应使用 visitReplaceTable 检查 temp/external/ifNotExists
  • [SPARK-34183] [ SS] DataSource V2:在微批处理执行中所需的分发和排序
  • [SPARK-37932] [ SQL]在应用 DeduplicateRelations 之前等待解析缺少的属性
  • [SPARK-37904] [SQL] 在优化器规则中改进 RebalancePartitions
  • [SPARK-38236] [ SQL][3.2][3.1] 在 create/alter 表中检查表位置是否为绝对路径(locationUri)。isAbsolute”。
  • [SPARK-38035] [SQL] 为内置 JDBC 方言添加 docker 测试
  • [SPARK-38042] [SQL] 确保 ScalaReflection.dataTypeFor 适用于别名数组类型
  • [SPARK-38273] [SQL]decodeUnsafeRows的迭代器应关闭基础输入流
  • [SPARK-38311] [SQL] 修复 ANSI 模式下的 DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite
  • [SPARK-38305] [CORE] 在调用 FileUtil 方法之前显式检查源是否存在于 unpack()
  • [SPARK-38275] [SS] 将 writeBatch 的内存使用量作为 RocksDB 状态存储的总内存使用量包括
  • [SPARK-38132] [SQL] 删除 NotPropagation 规则
  • [SPARK-38286] [ SQL] Union 的 maxRows 和 maxRowsPerPartition 可能会溢出
  • [SPARK-38306] [SQL] 修复 ANSI 模式下的 ExplainSuite、StatisticsCollectionSuite 和 StringFunctionsSuite
  • [SPARK-38281] [ SQL][测试] 修复 ANSI 模式下的 AnalysisSuite
  • [SPARK-38307] [ SQL][测试] 修复 ANSI 模式下的 ExpressionTypeCheckingSuite 和 CollectionExpressionsSuite
  • [SPARK-38300] [SQL] 用于 ByteStreams.toByteArray 简化 fileToStringresourceToBytes 使用 catalyst.util
  • [SPARK-38304] [ SQL] 如果 ANSI 模式下的索引为 null,则 Elt() 应返回 null
  • [SPARK-38271] PoissonSampler 可能输出的行数可能多于 MaxRows
  • [SPARK-38297] [PYTHON] 在 POS 中的DataFrame.to_numpy显式强制转换返回值
  • [SPARK-38295] [ SQL][测试] 修复 ANSI 模式下的算术表达式pressionSuite
  • [SPARK-38290] [ SQL] 修复 ANSI 模式下的 JsonSuite 和 ParquetIOSuite
  • [SPARK-38299] [SQL] 清理弃用的使用情况 StringBuilder.newBuilder
  • [SPARK-38060] [SQL] 在 JSON 读取器中分析带引号的 NaN 和 Infinity 值时尊重 allowNonNumericNumbers
  • [SPARK-38276] [ SQL] 在 ANSI 模式下添加批准的 TPCDS 计划
  • [SPARK-38206] [ SS] 在流联接上比较联接键的数据类型时忽略可为 null 性
  • [SPARK-37290] [ SQL] - 非确定性函数的指数规划时间
  • [SPARK-38232] [ SQL] 说明格式化不会收集 AQE 中的查询阶段下的子查询
  • [SPARK-38283] [SQL] 在 ANSI 模式下测试无效的日期/时间分析
  • [SPARK-38140] [SQL] 时间戳类型的 Desc 列统计信息(最小值、最大值)与时区差异导致的值不一致
  • [SPARK-38227] [ SQL][ss] 在时间窗口/会话窗口中应用嵌套列的严格可为 null 性
  • [SPARK-38221] [ SQL] 在将复杂分组表达式移出聚合节点时,急切地循环访问 groupingExpressions
  • [SPARK-38216] [SQL] 如果在创建 Hive 表时所有列都已分区列,则提前失败
  • [SPARK-38214] [SS]当 windowDuration 是 slideDuration 的倍数时无需筛选窗口
  • [SPARK-38182] [ SQL] 如果推送的筛选器不包含任何引用,则修复 NoSuchElementException
  • [SPARK-38159] [ SQL] 为隐藏的文件元数据添加新的 FileSourceMetadataAttribute
  • [SPARK-38123] [SQL] 从此统targetType一使用DataTypeQueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [ SQL] HAVING 子句中的 Func(错误数据类型)应引发数据不匹配错误
  • [SPARK-35173] [ SQL][python] 添加多列添加支持
  • [SPARK-38177] [SQL] 修复优化器中的错误 transformExpressions
  • [SPARK-38228] [SQL] 旧存储分配不应在 ANSI 模式下出错时失败
  • [SPARK-38173] [SQL] 引用列在 quotedRegexColumnNa...
  • [SPARK-38130] [SQL] 删除array_sort可排序条目检查
  • [SPARK-38199] [SQL] 删除定义中指定的未使用的dataTypeIntervalColumnAccessor
  • [SPARK-38203] [SQL] 修复 ANSI 模式下的 SQLInsertTestSuite 和 SchemaPruningSuite
  • [SPARK-38163] [SQL] 在构造函数生成器时保留错误类SparkThrowable
  • [SPARK-38157] [ SQL] 在测试 timestampNTZ/timestamp.sql 和 SQLQueryTestSuite 中显式将 ANSI 设置为 false,以匹配预期的黄金结果
  • [SPARK-38069] [ SQL][ss] 改进时间窗口的计算
  • [SPARK-38164] [ SQL] 新的 SQL 函数:try_subtract和try_multiply
  • [SPARK-38176] [ SQL] ANSI 模式:允许将字符串隐式转换为其他简单类型
  • [SPARK-37498] [PYTHON] 最终添加test_reuse_worker_of_parallelize_range
  • [SPARK-38198] [ SQL][3.2] 修复 QueryExecution.debug#toFile 时使用 explainMode 为 CodegenMode 时传入的 maxFields
  • [SPARK-38131] [ SQL] 仅在面向用户的异常中使用错误类
  • [SPARK-37652] [ SQL] 通过联合添加优化倾斜联接的测试
  • [SPARK-37585] [SQL] 使用 TaskCompletionListener 更新 DataSourceRDD 中的 InputMetric
  • [SPARK-38113] [SQL] 在透视的执行错误中使用错误类
  • [SPARK-38178] [SS] 更正逻辑以度量 RocksDB 的内存使用情况
  • [SPARK-37969] [SQL] HiveFileFormat 应检查字段名称
  • [SPARK-37652] 还原“[SQL]通过联合为优化倾斜联接添加测试”
  • [SPARK-38124] [ SQL][ss] 引入 StatefulOpClusteredDistribution 并应用于流联接
  • [SPARK-38030] [SQL] 规范化不应删除 AttributeReference dataType 的可为 null 性
  • [SPARK-37907] [SQL] InvokeLike 支持 ConstantFolding
  • [SPARK-37891] [CORE] 添加 scalastyle 检查以禁用 scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] 更新 RelationConversions 的注释
  • [SPARK-37943] [SQL] 在分组的编译错误中使用错误类
  • [SPARK-37652] [SQL]通过联合添加优化倾斜联接的测试
  • [SPARK-38056] [ Web UI][3.2] 修复了使用 LevelDB 时结构化流在历史记录服务器中无法正常工作的问题
  • [SPARK-38144] [CORE] 删除未使用的 spark.storage.safetyFraction 配置
  • [SPARK-38120] [ SQL] 修复分区列名称为大写和分区值中的点时 HiveExternalCatalog.listPartitions
  • [SPARK-38122] [Docs] 更新 DocSearch 的应用密钥
  • [SPARK-37479] [SQL] 默认情况下迁移 DROP NAMESPACE 以使用 V2 命令
  • [SPARK-35703] [SQL] 放宽存储桶联接的约束并删除 HashClusteredDistribution
  • [SPARK-37983] [SQL] 从排序聚合中退出 agg 生成时间指标
  • [SPARK-37915] [ SQL] 如果它们之间存在项目,则合并联合
  • [SPARK-38105] [ SQL] 在联接分析错误中使用错误类
  • [SPARK-38073] [ PYTHON] 更新 atexit 函数以避免后期绑定问题
  • [SPARK-37941] [SQL] 在强制转换的编译错误中使用错误类
  • [SPARK-37937] [SQL] 在横向联接分析错误中使用错误类
  • [SPARK-38100] [SQL] 删除未使用的专用方法 Decimal
  • [SPARK-37987] [ SS] 修复重启查询时异常测试 StreamingAggregationSuite.changing 状态架构
  • [SPARK-38003] [SQL] LookupFunctions 规则应仅查找标量函数注册表中的函数
  • [SPARK-38075] [SQL] 修复hasNextHiveScriptTransformationExec了进程输出迭代器
  • [SPARK-37965] [SQL] 在 Orc 中读取/写入现有数据时删除检查字段名称
  • [SPARK-37922] [ SQL] 如果我们可以安全地向上转换两个强制转换(对于 dbr-branch-10.x),合并为一个强制转换
  • [SPARK-37675] [ SPARK-37793] 阻止在完成混排后覆盖推送随机合并文件
  • [SPARK-38011] [SQL] 删除 ParquetFileFormat 中的重复和无用配置
  • [SPARK-37929] [SQL] 支持 dropNamespace API 级联模式
  • [SPARK-37931] [SQL] 根据需要引用列名
  • [SPARK-37990] [SQL] 支持 RowToColumnConverter 中的 TimestampNTZ
  • [SPARK-38001] [ SQL] 通过 替换与不支持的功能相关的错误类 UNSUPPORTED_FEATURE
  • [SPARK-37839] [ SQL] DS V2 支持部分聚合下推 AVG
  • [SPARK-37878] [SQL] 将 SHOW CREATE TABLE 迁移到默认使用 v2 命令
  • [SPARK-37731] [SQL] 在分析器中重构和清理函数查找
  • [SPARK-37979] [SQL] 切换到 AES 函数中的更多泛型错误类
  • [SPARK-37867] [SQL] 编译内置 JDBC 方言的聚合函数
  • [SPARK-38028] [SQL] 从 ArrowColumnVector 公开箭头向量
  • [SPARK-30062] [SQL] 将 IMMEDIATE 语句添加到 DB2 方言截断实现
  • [SPARK-36649] [SQL] 对 Kafka 数据源的支持Trigger.AvailableNow
  • [SPARK-38018] [ SQL] 修复 ColumnVectorUtils.populate 以正确处理 CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved 应按已完成处理ExecutorDecommission
  • [SPARK-38019] [CORE] 确定 ExecutorMonitor.timedOutExecutors
  • [SPARK-37957] [ SQL] 正确传递 V2 标量函数的确定性标志
  • [SPARK-37985] [SQL] 修复 SPARK-37578 的浮点测试
  • [SPARK-37986] [ SQL] 在弧度排序中支持 TimestampNTZ
  • [SPARK-37967] [SQL] Literal.create 支持 ObjectType
  • [SPARK-37827] [SQL] 将某些内置表属性放入 V1Table.propertie 以适应 V2 命令
  • [SPARK-37963] [SQL] 在重命名 InMemoryCatalog 中的表后需要更新分区 URI
  • [SPARK-35442] [ SQL] 支持通过聚合/联合传播空关系
  • [SPARK-37933] [SQL] 更改 V2ScanRelationPushDown 下推规则的遍历方法
  • [SPARK-37917] [SQL] 如果联接条件为空,则向左半/反联接的右侧下推限制 1
  • [SPARK-37959] [ML] 修复 KMeans 和 BiKMeans 中的检查规范的 UT
  • [SPARK-37906] [SQL] spark-sql 不应将最后一条注释传递给后端
  • [SPARK-37627] [SQL] 在 BucketTransform 中添加排序列

维护更新

请参阅 Databricks Runtime 10.4 LTS 维护更新

系统环境

  • 作系统:Ubuntu 20.04.4 LTS
    • 注意:这是 Databricks Runtime 容器使用的 Ubuntu 版本。 DBR 容器在云提供程序的虚拟机上运行,该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安装的 Python 库

版本 版本 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 属性 20.3.0 回调 0.2.0
bidict 0.21.4 漂白剂 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 骑行者 0.10.0 Cython 0.29.23
dbu-python 1.2.16 修饰器 5.0.6 defusedxml 0.7.1
distlib 0.3.4 发行版信息 0.23ubuntu1 入口点 0.3
各个方面概述 1.0.0 文件锁 (filelock) 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils(IPython通用工具) 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Jupyter客户端 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 考拉 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
打包 20.9 熊猫 1.2.4 pandocfilters 1.4.3
帕尔索 0.7.0 替罪羊 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 枕头 8.2.0 果仁 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 Python代码解析器 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent(持久性,类似于 persistent 的 Python 包) 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 毅力 8.0.1
完成 0.9.4 测试路径 0.4.4 threadpoolctl 2.1.0
龙卷风 6.1 Traitlets 5.0.5 无人参与升级 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Web编码 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库安装在 2022-02-24 上的 Microsoft CRAN 快照中。 快照不再可用。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
基础映像 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 靴子 1.3-28
酿造 1.0-7 brio 1.1.3 扫帚 0.7.12
bslib 0.3.1 cachem 1.0.6 调用方 3.7.0
插入符号 6.0-90 cellranger 1.1.0 chron 2.3-56
7.3-20 cli 3.2.0 剪辑器 0.8.0
群集 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 编译器 4.1.2 config 0.3.1
cpp11 0.4.2 蜡笔 1.5.0 凭据 1.3.2
卷曲 4.3.2 data.table 1.14.2 数据集 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 摘要 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略号 0.3.2 评估 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 外国 0.8-82
伪造 0.2.0 fs 1.5.2 未来 1.24.0
future.apply 1.8.1 漱口 1.2.0 泛型 0.1.2
格特 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 图形 4.1.2 grDevices 4.1.2
网格 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 避风港 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
迭代器 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 针织器 1.37 标签 0.4.2
1.3.0 格子 0.20-45 熔岩 1.6.10
生命周期 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 质量 7.3-55
矩阵 1.4-0 备注 2.0.1 方法 4.1.2
mgcv 1.8-39 哑剧 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞尔 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
平行 4.1.2 并行 1.30.0 支柱 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进展 1.2.2 progressr 0.10.0
承诺 1.2.0.1 原始 1.0.0 代理 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
食谱 0.2.0 1.0.1 rematch2 2.1.2
遥控器 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
尺度 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
形状 1.4.6 闪亮 1.7.1 sourcetools 0.1.7
sparklyr(用于R的可视化和数据处理工具包) 1.7.5 SparkR 3.2.0 空间 7.3-11
样 条 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
统计 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 生存 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
工具 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
瓦尔多 0.3.1 晶 须 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

已安装的 Java 和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-python-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.咖啡因 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 小 叮当 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0 孵化
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket客户端 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 附注 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 垫片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 闲置 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1