Databricks Runtime 10.4 LTS （EoS）

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供有关由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.4 和 Databricks Runtime 10.4 Photon 的信息。 Photon 处于 公共预览阶段。 Databricks 于 2022 年 3 月发布了此版本。

新增功能和改进

Apache Iceberg 到 Delta 表转换器 （公共预览版）

转换为 Delta 现在支持将 Apache Iceberg 表直接转换为 Delta 表。 它通过使用 Iceberg 原生元数据和文件清单来实现。 请参阅 “转换为 Delta Lake”。

自动压缩回滚现在默认启用

此版本改进了在并发自动压缩事务时提交的 Delta Lake 写入行为。 在此版本之前，由于对表的并发修改，此类写操作经常会失败。 即使存在并发的自动压缩事务，写操作仍然会成功。

低随机合并现在默认启用

该 MERGE INTO 命令现在始终使用新的低随机实现。 对于大多数工作负荷，此行为可显著提高命令的性能 MERGE INTO 。 以前用于启用此功能的配置设置已被删除。 请参阅 Azure Databricks 上的低随机合并。

插入顺序标签现在保留在UPDATE和DELETE中。

现在，命令UPDATEDELETE会保留更新或删除的文件的现有聚类分析信息（包括 Z 排序）。 这种行为是一种尽力而为的方法，当文件小到在更新或删除时会被合并时，该方法不适用。

HikariCP 现在是默认 Hive 元存储连接池

与以前的 BoneCP 连接池实现相比，HikariCP 为 Hive 元存储访问带来了许多稳定性改进，同时保持了更少的连接。 默认情况下，HikariCP 在任何使用 Databricks Hive metastore 的 Databricks Runtime 群集上启用（例如，未设置 spark.sql.hive.metastore.jars 时）。 还可以通过设置 spark.databricks.hive.metastore.client.pool.type显式切换到其他连接池实现，例如 BoneCP。

Azure Synapse 连接器现在允许设置允许的最大拒绝行数

Azure Synapse 连接器现在支持 maxErrors DataFrame 选项。 通过此更新，您可以配置在加载操作被取消之前读取和写入过程中允许的最大拒绝行数。 将忽略所有拒绝的行。 例如，如果十分之二的记录有错误，则只处理八条记录。

此选项直接映射到 PolyBase 语句的 REJECT_VALUE 选项，并映射到 Azure Synapse 连接器命令的 MAXERRORS 选项。

默认情况下， maxErrors 值设置为 0：所有记录应有效。

异步状态检查点现已正式发布

在有状态流式处理查询中，可以在处理大型状态更新时启用异步状态检查点。 这可以减少端到端微批处理延迟。 此功能现已正式发布。 请参阅 针对有状态查询的异步状态检查点。

现在可以为 SQL 用户定义函数指定参数默认值

创建 SQL 用户定义的函数（SQL UDF）时，现在可以为 SQL UDF 的参数指定默认表达式。 然后，无需为这些参数提供参数即可调用 SQL UDF，Databricks 将填充这些参数的默认值。 请参阅 CREATE FUNCTION （SQL 和 Python）。

新的 Spark SQL 函数

此版本现在提供以下 Spark SQL 函数：

  • try_multiply：返回 multiplier 乘以 multiplicand，若溢出则返回 NULL。
  • try_subtract：返回expr1减去expr2的结果，如果溢出则返回NULL。

高并发群集的新工作目录

在启用了表访问控制或凭据传递的高并发群集上，笔记本的当前工作目录现在是用户的主目录。 以前，工作目录为 /databricks/driver.

Delta 表中的标识列支持现已正式发布

Delta Lake 现在支持标识列。 当你写入定义标识列的 Delta 表，并且你不提供该列的值时，Delta 现在会自动分配唯一且以统计方式递增或减少值。 请参阅 CREATE TABLE [USING]。

库升级

  • 升级后的 Python 库：
    • filelock 从 3.4.2 到 3.6.0
  • 升级后的 R 库：
    • 将 brew 从 1.0-6 升级到 1.0-7
    • broom 从 0.7.11 到 0.7.12
    • cli 从 3.1.0 到 3.2.0
    • clipr 从 0.7.1 升级到 0.8.0
    • colorspace 从 2.0-2 到 2.0-3
    • crayon 从 1.4.2 到 1.5.0
    • dplyr 从 1.0.7 到 1.0.8
    • dtplyr 从 1.2.0 到 1.2.1
    • 评估从 0.14 到 0.15
    • foreach 从 1.5.1 到 1.5.2
    • future 从 1.23.0 到 1.24.0
    • 从 0.1.1 到 0.1.2 的泛型
    • 粘附从 1.6.0 到 1.6.1
    • gower 从 0.2.2 到 1.0.0
    • 迭代器从 1.0.13 到 1.0.14
    • 从 1.7.3 到 1.8.0 的 jsonlite
    • magrittr 从 2.0.1 到 2.0.2
    • mgcv 从 1.8-38 到 1.8-39
    • 从 1.6.4 到 1.7.0 的支柱
    • randomForest 从 4.6-14 到 4.7-1
    • readr 从版本 2.1.1 升级到 2.1.2
    • 食谱从 0.1.17 到 0.2.0
    • rlang 从 0.4.12 到 1.0.1
    • rpart 从 4.1-15 到 4.1.16
    • RSQLite 从 2.2.9 到 2.2.10
    • sparklyr 版本从 1.7.4 更新到 1.7.5
    • testthat 从 3.1.1 到 3.1.2
    • tidyr 从 1.1.4 升级到 1.2.0
    • tidyselect 从 1.1.1 到 1.1.2
    • tinytex 从 0.36 到 0.37
    • yaml 版本从 2.2.1 更新到 2.3.5
  • 升级后的 Java 库：
    • io.delta.delta-sharing-spark_2.12 从 0.3.0 到 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS 包括 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.3 （EoL）中包含的所有 Spark 修复和改进，以及对 Spark 进行了以下其他 bug 修复和改进：

  • [SPARK-38322] [ SQL] 支持查询阶段以格式化解释模式显示运行时统计信息
  • [SPARK-38162] [ SQL] 在正常和 AQE 优化器中优化单行计划
  • [SPARK-38229] [SQL] 在解析时，不应通过 visitReplaceTable 检查 temp/external/ifNotExists 选项。
  • [SPARK-34183] [ SS] DataSource V2：在微批处理执行中所需的分发和排序
  • [SPARK-37932] [ SQL]在应用 DeduplicateRelations 之前等待解析缺少的属性
  • [SPARK-37904] [SQL] 在优化器规则中改进 RebalancePartitions
  • [SPARK-38236] [SQL][3.2][3.1] 在创建/修改表时，通过“new Path(locationUri).isAbsolute”检查表位置是否为绝对路径。
  • [SPARK-38035] [SQL] 为内置 JDBC 方言添加 docker 测试
  • [SPARK-38042] [SQL] 确保 ScalaReflection.dataTypeFor 适用于别名数组类型
  • [SPARK-38273] [SQL]decodeUnsafeRows的迭代器应关闭基础输入流
  • [SPARK-38311] [SQL] 修复 ANSI 模式下的 DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite
  • [SPARK-38305] [CORE] 在调用 FileUtil 方法之前显式检查源是否存在于 unpack（）
  • [SPARK-38275] [SS] 将 writeBatch 的内存使用量计入 RocksDB 状态存储的总内存使用量
  • [SPARK-38132] [SQL] 删除 NotPropagation 规则
  • [SPARK-38286] [ SQL] Union 的 maxRows 和 maxRowsPerPartition 可能发生溢出
  • [SPARK-38306] [SQL] 修复 ANSI 模式下的 ExplainSuite、StatisticsCollectionSuite 和 StringFunctionsSuite
  • [SPARK-38281] [ SQL][测试] 修复 ANSI 模式下的 AnalysisSuite
  • [SPARK-38307] [ SQL][测试] 修复 ANSI 模式下的 ExpressionTypeCheckingSuite 和 CollectionExpressionsSuite
  • [SPARK-38300] [SQL] 使用 ByteStreams.toByteArray 在 catalyst.util 中简化 fileToString 和 resourceToBytes
  • [SPARK-38304] [ SQL] 如果 ANSI 模式下的索引为 null，则 Elt（） 应返回 null
  • [SPARK-38271] PoissonSampler 输出的行数可能会超过 MaxRows
  • [SPARK-38297] [PYTHON] 在 DataFrame.to_numpy 中对返回值显式地进行类型转换（POS）
  • [SPARK-38295] [SQL][测试] 修复 ANSI 模式下的算术表达式套件
  • [SPARK-38290] [ SQL] 修复 ANSI 模式下的 JsonSuite 和 ParquetIOSuite
  • [SPARK-38299] [SQL] 去除过时用法 StringBuilder.newBuilder
  • [SPARK-38060] [SQL] 在 JSON 读取器中解析带引号的 NaN 和 Infinity 值时，确保遵循 allowNonNumericNumbers 设置。
  • [SPARK-38276] [SQL] 在 ANSI 模式下添加批准的 TPCDS 方案
  • [SPARK-38206] [SS] 在流-流联接中比较联接键的数据类型时忽略可为空性
  • [SPARK-37290] [ SQL] - 在非确定性函数情况下的指数规划时间
  • [SPARK-38232] [ SQL] 说明格式化不会收集 AQE 中的查询阶段下的子查询
  • [SPARK-38283] [SQL] 在 ANSI 模式下测试无效的日期/时间分析
  • [SPARK-38140] [SQL] 时间戳类型的 Desc 列统计信息（最小值、最大值）与时区差异导致的值不一致
  • [SPARK-38227] [ SQL][ss] 在时间窗口/会话窗口中应用嵌套列的严格空值性
  • [SPARK-38221] [ SQL] 在将复杂分组表达式移出聚合节点时，急切地循环访问 groupingExpressions
  • [SPARK-38216] [SQL] 如果在创建 Hive 表时所有列都已分区列，则提前失败
  • [SPARK-38214] [SS]当 windowDuration 是 slideDuration 的倍数时无需筛选窗口
  • [SPARK-38182] [ SQL] 如果推送的筛选器不包含任何引用，则修复 NoSuchElementException
  • [SPARK-38159] [ SQL] 为隐藏的文件元数据添加新的 FileSourceMetadataAttribute
  • [SPARK-38123] [SQL] 统一使用DataType作为targetType在QueryExecutionErrors#castingCauseOverflowError
  • [SPARK-38118] [ SQL] 在 HAVING 子句中，若函数使用错误的数据类型，应引发数据类型不匹配错误
  • [SPARK-35173] [ SQL][python] 添加多列添加支持
  • [SPARK-38177] [SQL] 修正优化器中错误的 transformExpressions
  • [SPARK-38228] [SQL] 旧内存分配不应在 ANSI 模式下因错误而失败
  • [SPARK-38173] [SQL] 当使用 quotedRegexColumnNames 时，引用的列无法被正确识别。
  • [SPARK-38130] [SQL] 删除array_sort可排序条目检查
  • [SPARK-38199] [SQL] 删除定义中指定的未使用的dataTypeIntervalColumnAccessor
  • [SPARK-38203] [SQL] 修复 ANSI 模式下的 SQLInsertTestSuite 和 SchemaPruningSuite
  • [SPARK-38163] [SQL] 在构造函数生成器时保留错误类SparkThrowable
  • [SPARK-38157] [ SQL] 在测试 timestampNTZ/timestamp.sql 和 SQLQueryTestSuite 中显式将 ANSI 设置为 false，以匹配预期的黄金结果
  • [SPARK-38069] [ SQL][ss] 改进时间窗口的计算
  • [SPARK-38164] [ SQL] 新的 SQL 函数：try_subtract和try_multiply
  • [SPARK-38176] [ SQL] ANSI 模式：允许将字符串隐式转换为其他简单类型
  • [SPARK-37498] [PYTHON] 为 test_reuse_worker_of_parallelize_range 添加最终功能
  • [SPARK-38198] [SQL][3.2] 修复 QueryExecution.debug#toFile 在 explainMode 为 CodegenMode 时未使用传入的 maxFields 的问题。
  • [SPARK-38131] [ SQL] 仅在面向用户的异常中使用错误类
  • [SPARK-37652] [SQL] 添加通过 UNION 优化倾斜联接的测试
  • [SPARK-37585] [SQL] 使用 TaskCompletionListener 更新 DataSourceRDD 中的 InputMetric
  • [SPARK-38113] [SQL] 在透视的执行错误中使用错误类
  • [SPARK-38178] [SS] 更正逻辑以度量 RocksDB 的内存使用情况
  • [SPARK-37969] [SQL] HiveFileFormat 应检查字段名称
  • [SPARK-37652] 还原“[SQL]通过联合为优化倾斜联接添加测试”
  • [SPARK-38124] [ SQL][ss] 引入 StatefulOpClusteredDistribution 并应用于流-流联接
  • [SPARK-38030] [SQL] 规范化不应删除 AttributeReference dataType 的可为 null 性
  • [SPARK-37907] [SQL] InvokeLike 支持常量折叠 (ConstantFolding)
  • [SPARK-37891] [CORE] 添加 scalastyle 检查以禁用 scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] 更新 RelationConversions 的注释
  • [SPARK-37943] [SQL] 在分组的编译错误中使用错误类
  • [SPARK-37652] [SQL] 添加针对通过联合优化倾斜连接的测试
  • [SPARK-38056] [ Web UI][3.2] 修复了使用 LevelDB 时结构化流在历史记录服务器中无法正常工作的问题
  • [SPARK-38144] [CORE] 删除未使用的 spark.storage.safetyFraction 配置
  • [SPARK-38120] [SQL] 修复 HiveExternalCatalog.listPartitions 在分区列名称为大写和分区值中有点时的问题
  • [SPARK-38122] [Docs] 更新 DocSearch 的应用密钥
  • [SPARK-37479] [SQL] 默认情况下迁移 DROP NAMESPACE 以使用 V2 命令
  • [SPARK-35703] [SQL] 放宽存储桶联接的约束并删除 HashClusteredDistribution
  • [SPARK-37983] [SQL] 从排序聚合中去除聚合生成时间指标
  • [SPARK-37915] [ SQL] 如果它们之间存在项目，则合并联合
  • [SPARK-38105] [ SQL] 在联接分析错误中使用错误类
  • [SPARK-38073]（PYTHON） 更新 atexit 函数以避免后期绑定问题
  • [SPARK-37941] [SQL] 在类型转换相关的编译错误中使用错误类
  • [SPARK-37937] [SQL] 在横向联接分析错误中使用错误类
  • [SPARK-38100] [SQL] 删除未使用的专用方法 Decimal
  • [SPARK-37987] [ SS] 修复重启查询时异常测试 StreamingAggregationSuite.changing 状态架构
  • [SPARK-38003] [SQL] LookupFunctions 规则应仅查找标量函数注册表中的函数
  • [SPARK-38075] [SQL] 修复HiveScriptTransformationExec的hasNext输出迭代器中的问题
  • [SPARK-37965] [SQL] 在 Orc 中读取/写入现有数据时删除检查字段名称
  • [SPARK-37922] [SQL] 如可以安全地将两个类型转换向上合并（适用于 dbr-branch-10.x），则合并为一个类型转换
  • [SPARK-37675] [ SPARK-37793] 阻止在完成混排后覆盖推送随机合并文件
  • [SPARK-38011] [SQL] 删除 ParquetFileFormat 中的重复和无用配置
  • [SPARK-37929] [SQL] 支持 dropNamespace API 级联模式
  • [SPARK-37931] [SQL] 根据需要引用列名
  • [SPARK-37990] [SQL] 支持 RowToColumnConverter 中的 TimestampNTZ
  • [SPARK-38001] [ SQL] 使用UNSUPPORTED_FEATURE替换与不支持功能相关的错误类
  • [SPARK-37839] [ SQL] DS V2 支持部分聚合下推 AVG
  • [SPARK-37878] [SQL] 将 SHOW CREATE TABLE 迁移到默认使用 v2 命令
  • [SPARK-37731] [SQL] 在分析器中重构和清理函数查找
  • [SPARK-37979] [SQL] 切换到 AES 函数中的更多泛型错误类
  • [SPARK-37867] [SQL] 编译内置 JDBC 方言的聚合函数
  • [SPARK-38028] [SQL] 从 ArrowColumnVector 公开箭头向量
  • [SPARK-30062] [SQL] 将 IMMEDIATE 语句添加到 DB2 方言截断实现
  • [SPARK-36649] [SQL] 对 Kafka 数据源的支持Trigger.AvailableNow
  • [SPARK-38018] [SQL] 修复 ColumnVectorUtils.populate 功能以正确处理 CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved 应被视为已完成ExecutorDecommission
  • [SPARK-38019] [CORE] 使ExecutorMonitor.timedOutExecutors可确定的
  • [SPARK-37957] [ SQL] 正确传递 V2 标量函数的确定性标志
  • [SPARK-37985] [SQL] 修复 SPARK-37578 的浮点测试
  • [SPARK-37986] [SQL] 在基数排序中支持 TimestampNTZ
  • [SPARK-37967] [SQL] Literal.create 支持 ObjectType
  • [SPARK-37827] [SQL] 将某些内置表属性放入 V1Table.propertie 以适应 V2 命令
  • [SPARK-37963] [SQL] 在重命名 InMemoryCatalog 中的表后需要更新分区 URI
  • [SPARK-35442] [ SQL] 支持通过聚合/联合传播空关系
  • [SPARK-37933] [SQL] 更改 V2ScanRelationPushDown 下推规则的遍历方法
  • [SPARK-37917] [SQL] 如果联接条件为空，则对左半连接/反连接的右侧下推限制为 1
  • [SPARK-37959] [ML] 修复 KMeans 和 BiKMeans 中的检查规范的 UT
  • [SPARK-37906] [SQL] spark-sql 不应将最后一条注释传递给后端
  • [SPARK-37627] [SQL] 在 BucketTransform 中添加排序列

维护更新

请参阅 Databricks Runtime 10.4 LTS 维护更新。

系统环境

  • 操作系统：Ubuntu 20.04.4 LTS
    • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
  • Java：Zulu 8.56.0.21-CA-linux64
  • Scala：2.12.14
  • Python：3.8.10
  • R：4.1.2
  • Delta Lake：1.1.0

已安装的 Python 库

库 版本 库 版本 库 版本
Antergos Linux 2015.10 （ISO-Rolling） appdirs 1.4.4 argon2-cffi 20.1.0
异步生成器 1.10 属性 20.3.0 回调 0.2.0
bidict 0.21.4 漂白剂 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 骑行者 0.10.0 Cython 0.29.23
dbu-python 1.2.16 修饰器 5.0.6 defusedxml 0.7.1
distlib 0.3.4 发行版信息 0.23ubuntu1 入口点 0.3
各个方面概述 1.0.0 文件锁 (filelock) 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils（IPython通用工具） 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
Jupyter客户端 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 考拉 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune（一个用于Markdown解析的Python库） 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
包装 20.9 熊猫 1.2.4 pandocfilters 1.4.3
帕尔索 0.7.0 替罪羊 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 枕头 8.2.0 果仁 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 Python代码解析器 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent（持久性，类似于 persistent 的 Python 包） 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn（Python 数据可视化库） 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 毅力 8.0.1
完成 0.9.4 测试路径 0.4.4 threadpoolctl 2.1.0
龙卷风 6.1 Traitlets 5.0.5 无人参与升级 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
Web编码 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库从 2022-02-24 的 Microsoft CRAN 快照中安装。 快照不再可用。

库 版本 库 版本 库 版本
askpass 1.1 assertthat 0.2.1 实现某软件包的特性向下移植 1.4.1
基础映像 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 靴子 1.3-28
酿造 1.0-7 活力 1.1.3 扫帚 0.7.12
bslib 0.3.1 cachem 1.0.6 调用方 3.7.0
插入符号 6.0-90 cellranger 1.1.0 chron 2.3-56
类 7.3-20 cli 3.2.0 剪辑器 0.8.0
群集 2.1.2 codetools 0.2-18 色彩空间 2.0-3
commonmark 1.7 编译器 4.1.2 config 0.3.1
cpp11 0.4.2 蜡笔 1.5.0 凭据 1.3.2
卷曲 4.3.2 data.table 1.14.2 数据集 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 摘要 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
省略号 0.3.2 评估 0.15 fansi 1.0.2
颜色 2.1.0 快速映射 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 fs 1.5.2 未来 1.24.0
future.apply 1.8.1 漱口 1.2.0 泛型 0.1.2
格特 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 全局变量 0.14.0
胶 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
高尔 (Gower) 1.0.0 图形 4.1.2 grDevices 4.1.2
网格 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 安全帽 0.2.0 避风港 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
迭代器 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 标签 0.4.2
稍后 1.3.0 晶格 0.20-45 熔岩 1.6.10
生命周期 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 质量 7.3-55
矩阵 1.4-0 记忆化 2.0.1 方法 4.1.2
mgcv 1.8-39 哑剧 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 蒙塞尔 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
平行 4.1.2 并行地 1.30.0 支柱 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进展 1.2.2 progressr 0.10.0
承诺 1.2.0.1 原型 1.0.0 代理 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 随机森林 (randomForest) 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
食谱 0.2.0 重赛 1.0.1 rematch2 2.1.2
遥控器 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 Sass 0.4.0
尺度 1.1.1 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6 闪亮 1.7.1 sourcetools 0.1.7
sparklyr（用于R的可视化和数据处理工具包） 1.7.5 SparkR 3.2.0 空间 7.3-11
样 条 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
统计数据 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 生存 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 时间日期 3043.102 tinytex 0.37
工具 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 实用工具 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
瓦尔多 0.3.1 晶 须 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

已安装的 Java 和 Scala 库（Scala 2.12 群集版本）

组标识 工件 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning (AWS Java SDK 机器学习) 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 丁铃 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure数据湖存储SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS（基本线性代数子程序） 2.2.1
dev.ludovic.netlib lapack（线性代数程序包） 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 度量-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics JVM指标 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow 箭头-内存-核心 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow 箭头向量 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0 孵化中
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy 常春藤 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet列 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet Parquet 格式结构 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 用户注释 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket客户端 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket 服务器 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi资源定位器 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 附注 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap 垫片 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark 闲置 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on