Databricks Runtime 15.1 （EoS）

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.1 的相关信息。

Databricks 于 2024 年 4 月发布了此版本。

破坏性变更

对 Databricks Runtime 15.0 和 Databricks Runtime 15.0 for Machine Learning 的支持将于 2024 年 5 月 31 日结束，因为 pandas 库从 1.5.3 升级到 2.0.3 导致多个 Apache Spark API 出现中断性变更。 有关重大更改的详细信息，请参阅 pandas Python 库降级到 1.5.3。 为了解决这种不兼容问题，Databricks 已发布 Databricks Runtime 15.1 和 Databricks Runtime 15.1 for Machine Learning。 这些版本支持的功能与 15.0 版本相同，但 pandas 版本降级至 1.5.3。

使用 Databricks Runtime 15.0 版本的任何现有群集或作业会继续正常运行，但不会收到产品或安全更新。 你再也不能在 Databricks UI 中配置使用 Databricks Runtime 15.0 或 Databricks Runtime 15.0 ML 的新计算。 如果你不使用需要 pandas 2.0+ 的功能或 API，Databricks 建议你将这些工作负荷切换到 Databricks Runtime 15.1。

如果你使用的是仅在 pandas 2.0+ 中提供的功能或 API，并且不使用任何受此版本影响的函数，Databricks 建议你切换到 Databricks Runtime 15.1，并使用集群或笔记本范围库升级默认 pandas 包。 例如，若要升级 Databricks 笔记本中的 pandas 库，请使用以下命令：

%pip install pandas==2.0.3

pandas Python 库降级到 1.5.3

在此版本中，pandas 库从版本 2.0.3 降级至 1.5.3。 之所以需要该降级，是因为 2.0.3 版 pandas 中的不兼容导致 Spark 函数上的某个 pandas API 出现错误。 下面列出了 pandas 2.0.3 版本中被修改的函数：

  • pyspark.date_range：缺少 closed 参数，导致现有代码调用此函数时出错。
  • 具有 GroupBy 列的 MultiIndex 的功能已更改，导致意外行为。
  • datetime 的某些 DatetimeIndex 属性（例如 day、month、year 等）返回 int32 数据类型，而不是 int64 数据类型。

PySpark spark.sql() 函数现在会因为参数类型无效而失败

在 Databricks Runtime 15.1 及更高版本中，传递给 args 函数的命名参数或位置参数的 spark.sql() 参数必须是字典或列表。 如果传递任何其他对象类型，将引发以下错误：PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

在 DBFS 根目录中存储库的功能已弃用，默认处于禁用状态

为了提高Azure Databricks工作区中库的安全性，从 Databricks Runtime 15.1 开始，默认弃用 DBFS 根目录中的库文件并将其禁用。 Databricks 建议将所有库（包括Python库、JAR 文件和 Spark 连接器）上传到工作区文件、Unity 目录卷或使用包存储库。 请参阅有关上传库的建议。

若要重新启用在 DBFS 根目录中存储库，请设置以下 Spark 配置参数：spark.databricks.driver.dbfsLibraryInstallationAllowed true。

默认Python版本从 3.10 升级到 3.11

使用 Databricks Runtime 15.1 时，默认Python版本为 3.11.0。 有关升级的 Python 库列表，请参阅 库升级。

JDK 11 已删除

如之前公告的那样，JDK 11 已从 Databricks Runtime 15.1 及更高版本中移除。 Databricks 建议在升级到 Databricks Runtime 15.1 及更高版本时升级到 JDK 17。 请参阅 Databricks SDK for Java。

Python REPL 现在能够平稳地终止

借助 Databricks Runtime 15.1，笔记本的 Python REPL 进程现在在退出时正常终止。 这会导致任何 atexit 挂钩被触发。 例如，在具有多个Python笔记本任务的工作流中，在第一个任务中注册的 atexit 挂钩在第二个Python笔记本任务运行之前执行。

新增功能和改进

WHERE 子句现支持包含 *（星号）的条款

您现在可以在 * 子句中使用星号 (WHERE) 子句，以引用 SELECT 列表中的所有列。 例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

spark.sql.json.enablePartialResults 配置现在默认启用

Spark 配置 spark.sql.json.enablePartialResults 现在默认启用，允许 JSON 分析程序正确处理复杂类型（如结构、映射和数组）的分析错误，而无需删除剩余字段。 此更改修复了使用列修剪的 JSON 数据源的一致性问题。

群集库现在支持 requirements.txt 文件

现在，可以使用存储在工作区文件或 Unity Catalog 卷中的 requirements.txt 文件安装群集库。 在 专用 和 标准 访问模式群集中 requirements.txt ，该文件可以引用其他文件。 在无隔离共享访问模式群集中，仅支持 PyPI 包。 请参阅计算范围的库。

Databricks CLI 现在可在 Web 终端中使用

现在，可以从笔记本中的 Web 终端使用 Databricks CLI。 笔记本必须附加到 专用 或 无隔离共享 访问模式中的群集。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。

将默认Python存储库添加到群集配置

在 Databricks Runtime 15.1 及更高版本中，可以在配置群集或定义群集策略时为群集和笔记本范围的库安装配置全局 pip index-url 和 extra-index-url 参数。 要执行此操作，请设置环境变量 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。

标准群集上可用的 Web 终端

在 Databricks Runtime 15.1 及更高版本中，可以在具有 标准 访问模式的群集上使用 Web 终端。

凭证传递和 Hive 元数据存储表访问控制已弃用

凭据直通和 Hive 元数据存储表访问控制是旧数据治理模型。 升级到 Unity Catalog 可提供一个集中位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity Catalog？。

即将发布的 Databricks Runtime 版本中将取消对凭证传递和 Hive 元存储表访问控制的支持。

软件库升级

  • 升级Python库：
    • black 从 22.6.0 到 23.3.0
    • boto3 从 1.24.28 到 1.34.39
    • botocore 从 1.27.96 到 1.34.39
    • certifi 从 2022年12月7日 到 2023年7月22日
    • cryptography 从 39.0.1 到 41.0.3
    • databricks-sdk 从 0.1.6 升级到 0.20.0
    • distlib 从 0.3.7 到 0.3.8
    • googleapis-common-protos 从 1.62.0 版本升级到 1.63.0 版本
    • grpcio 版本更新：从 1.48.2 升级到 1.60.0
    • grpcio-status 从 1.48.1 到 1.60.0
    • importlib-metadata 版本从 4.6.4 升级到 6.0.0
    • ipykernel 从 6.25.0 到 6.25.1
    • ipython 从 8.14.0 到 8.15.0
    • ipywidgets 从 7.7.2 到 8.0.4
    • jupyter_core 从 5.2.0 到 5.3.0
    • jupyterlab-widgets 从 1.0.0 到 3.0.5
    • matplotlib 从 3.7.0 到 3.7.2
    • pip 从 22.3.1 到 23.2.1
    • platformdirs 从 2.5.2 到 3.10.0
    • protobuf 从 4.24.0 到 4.24.1
    • pyarrow 从 8.0.0 到 14.0.1
    • Pygments 从 2.11.2 到 2.15.1
    • pyodbc 从 4.0.32 到 4.0.38
    • requests 版本从 2.28.1 升级到 2.31.0
    • s3transfer 从 0.6.2 到 0.10.0
    • scikit-learn 从 1.1.1 到 1.3.0
    • scipy 从 1.10.0 到 1.11.1
    • setuptools 从 65.6.3 到 68.0.0
    • statsmodels 从 0.13.5 到 0.14.0
    • 顽强 从 8.1.0 到 8.2.2
    • tornado 从 6.1 到 6.3.2
    • typing_extensions 从 4.4.0 到 4.7.1
    • urllib3 从 1.26.14 到 1.26.16
    • virtualenv 从 20.16.7 到 20.24.2
    • widgetsnbextension 从 3.6.1 到 4.0.5
    • zipp 从 1.0.0 到 3.11.0
  • 升级了 R 库：
    • 箭头从 12.0.1 到 14.0.0.2
    • askpass 从 1.1 到 1.2.0
    • base 版本从 4.3.1 升级到 4.3.2
    • brew 从 1.0-8 到 1.0-10
    • brio 从 1.1.3 到 1.1.4
    • bslib 从 0.5.0 到 0.6.1
    • cli 从 3.6.1 到 3.6.2
    • commonmark 从 1.9.0 到 1.9.1
    • 编译器从 4.3.1 到 4.3.2
    • config 从 0.3.1 到 0.3.2
    • cpp11 从 0.4.4 到 0.4.7
    • credentials 从 1.3.2 到 2.0.1
    • curl 从版本 5.0.1 到版本 5.2.0
    • data.table 从 1.14.8 升级到 1.15.0
    • 数据集从 4.3.1 到 4.3.2
    • DBI 从 1.1.3 到 1.2.1
    • dbplyr 从 2.3.3 到 2.4.0
    • desc 从 1.4.2 到 1.4.3
    • digest 从 0.6.33 到 0.6.34
    • dplyr 从 1.1.2 到 1.1.4
    • e1071 从 1.7-13 到 1.7-14
    • 评估从 0.21 到 0.23
    • fansi 版本从 1.0.4 升级到 1.0.6
    • fontawesome 从 0.5.1 到 0.5.2
    • fs 从 1.6.2 到 1.6.3
    • future 从 1.33.0 到 1.33.1
    • future.apply 从 1.11.0 到 1.11.1
    • gargle 从 1.5.1 到 1.5.2
    • gert 从 1.9.2 到 2.0.1
    • ggplot2 从 3.4.2 到 3.4.4
    • glmnet 从 4.1-7 到 4.1-8
    • glue 从 1.6.2 到 1.7.0
    • 图形从 4.3.1 到 4.3.2
    • grDevices 从 4.3.1 到 4.3.2
    • grid 从 4.3.1 到 4.3.2
    • gtable 从 0.3.3 到 0.3.4
    • hardhat 版本从 1.3.0 更新到 1.3.1。
    • haven: 从 2.5.3 到 2.5.4
    • htmltools 从 0.5.5 到 0.5.7
    • htmlwidgets 从 1.6.2 到 1.6.4
    • httpuv 从 1.6.11 到 1.6.14
    • httr 从 1.4.6 到 1.4.7
    • httr2 从 0.2.3 到 1.0.0
    • jsonlite 从 1.8.7 到 1.8.8
    • knitr 从 1.43 到 1.45
    • 标记 从 0.4.2 到 0.4.3
    • 之后从 1.3.1 到 1.3.2
    • lava 从 1.7.2.1 到 1.7.3
    • 生命周期从 1.0.3 到 1.0.4
    • listenv 从 0.9.0 到 0.9.1
    • lubridate 从 1.9.2 到 1.9.3
    • markdown 从 1.7 到 1.12
    • 方法从 4.3.1 到 4.3.2
    • openssl 从 2.0.6 到 2.1.1
    • 并行从 4.3.1 到 4.3.2
    • pkgbuild 从 1.4.2 到 1.4.3
    • pkgload 从 1.3.2.1 到 1.3.4
    • plyr 从 1.8.8 到 1.8.9
    • prettyunits 从 1.1.1 到 1.2.0
    • pROC 从 1.18.4 到 1.18.5
    • processx 从 3.8.2 到 3.8.3
    • prodlim 从 2023.03.31 到 2023.08.28
    • 从 1.2.2 进展到 1.2.3
    • progressr 版本升级从 0.13.0 到 0.14.0
    • 实现从 1.2.0.1 到 1.2.1 的 Promise 版本更新
    • ps 从 1.7.5 到 1.7.6
    • purrr 从 1.0.1 到 1.0.2
    • ragg 从 1.2.5 到 1.2.7
    • Rcpp 从 1.0.11 到 1.0.12
    • RcppEigen 从 0.3.3.9.3 到 0.3.3.9.4
    • readr 版本从 2.1.4 更新为 2.1.5
    • 配方从 1.0.6 到 1.0.9
    • rematch 版本更新从 1.0.1 到 2.0.0
    • 版本从 2.4.2 到 2.4.2.1
    • reprex 从 2.0.2 到 2.1.0
    • rlang 从 1.1.1 到 1.1.3
    • rmarkdown 从 2.23 到 2.25
    • RODBC 从 1.3-20 到 1.3-23
    • roxygen2 从 7.2.3 到 7.3.1
    • rprojroot 从 2.0.3 到 2.0.4
    • Rserve 从版本 1.8-11 升级到版本 1.8-13
    • RSQLite 从 2.3.1 到 2.3.5
    • sass 从 0.4.6 到 0.4.8
    • scales 从 1.2.1 到 1.3.0
    • shiny 从 1.7.4.1 到 1.8.0
    • sparklyr 从 1.8.1 到 1.8.4
    • 样条从 4.3.1 到 4.3.2
    • 统计从 4.3.1 到 4.3.2
    • stats4 从 版本 4.3.1 更新到 4.3.2
    • stringi 从 1.7.12 到 1.8.3
    • stringr 从 1.5.0 到 1.5.1
    • systemfonts 版本从 1.0.4 更新到 1.0.5
    • tcltk 从 4.3.1 到 4.3.2
    • testthat 从 3.1.10 到 3.2.1
    • textshaping 从 0.3.6 到 0.3.7
    • tidyr 已从版本 1.3.0 更新至 1.3.1
    • timechange 从 0.2.0 到 0.3.0
    • timeDate 从 4022.108 到 4032.109
    • tinytex 从 0.45 到 0.49
    • 工具从 4.3.1 到 4.3.2
    • utf8 从 1.2.3 到 1.2.4
    • utils 从 4.3.1 到 4.3.2
    • uuid 从 1.1-0 到 1.2-0
    • vctrs 从 0.6.3 到 0.6.5
    • vroom 从 1.6.3 到 1.6.5
    • waldo 从 0.5.1 到 0.5.2
    • withr 从版本 2.5.0 到版本 3.0.0
    • xfun 从 0.39 到 0.41
    • xml2 从 1.3.5 到 1.3.6
    • yaml 版本从 2.3.7 升级到 2.3.8
    • zip 从 2.3.0 到 2.3.1
  • 升级Java库：
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.15.1 到 2.16.0
    • com.google.flatbuffers.flatbuffers-java 从 1.12.0 到 23.5.26
    • com.typesafe.config 从 1.2.1 到 1.4.3
    • org.apache.ant.ant 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-jsch 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-launcher 从 1.9.16 到 1.10.11
    • org.apache.arrow.arrow-format 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-core 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-netty 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-vector 从 12.0.1 到 15.0.0
    • org.apache.avro.avro 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-ipc 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-mapred 从 1.11.2 到 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-core 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl 从 2.20.0 到 2.22.1
    • org.postgresql.postgresql 从 42.6.0 到 42.6.1

Apache Spark

Databricks Runtime 15.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-45527] [DBRRM-805][es-1073714] 恢复“[SC-151626][core] 使用分数执行资源计算”
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] 添加 COLLATION_ENABLED 配置标志
  • [SPARK-46973] [ SC-158140][dbrrm-777][SQL] 当表位于 V1 表缓存中时跳过 V2 表查找
  • [SPARK-46808] [SC-154113][python] 使用自动排序函数优化Python中的错误类
  • [SPARK-47251] [SC-158291][python] 阻止args命令中sql参数的无效类型
  • [SPARK-47251] [SC-158121][python] 阻止命令参数args中的无效类型sql
  • [SPARK-47108] [SC-157204][core] 在 CLIs 中显式设置 derby.connection.requireAuthentication 为 false
  • [SPARK-45599] [ SC-157537][core] 在 OpenHashSet 中使用对象相等性
  • [SPARK-47099] [SC-157352][sql] 使用ordinalNumber统一设置paramIndex错误类UNEXPECTED_INPUT_TYPE的值
  • [SPARK-46558] [SC-151363][connect] 提取一个辅助函数以消除从MessageParameters中检索ErrorParams的重复代码GrpcExceptionConverter
  • [SPARK-43117] [ SC-156177][connect] 使 ProtoUtils.abbreviate 支持重复字段
  • [SPARK-46342] [SC-150283][sql] 在sql中用IllegalStateException替换SparkException.internalError
  • [SPARK-47123] [ SC-157412][core] JDBCRDD 无法正确处理 getQueryOutputSchema 中的错误
  • [SPARK-47189] [ SC-157667][sql] 调整列错误名称和文本
  • [SPARK-45789] [ SC-157101][sql] 支持 DESCRIBE TABLE 用于聚类列
  • [SPARK-43256] [SC-157699][sql] 删除错误类 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics 检查输入类型
  • [SPARK-47183] [ SC-157660][python] 修复错误类问题 sameSemantics
  • [SPARK-47179] [ SC-157663][sql] 改进 SparkThrowableSuite 的错误消息以提高可调试性
  • [SPARK-46965] [SC-155791][core] 检查 logType 在 Utils.getLog
  • [SPARK-46832] [ SC-156774][sql] 引入 Collate 和 Collation 表达式
  • [SPARK-46946] [ SC-155721][sql] 支持在 DynamicPruning 中广播多个筛选键
  • [SPARK-47079] [ VARIANT-22][sc-157598][PYTHON][sql][CONNECT] 向 PySpark 添加 Variant 类型信息
  • [SPARK-47101] [ SC-157360][sql] 允许在顶级列名中使用逗号，并删除对嵌套类型定义的检查 HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [ SC-157571][ss][UI] 修复流式处理 UI 说明中的拼写错误
  • [SPARK-47113] [ SC-157348][core] 恢复 SPARK-35878 的 S3A 端点修复逻辑
  • [SPARK-47130] [SC-157462][core] 清理驱动程序日志时，使用 listStatus 绕过块位置信息
  • [SPARK-43259] [ SC-157368][sql] 为错误类命名为 _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec 应初始化非安全投影
  • [SPARK-47137] [ SC-157463][python][CONNECT] 将 getAll 添加到 spark.conf，以便与 Scala 的功能奇偶校验
  • [SPARK-46924] [SC-154905][core] 修复日志 UI 中的Load New按钮
  • [SPARK-47069] [SC-157370][python][CONNECT] SparkSession 分析简介spark.profile.show/dump
  • [SPARK-46812] [ SC-157075][sql][PYTHON] 让 mapInPandas / mapInArrow 支持 ResourceProfile。
  • [SPARK-46833] [SC-155866][sql] 排序规则 - 引入CollationFactory，它为支持的排序规则提供比较和哈希规则
  • [SPARK-47057] [SC-157036][python] 重新启用 MyPy 数据测试
  • [SPARK-46934] [ SC-157084][sql] 具有 HMS 特殊字符的结构类型读/写往返
  • [SPARK-46727] [SC-153472][sql] 错误类上的 JDBC 方言中的端口classifyException()
  • [SPARK-46964] [ SC-155740][sql] 更改 hllInvalidLgK 查询执行错误的签名，将整数作为第 4 个参数
  • [SPARK-46949] [SC-155719][sql] 通过 ResolveDefaultColumns 支持 CHAR/VARCHAR
  • [SPARK-46972] [ SC-155888][sql] 修复 V2SessionCatalog.createTable 中 char/varchar 的非对称替换
  • [SPARK-47014] [ SC-156778][python][CONNECT] 实现方法 dumpPerfProfiles 和 dumpMemoryProfiles of SparkSession
  • [SPARK-46689] [ SC-156221][spark-46690][PYTHON][connect] 支持在 group/cogroup 的 applyInPandas/applyInArrow 中进行 v2 性能分析
  • [SPARK-47040] [ SC-156773][connect] 允许 Spark Connect 服务器脚本等待
  • [SPARK-46688] [ SC-156113][spark-46691][PYTHON][connect] 支持聚合 Pandas UDF 中的 v2 分析
  • [SPARK-47004] [ SC-156499][connect] 向 ClientStreamingQuerySuite 添加了更多测试以提高 Scala 客户端测试覆盖率
  • [SPARK-46994] [ SC-156169][python] 重构 PythonWrite 以准备支持 Python 数据源流式写入
  • [SPARK-46979] [ SC-156587][ss] 添加对单独指定键和值编码器的支持，并为 RocksDB 状态存储提供程序中的每个 col 系列添加支持
  • [SPARK-46960] [ SC-155940][ss] 使用 TransformWithState 运算符测试多个输入流
  • [SPARK-46966] [ SC-156112][python] 为“analyze”方法添加 UDTF API 以指示要选择的输入表列的子集
  • [SPARK-46895] [ SC-155950][core] 将计时器替换为单线程计划执行程序
  • [SPARK-46967] [SC-155815][core][UI] 隐藏Thread Dump和执行Heap HistogramDead程序在 UI 中Executors
  • [SPARK-46512] [SC-155826][核心] 在使用排序和组合时优化洗牌读取。
  • [SPARK-46958] [ SC-155942][sql] 添加缺少的时区以强制默认值
  • [SPARK-46754] [ SC-153830][sql][AVRO] 修复 avro 表定义和写入选项中的压缩代码解析问题
  • [SPARK-46728] [SC-154207][Python] 正确检查 Pandas 安装
  • [SPARK-43403] [SC-154216][ui] 在加载新的 SparkUI 之前，确保旧的 SparkUI 已从 HistoryServer 上分离。
  • [SPARK-39910] [ SC-156203][sql] 在 DataSource 文件路径 globbing 期间将路径限定委托给文件系统
  • [SPARK-47000] [SC-156123] 还原“[SC-156123][core] 使用 getTotalMemorySize...
  • [SPARK-46819] [ SC-154560][core] 将错误类别和状态移动到 JSON
  • [SPARK-46997] [SC-156175][core] 默认情况下启用spark.worker.cleanup.enabled
  • [SPARK-46865] [ SC-156168][ss] 添加对 TransformWithState 运算符的 Batch 支持
  • [SPARK-46987] [ SC-156040][connect] ProtoUtils.abbreviate 避免不必要的 setField 操作
  • [SPARK-46970] [SC-155816][core] 重写OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024][python] 删除pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] 在getTotalMemorySize中使用WorkerArguments
  • [SPARK-46980] [ SC-155914][sql][MINOR] 避免在数据帧端到端测试中使用内部 API
  • [SPARK-46931] 还原“[SC-155661][ps] 实现 {Frame, Series}.to_hdf”
  • [SPARK-46618] [ SC-153828][sql] 改进针对DATA_SOURCE_NOT_FOUND错误的提示信息
  • [SPARK-46849] [ SC-154586][sql] 在 CREATE TABLE 列默认值上运行优化器
  • [SPARK-46911] [ SC-155724][ss] 向 StatefulProcessorHandleImpl 添加 deleteIfExists 运算符
  • [SPARK-43273] [SQL] 支持 Parquet 的 lz4raw 压缩编解码器
  • [SPARK-47002] [ SC-156223][python] 如果 UDTF“analyze”方法“orderBy”字段意外返回字符串列表，则返回更好的错误消息
  • [SPARK-46890] [ SC-155802][sql] 修复存在默认值和列修剪的 CSV 解析 bug
  • [SPARK-46977] [ SC-155892][core] 从一个 NameNode 获取令牌失败的请求不应跳过后续令牌请求
  • [SPARK-46608] [ SC-151806][sql] 恢复向后兼容性 JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][sql] 支持在WHERE子句中使用星号子句
  • [SPARK-46908] [SC-155702][sql] 支持在WHERE子句中使用星号子句
  • [SPARK-46852] [ SC-155665][ss] 移除显式使用键编码器，并将其隐式传递给 transformWithState 运算符使用的操作符
  • [SPARK-46864] [ SC-155669][ss] 将任意 StateV2 引入新的错误类框架中
  • [SPARK-45807] [ SC-155706][sql] 调用 replaceView（..） 后返回视图
  • [SPARK-46899] [SC-154651][core] 当POSTMasterWebUI时从spark.ui.killEnabled移除false API
  • [SPARK-46868] [SC-154539][核心] 支持 Spark 工作节点日志用户界面
  • [SPARK-46931] [SC-155661][ps] 实现 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] 移除未使用的 updateSparkConfigFromProperties 和 isAbsoluteURI 在 o.a.s.u.Utils
  • [SPARK-46929] [ SC-155659][core][CONNECT][ss] 使用 ThreadUtils.shutdown 关闭线程池
  • [SPARK-46400] [ SC-155658][core][SQL] 如果本地 maven 存储库中存在损坏的文件，请跳过此缓存，然后重试
  • [SPARK-46932] [SC-155655] 清理 pyspark.pandas.test_* 中的导入
  • [SPARK-46683] [SC-154120] 编写生成子查询排列的子查询生成器，以提高测试覆盖率
  • [SPARK-46914] [ SC-154776][ui] 缩短历史记录页上摘要表中的应用名称
  • [SPARK-46831] [SC-154699][sql] 排序规则 - 为 StringType 和 PhysicalStringType 增加 collationId 字段
  • [SPARK-46816] [ SC-154415][ss] 为新的任意状态管理运算符、单个 valueState 类型、多个状态变量和对具有/没有更改日志检查点的 RocksDBStateStoreProvider 列系列的基础支持添加基本支持
  • [SPARK-46925] [ SC-154890][python][CONNECT] 添加警告，指示安装进行内存分析的工具 memory_profiler。
  • [SPARK-46927] [SC-154904][python] 确保 assertDataFrameEqual 在没有 PyArrow 的情况下也能正常工作
  • [SPARK-46021] [ SC-148987][core] 支持取消属于作业组的未来作业
  • [SPARK-46747] [ SC-154789][sql] 避免在 getTableExistsQuery 中扫描 JDBC 方言
  • [SPARK-46904] [ SC-154704][ui] 修复历史记录 UI 摘要的显示问题
  • [SPARK-46870] [SC-154541][core] 支持 Spark 主日志界面 UI
  • [SPARK-46893] [ SC-154780][ui] 从 UI 说明中删除内联脚本
  • [SPARK-46910] [ SC-154760][python] 消除 PySpark 安装中的 JDK 要求
  • [SPARK-46907] [ SC-154736][core] 在 Spark History Server 中显示驱动程序日志位置
  • [SPARK-46902] [ SC-154661][ui] 修复由于未导出的 setAppLimit 而导致的 Spark History Server UI 问题
  • [SPARK-46687] [ SC-154725][python][CONNECT] 基于 SparkSession 的内存探查器的基本支持
  • [SPARK-46623] [ SC-153831][core][MLLIB][sql] 将 SimpleDateFormat 替换为 DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] 当为 mode null 时，应NullPointException引发 a not
  • [SPARK-46872] [SC-154543][core] 恢复 log-view.js 为非模块
  • [SPARK-46883] [SC-154629][core] 支持 /json/clusterutilization API
  • [SPARK-46886] [SC-154630][core] 默认启用spark.ui.prometheus.enabled
  • [SPARK-46873] [ SC-154638][ss] 不要为同一 Spark 会话重新创建新的 StreamingQueryManager
  • [SPARK-46829] [SC-154419][core] 从 SparkEnv 中删除 createExecutorEnv
  • [SPARK-46827] [SC-154280][core] 使RocksDBPersistenceEngine支持符号链接
  • [SPARK-46903] [SC-154662][核心] 支持日志 UI 的 Spark History Server
  • [SPARK-46874] [ SC-154646][python] 移除 pyspark.pandas 中的 assertDataFrameEqual 依赖项
  • [SPARK-46889] [SC-154639][core] 验证 spark.master.ui.decommission.allow.mode 设置
  • [SPARK-46850] [SC-154443][sql] 将_LEGACY_ERROR_TEMP_2102 转换为UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] 修复按MasterPage列正确排序Running Drivers表的问题
  • [SPARK-46796] [ SC-154279][ss] 确保在 RocksDB 版本加载上使用正确的远程文件（metadata.zip中提及）
  • [SPARK-46888] [SC-154636][core] 修复了当停用禁用时拒绝Master请求的问题/workers/kill/
  • [SPARK-46818] [SC-154422][sql] 改进 Range 使用不可折叠输入时的错误消息
  • [SPARK-46898] [ SC-154649][connect] 简化 Planner 中的 protobuf 函数转换
  • [SPARK-46828] [ SC-154413][sql] 删除 spark sql shell 远程模式的无效断言
  • [SPARK-46733] [SC-154274][core] 通过退出操作，只依赖中断线程来简化 BlockManager。
  • [SPARK-46777] [ SC-154016][ss] 重构 StreamingDataSourceV2Relation 催化剂结构，以更符合批处理版本
  • [SPARK-46515] [SC-151716] 添加 MONTHNAME 函数
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion 应检查是否可以为 null
  • [SPARK-46787] [SC-154404][connect] bloomFilter 函数应抛出 AnalysisException 无效输入
  • [SPARK-46779] [ SC-154045][sql] InMemoryRelation 同一缓存计划的实例在语义上应等效
  • [SPARK-45827] [SC-153973] 禁止对 Variant 列进行分区
  • [SPARK-46797] [SC-154085][core] 重命名 spark.deploy.spreadOut 为 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 支持执行程序 JVM 分析
  • [SPARK-46746] [ SC-153557][sql][AVRO] 将编解码器扩展附加到 avro 数据源文件
  • [SPARK-46698] [ SC-153288][core] 将计时器替换为 ConsoleProgressBar 的单线程调度执行器。
  • [SPARK-46629] [SC-153835] 修复 STRUCT 类型 DDL 未检测到 null 性和注释的问题
  • [SPARK-46750] [SC-153772][connect][PYTHON] 数据帧 API 的代码清理
  • [SPARK-46769] [ SC-153979][sql] 优化与时间戳相关的架构推理
  • [SPARK-46765] [ SC-153904][python][CONNECT] 使 shuffle 指定 seed 的数据类型
  • [SPARK-46579] [SC-151481][sql] 在错误和日志中隐藏 JDBC URL
  • [SPARK-46686] [SC-153875][python][CONNECT] 基于 SparkSession Python UDF 探查器的基本支持
  • [SPARK-46748] 恢复“[SC-153800][core] 删除 *slav**.sh scri...
  • [SPARK-46707] [ SC-153833][sql] 向表达式添加了可抛出字段以提高谓词下推效果
  • [SPARK-46519] [ SC-151278][sql] 清除 error-classes.json 文件中未使用的错误类
  • [SPARK-46677] [ SC-153426][sql][CONNECT] 修复 dataframe["*"] 分辨率
  • [SPARK-46317] [ SC-150184][python][CONNECT] 匹配 SparkSession 中具有完整测试覆盖率的次要行为匹配
  • [SPARK-46748] [SC-153800][core] 删除 *slav**.sh 脚本
  • [SPARK-46663] [ SC-153490][python] 使用迭代器禁用 pandas UDF 的内存探查器
  • [SPARK-46410] [ SC-150776][sql] 将错误类/子类分配给 JdbcUtils.classificationException
  • [SPARK-46277] [ SC-150126][python] 验证正在配置的启动 URL 地址
  • [SPARK-46612] [ SC-153536][sql] 不要转换从 jdbc 驱动程序检索的数组类型字符串
  • [SPARK-46254] [SC-149788][python] 删除过时的 Python 3.8/3.7 版本检查代码
  • [SPARK-46490] [SC-151335][sql] 要求在子类中使用 SparkThrowable 错误类
  • [SPARK-46383] [ SC-153274][sc-147443][WARMFIX] 通过缩短组件的生命周期来减少驱动程序堆的使用量 TaskInfo.accumulables()
  • [SPARK-46541] [ SC-153109][sql][CONNECT] 修复自联接中的不明确列引用
  • [SPARK-46381] [ SC-150495][sql] 将子 AnalysisException 类迁移到错误类
  • [SPARK-46351] [SC-150335][sql] 在AnalysisException中需要一个错误类
  • [SPARK-46220] [ SC-149689][sql] 限制字符集 decode()
  • [SPARK-46369] [SC-150340][core] 从kill驱动程序中删除RELAUNCHING链接MasterPage
  • [SPARK-46052] [ SC-153284][core] 删除函数 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [ SC-153164][sql] 支持 GROUP BY calendar_interval_type
  • [SPARK-46675] [ SC-153209][sql] 删除 ParquetReadSupport 中的未使用的 inferTimestampNTZ
  • [SPARK-46717] [ SC-153423][core] 简化退出操作仅依赖于中断线程。
  • [SPARK-46722] [SC-153438][connect] 增加一个关于 Spark Connect 中 StreamingQueryListener 的向后兼容性检查测试（Scala/PySpark）
  • [SPARK-46187] [SC-149580][sql] 对齐代码生成和非代码生成实现 StringDecode
  • [SPARK-46258] [SC-149799][core] 添加 RocksDBPersistenceEngine
  • [SPARK-46216] [ SC-149676][core] 改进 FileSystemPersistenceEngine 以支持压缩
  • [SPARK-46189] [SC-149567][ps][SQL] 在各种 Pandas 聚合函数中进行同类型的比较和算术运算，以避免解释模式错误。
  • [SPARK-46184] [ SC-149563][core][SQL][connect][MLLIB] 通过将 Option.isDefined 替换为 Option.isEmpty 来减少堆栈深度
  • [SPARK-46700] [SC-153329][core] 在洗牌磁盘溢出字节指标中统计最后一次溢出
  • [SPARK-45642] [SC-150286][core][SQL] 修复 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [ SC-153272][sql] 通过排除子查询属性修复 RemoveRedundantAlias
  • [SPARK-46681] [SC-153287][core] 重构ExecutorFailureTracker#maxNumExecutorFailures以避免在配置defaultMaxNumExecutorFailures时计算MAX_EXECUTOR_FAILURES
  • [SPARK-46695] [ SC-153289][sql][HIVE] 始终将 hive.execution.engine 设置为 mr
  • [SPARK-46325] [SC-150228][connect] 删除在WrappedCloseableIterator中ResponseValidator#wrapIterator构造时不必要的重写函数
  • [SPARK-46232] [ SC-149699][python] 将所有剩余的 ValueError 迁移到 PySpark 错误框架。
  • [SPARK-46547] [ SC-153174][ss] 在维护线程的任务中处理非致命异常，以避免维护线程与流式聚合运算符之间出现死锁
  • [SPARK-46169] [ SC-149373][ps] 为 API 中缺少的参数 DataFrame 分配适当的 JIRA 编号。
  • [SPARK-45857] [ SC-148096][sql] 在子类中强制实施错误类 AnalysisException

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 15.1 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.74.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.1.0

已安装Python库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 Azure 存储文件数据湖 (azure-storage-file-datalake) 12.14.0 反向调用 0.2.0
黑色 23.3.0 指示灯 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
单击 8.0.4 cloudpickle 2.2.1 通信 0.1.2
contourpy 1.0.5 加密 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 修饰器 5.1.1 distlib 0.3.8
入口点 0.4 执行 0.8.3 面概述 1.1.1
文件锁 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 Google Cloud Storage（谷歌云存储） 2.15.0 google-crc32c 1.5.0
google-续传媒体 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 吉普尼（菲律宾的一种公共交通工具） 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 密钥环 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 包装 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
替罪羊 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip（Python 包管理工具） 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 请求 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 韧性 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

已安装的 R 库

R 库是从 2023-02-10 的 Posit Package Manager CRAN 快照中安装的。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
后向移植 1.4.1 基础映像 4.3.2 base64enc 0.1-3
bigD 0.2.0 比特 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 活力 1.1.4 扫帚 1.0.5
bslib 0.6.1 cachem 1.0.8 呼叫器 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
类 7.3-22 CLI 3.6.2 clipr 0.8.0
时钟 0.7.0 群集 2.1.4 codetools 0.2-19
色彩空间 2.1-0 commonmark 1.9.1 编译器 4.3.2
配置 0.3.2 冲突 1.2.0 cpp11 0.4.7
蜡笔 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 数据集 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 摘要 0.6.34
向下照明 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略号 0.3.2 评估 0.23
fansi 1.0.6 颜色 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
外国 0.8-85 构建 0.2.0 fs 1.6.3
未来 1.33.1 future.apply 1.11.1 漱口 1.5.2
泛型 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 全局变量 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
图形 4.3.2 grDevices 4.3.2 网格 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 安全帽 1.3.1 避风港 2.5.4
更高的 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 标记 0.4.3
稍后 1.3.2 晶格 0.21-8 熔岩 1.7.3
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 质量 7.3-60
Matrix 1.5-4.1 记忆化 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016年8月 - 1月1日 openssl 2.1.1 并行 4.3.2
平行地 1.36.0 支柱 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 赞美 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 承诺 1.2.1 proto 1.0.0
代理 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 阅读器 2.1.5 readxl 1.4.3
食谱 1.0.9 重赛 2.0.0 rematch2 2.1.2
遥控器 2.4.2.1 可复现示例（reprex） 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
比例 1.3.0 selectr 0.4-2 会话信息 1.2.2
形状 1.4.6 闪亮的 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 空间 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 统计数据 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
生存 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
文本排版 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 时间更改 0.3.0
时间日期 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 URL检查器 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 晶须 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

已安装Java和 Scala 库（Scala 2.12 群集版本）

组标识 构件 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone 易出错注释 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS（基础线性代数子程序） 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics 指标注释 4.2.19
io.dropwizard.metrics 核心指标 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 指标-健康检查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics 指标-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy (Netty处理器代理) 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow 箭头-内存-核心 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive 蜂巢存储API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 听众注释 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute（动物园管理员-jute） 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api（Eclipse集合API库） 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 垫片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 兼容 ScalaTest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on