通过

Databricks Runtime 16.0（Beta 版本）

  • 项目

重要

Databricks Runtime 16.0 目前以 Beta 版提供。 在 Beta 版中，支持的环境的内容可能会发生更改。 更改可能包括包列表或已安装包的版本的列表。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.0 的相关信息。

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。

行为更改

群集库安装方法不能再被重写

Spark 配置 spark.databricks.libraries.enableSparkPyPI、spark.databricks.libraries.enableMavenResolution 和 spark.databricks.libraries.enableCRANResolutionnow 现在默认为 true，且不能被重写。

JDK 17 现在是默认值

[重大更改] 在 Databricks Runtime 16.0 及更高版本上，默认 JDK 版本从 JDK 8 切换到 JDK 17。 做出这一更改是因为计划弃用和终止对 JDK 8 的支持。 这会影响以下内容：

  • 在 Azure Databricks 计算上运行的 Java 代码必须与 Java 17 兼容。
  • 笔记本或 Azure Databricks 计算中运行的 Scala 代码必须与 Java 17 兼容。
  • 在计算上安装的 Java 和 Scala 库必须与 Java 17 兼容。
  • 2.x 以下版本的 Apache Hive 元存储客户端。 将 Spark 配置 spark.sql.hive.metastore.version 设置为低于 2.x 的版本将导致 Java 17 的兼容性问题，以及与 Hive 元存储连接失败。 Databricks 建议将 Hive 升级到 2.0.0 以上的版本。

如果需要还原到 Java 8，请在配置 Azure Databricks 计算时将以下内容添加到 Spark 环境变量：

JNAME=zulu8-ca-amd64

如果使用 ARM 实例，请使用以下内容：

JNAME=zulu8-ca-arm64

若要详细了解如何使用 Azure Databricks 计算指定 JDK 版本，请参阅创建使用 JDK 17 的群集。

有关从 Java 8 迁移代码的帮助，请参阅以下指南：

群集范围库安装的默认超时时间为两小时

在 Databricks Runtime 16.0 及更高版本上，群集范围库安装的默认超时时间为两小时。 超过此超时时间的库安装将失败，安装将终止。 配置群集时，可以使用 Spark 配置 spark.databricks.driver.clusterLibraryInstallationTimeoutSec 更改超时期限。

禁用从 DBFS 安装库和设置 spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed

为了提高 Databricks 工作区中库的安全性，在 Databricks Runtime 16.0 及更高版本中完全禁用从 DBFS 安装库。 此外，不能再在 Databricks Runtime 16.0 及更高版本上使用 Spark 配置 spark.databricks.driver.dbfsLibraryInstallationAllowed。

新增功能和改进

对 %autoreload 的改进使 Python 模块与源代码保持同步

从 DBR 版本 16.0 开始，从工作区文件存储导入 Python 模块时，如果该模块自上次导入以来发生了更改，Databricks 会自动建议使用 %autoreload。 请参阅Python 模块的自动加载。

Python 和 Scala Delta API 对标识列的支持

现在，可以使用用于 Python 和 Scala 的 Delta API 创建具有标识列的表。 请参阅在 Delta Lake 中使用标识列。

在流式写入期间创建 liquid 聚类分析表

现在，可以使用 clusterBy 启用 liquid 聚类分析，同时使用结构化流式处理写入创建新表。 请参阅启用 liquid 聚类分析。

OPTIMIZE FULL

Databricks Runtime 16.0 支持 OPTIMIZE FULL 命令。 此子句优化整个表，包括以前可能已聚集的数据。

新的 SQL 函数

以下新的 SQL 函数已添加到 Rancher Runtime 16.0 中：

  • try_url_decode

    此函数提供了 url_decode 的容错版本，如果输入不是有效的 URL 编码字符串，则返回 NULL。

  • zeroifnull

    如果输入为 NULL，则返回 0；如果输入不是 NULL，则返回其输入。

  • nullifzero

    如果输入为 0，则返回 NULL；如果输入不是 0，则返回其输入。

库升级

  • 升级了 Python 库：
    • azure-core（从 1.30.2 升级到 1.31.0）
    • azure-storage-blob 已从 12.19.1 升级到 12.23.0
    • azure-storage-file-datalake 已从 12.14.0 升级到 12.17.0
    • black 已从 23.3.0 升级到 24.4.2
    • blinker 已从 1.4 升级到 1.7.0
    • boto3 已从 1.34.39 升级到 1.34.69
    • botocore 已从 1.34.39 升级到 1.34.69
    • certifi 已从 2023.7.22 升级到 2024.6.2
    • cffi 已从 1.15.1 升级到 1.16.0
    • click 已从 8.0.4 升级到 8.1.7
    • comm 从 0.1.2 到 0.2.1
    • contourpy 从 1.0.5 到 1.2.0
    • cryptography 已从 41.0.3 升级到 42.0.5
    • Cython 已从 0.29.32 升级到 3.0.11
    • databricks-sdk 从 0.20.0 到 0.30.0
    • dbus-python 已从 1.2.18 升级到 1.3.2
    • filelock 从 3.13.4 到 3.15.4
    • fonttools 从 4.25.0 到 4.51.0
    • GitPython 已从 3.1.43 升级到 3.1.37
    • google-api-core 已从 2.18.0 升级到 2.20.0
    • google-auth 已从 2.31.0 升级到 2.35.0
    • google-cloud-storage 已从 2.17.0 升级到 2.18.2
    • google-crc32c 已从 1.5.0 升级到 1.6.0
    • google-resumable-media（从 2.7.1 升级到 2.7.2）
    • googleapis-common-protos 已从 1.63.2 升级到 1.65.0
    • httplib2 从 0.20.2 到 0.20.4
    • idna 已从 3.4 升级到 3.7
    • ipykernel 已从 6.25.1 升级到 6.28.0
    • ipython 已从 8.15.0 升级到 8.25.0
    • jedi 已从 0.18.1 升级到 0.19.1
    • jmespath 从 0.10.0 到 1.0.1
    • joblib 已从 1.2.0 升级到 1.4.2
    • jupyter_client 已从 7.4.9 升级到 8.6.0
    • jupyter_core 已从 5.3.0 升级到 5.7.2
    • launchpadlib 从 1.10.16 到 1.11.0
    • lazr.restfulclient 从 0.14.4 到 0.14.6
    • matplotlib 已从 3.7.2 升级到 3.8.4
    • mlflow-skinny 已从 2.11.4 升级到 2.15.1
    • more-itertools 从 8.10.0 到 10.3.0
    • mypy-extensions 已从 0.4.3 升级到 1.0.0
    • nest-asyncio 已从 1.5.6 升级到 1.6.0
    • numpy 已从 1.23.5 升级到 1.26.4
    • oauthlib 从 3.2.0 到 3.2.2
    • packaging 已从 23.2 升级到 24.1
    • patsy 已从 0.5.3 升级到 0.5.6
    • pip 已从 23.2.1 升级到 24.2
    • plotly 已从 5.9.0 升级到 5.22.0
    • prompt-toolkit 已从 3.0.36 升级到 3.0.43
    • pyarrow 由 14.0.1 升级为 15.0.2
    • pydantic 从 1.10.6 到 2.8.2
    • PyGObject 已从 3.42.1 升级到 3.48.2
    • PyJWT 从 2.3.0 到 2.7.0
    • pyodbc 已从 4.0.38 升级到 5.0.1
    • python-dateutil 已从 2.8.2 升级到 2.9.0.post0
    • python-lsp-jsonrpc 从 1.1.1 到 1.1.2
    • pytz 已从 2022.7 升级到 2024.1
    • PyYAML 已从 6.0 升级到 6.0.1
    • pyzmq 已从 23.2.0 升级到 25.1.2
    • requests 已从 2.31.0 升级到 2.32.2
    • scikit-learn 已从 1.3.0 升级到 1.4.2
    • scipy 已从 1.11.1 升级到 1.13.1
    • seaborn 由 0.12.2 升级为 0.13.2
    • setuptools 已从 68.0.0 升级到 74.0.0
    • smmap 已从 5.0.1 升级到 5.0.0
    • sqlparse 已从 0.5.0 升级到 0.5.1
    • statsmodels 已从 0.14.0 升级到 0.14.2
    • tornado 由 6.3.2 升级为 6.4.1
    • traitlet 已从 5.7.1 升级到 5.14.3
    • typing_extensions 已从 4.10.0 升级到 4.11.0
    • ujson 已从 5.4.0 升级到 5.10.0
    • virtualenv 已从 20.24.2 升级到 20.26.2
    • wheel 已从 0.38.4 升级到 0.43.0
    • zipp 从 3.11.0 到 3.17.0
  • 升级了 R 库：
    • arrow 已从 14.0.0.2 升级到 16.1.0
    • backports 已从 1.4.1 升级到 1.5.0
    • base 已从 4.3.2 升级到 4.4.0
    • bitops 已从 1.0-7 升级到 1.0-8
    • 启动文件已从 1.3-28 升级到 1.3-30
    • brio 已从 1.1.4 升级到 1.1.5
    • broom 已从 1.0.5 升级到 1.0.6
    • bslib 从 0.6.1 到 0.8.0
    • cachem 已从 1.0.8 升级到 1.1.0
    • callr 从 3.7.3 到 3.7.6
    • cli 已从 3.6.2 升级到 3.6.3
    • clock 已从 0.7.0 升级到 0.7.1
    • cluster 已从 2.1.4 升级到 2.1.6
    • codetools 已从 0.2-19 升级到 0.2-20
    • colorspace 已从 2.1-0 升级到 2.1-1
    • compiler 已从 4.3.2 升级到 4.4.0
    • crayon 已从 1.5.2 升级到 1.5.3
    • curl 已从 5.2.0 升级到 5.2.1
    • data.table 从 1.15.0 到 1.15.4
    • datasets 已从 4.3.2 升级到 4.4.0
    • DBI 已从 1.2.1 升级到 1.2.3
    • dbplyr 已从 2.4.0 升级到 2.5.0
    • digest 从 0.6.34 到 0.6.36
    • downlit 已从 0.4.3 升级到 0.4.4
    • evaluate 已从 0.23 升级到 0.24.0
    • farver 已从 2.1.1 升级到 2.1.2
    • fastmap 已从 1.1.1 升级到 1.2.0
    • foreign 已从 0.8-85 升级到 0.8-86
    • fs 已从 1.6.3 升级到 1.6.4
    • future 已从 1.33.1 升级到 1.34.0
    • future.apply 已从 1.11.1 升级到 1.11.2
    • gert 已从 2.0.1 升级到 2.1.0
    • ggplot2 已从 3.4.4 升级到 3.5.1
    • gh 已从 1.4.0 升级到 1.4.1
    • globals 已从 0.16.2 升级到 0.16.3
    • graphics 已从 4.3.2 升级到 4.4.0
    • grDevices 已从 4.3.2 升级到 4.4.0
    • grid 已从 4.3.2 升级到 4.4.0
    • gt 已从 0.10.1 升级到 0.11.0
    • gtable 已从 0.3.4 升级到 0.3.5
    • hardhat 已从 1.3.1 升级到 1.4.0
    • highr 已从 0.10 升级到 0.11
    • htmltools 已从 0.5.7 升级到 0.5.8.1
    • httpuv 已从 1.6.14 升级到 1.6.15
    • httr2 从 1.0.0 到 1.0.2
    • ipred 已从 0.9-14 升级到 0.9-15
    • KernSmooth 已从 2.23-21 升级到 2.23-22
    • knitr 从 1.45 到 1.48
    • lattice 从 0.21-8 升级到 0.22-5
    • lava 已从 1.7.3 升级到 1.8.0
    • markdown 已从 1.12 升级到 1.13
    • MASS 已从 7.3-60 升级到 7.3-60.0.1
    • Matrix 已从 1.5-4.1 升级为 1.6-5
    • methods 已从 4.3.2 升级到 4.4.0
    • mgcv 从 1.8-42 到 1.9-1
    • mlflow 已从 2.10.0 升级到 2.14.1
    • munsell 已从 0.5.0 升级到 0.5.1
    • nlme 已从 3.1-163 升级到了 3.1-165
    • openssl 已从 2.1.1 升级到 2.2.0
    • parallel 已从 4.3.2 升级到 4.4.0
    • parallelly 已从 1.36.0 升级到 1.38.0
    • pkgbuild 已从 1.4.3 升级到 1.4.4
    • pkgdown 已从 2.0.7 升级到 2.1.0
    • pkgload 从 1.3.4 到 1.4.0
    • processx 已从 3.8.3 升级到 3.8.4
    • prodlim 已从 2023.08.28 升级到 2024.06.25
    • promises 从 1.2.1 到 1.3.0
    • ps 已从 1.7.6 升级到 1.7.7
    • ragg 已从 1.2.7 升级到 1.3.2
    • Rcpp 已从 1.0.12 升级到 1.0.13
    • RcppEigen 已从 0.3.3.9.4 升级到 0.3.4.0.0
    • reactR 已从 0.5.0 升级到 0.6.0
    • recipes 从 1.0.9 到 1.1.0
    • remotes 从 2.4.2.1 到 2.5.0
    • reprex 已从 2.1.0 升级到 2.1.1
    • rlang 从 1.1.3 到 1.1.4
    • rmarkdown 已从 2.25 升级到 2.27
    • roxygen2 已从 7.3.1 升级到 7.3.2
    • rpart 已从 4.1.21 升级到 4.1.23
    • RSQLite 已从 2.3.5 升级到 2.3.7
    • rstudioapi 已从 0.15.0 升级到到 0.16.0
    • rvest 从 1.0.3 到 1.0.4
    • sass 已从 0.4.8 升级到 0.4.9
    • shape 已从 1.4.6 升级到 1.4.6.1
    • shiny 从 1.8.0 到 1.9.1
    • sparklyr 已从 1.8.4 升级到 1.8.6
    • spatial 已从 7.3-15 升级到 7.3-17
    • splines 已从 4.3.2 升级到 4.4.0
    • stats 已从 4.3.2 升级到 4.4.0
    • stats4 已从 4.3.2 升级到 4.4.0
    • stringi 从 1.8.3 到 1.8.4
    • survival 已从 3.5-5 升级到 3.6-4
    • swagger 已从 3.33.1 升级到 5.17.14.1
    • systemfonts 从 1.0.5 到 1.1.0
    • tcltk 已从 4.3.2 升级到 4.4.0
    • testthat 从 3.2.1 到 3.2.1.1
    • textshaping 从 0.3.7 到 0.4.0
    • tidyselect 已从 1.2.0 升级到 1.2.1
    • tinytex 从 0.49 到 0.52
    • tools 已从 4.3.2 升级到 4.4.0
    • usethis 从 2.2.2 到 3.0.0
    • utils 已从 4.3.2 升级到 4.4.0
    • uuid 已从 1.2-0 升级到 1.2-1
    • V8 已从 4.4.1 升级到 4.4.2
    • withr 已从 3.0.0 升级到 3.0.1
    • xfun 从 0.41 到 0.46
    • Xopen 已从 1.0.0 升级到 1.0.1
    • yaml 已从 2.3.8 升级到 2.3.10
  • 升级了 Java 库：
    • com.google.protobuf.protobuf-java 已从 2.6.1 升级到 3.25.1
    • io.airlift.aircompressor 已从 0.25 升级到 0.27
    • io.delta.delta-sharing-client_2.12 已从 1.1.2 升级到 1.2.0
    • org.rocksdb.rocksdbjni 已从 8.11.4 升级到 9.2.1
    • org.scalactic.scalactic_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-compatible 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-core_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-freespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-propspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-refspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest_2.12 已从 3.2.15 升级到 3.2.16

Apache Spark

Databricks Runtime 16.0 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.4 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] 当修剪 GetArrayStructFields 时，OptimizeCsvJsonExpr 不应更改模式字段
  • [SPARK-49816] [SC-177896][SQL] 应仅更新引用的外部 CTE 关系的 out-going-ref-count
  • [SPARK-48939] [SC-177022][SC-172766][AVRO] 支持使用递归模式引用读取 Avro
  • [SPARK-49688] [SC-177468][ES-1242349][CONNECT] 修复中断和执行计划之间的数据争用
  • [SPARK-49771] [SC-177466][PYTHON] 改进输出行超过输入行时 Pandas 标量迭代器 UDF 错误
  • [SPARK-48866] [SC-170772][SQL] 修复 INVALID_PARAMETER_VALUE.CHARSET 的错误消息中有效字符集的提示
  • [SPARK-48195] [FIXFORWARD][SC-177267][CORE] 保存并重复使用 SparkPlan 创建的 RDD/广播
  • [SPARK-49585] [CONNECT] 将 SessionHolder 中的执行映射替换为 operationID 集
  • [SPARK-49211] [SC-174257][SQL] V2 目录还可以支持内置数据源
  • [SPARK-49684] 最小化会话还原锁的生存期
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] java 端的结构化日志框架
  • [SPARK-48857] [SC-170661][SQL] 限制 CSVOptions 中的字符集
  • [SPARK-49152] [SC-173690][SQL] V2SessionCatalog 应使用 V2Command
  • [SPARK-42846] [SC-176588][SQL] 移除错误条件 _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][CORE] 保存并重复使用 SparkPlan 创建的 RDD/广播
  • [SPARK-49630] [SC-177379][SS] 添加平展选项，使用状态数据源读取器处理收集类型
  • [SPARK-49699] [SC-177154][SS] 为流式处理工作负荷禁用 PruneFilters
  • [SPARK-48781] [SC-175282][SQL] 添加用于加载存储过程的目录 API
  • [SPARK-49667] [SC-177068][SQL] 不允许使用 StringSearch 的表达式的 CS_AI 排序规则
  • [SPARK-49737] [SC-177207][SQL] 对复杂类型中的排序规则列禁用存储桶
  • [SPARK-48712] [SC-169794][SQL] 使用空值或 UTF-8 字符集编码的性能改进
  • [SPARK-49038] [SC-173933][SQL] SQLMetric 应在累加器更新事件中报告原始值
  • [SPARK-48541] [SC-169066][CORE] 为 TaskReaper 终止的执行程序添加新的退出代码
  • [SPARK-48774] [SC-170138][SQL] 在 SQLImplicits 中使用 SparkSession
  • [SPARK-49719] [SC-177139][SQL] 使 UUID 和 SHUFFLE 接受整数 seed
  • [SPARK-49713] [SC-177135][PYTHON][CONNECT] 使函数 count_min_sketch 接受数字参数
  • [SPARK-47601] [SC-162499][GRAPHX] Graphx：将带变量的日志迁移到结构化日志记录框架
  • [SPARK-49460] [SC-177237][SQL] 跟进：修复潜在的 NPE 风险
  • [SPARK-49738] [SC-177219][SQL] Endswith bug 修复
  • [SPARK-48623] [SC-170822][CORE] 结构化日志记录迁移 [第 3 部分]
  • [SPARK-49677] [SC-177148][SS] 确保在提交时写入更改日志文件，并重置 forceSnapshot 标志
  • [SPARK-49684] [SC-177040][CONNECT] 从会话和执行管理器中删除全局锁
  • [SPARK-48302] [SC-168814][PYTHON] 在 PyArrow 表中的映射列中保留 null 值
  • [SPARK-48601] [SC-169025][SQL] 为 JDBC 选项设置 null 值时，提供更用户友好的错误消息
  • [SPARK-48635] [SC-169263][SQL] 将类分配到联接类型错误和联接时错误
  • [SPARK-49673] [SC-177032][CONNECT] 将 CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 增加到 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][PYTHON][CONNECT] 优化 timedelta 的字符串表示形式
  • [SPARK-49687] [SC-176901][SQL] validateAndMaybeEvolveStateSchema 中的延迟排序
  • [SPARK-49718] [SC-177112][PS] 将 Scatter 绘图切换到采样数据
  • [SPARK-48472] [SC-169044][SQL] 启用带已排序字符串的反射表达式
  • [SPARK-48484] [SC-167484][SQL] 修复：V2Write 对不同的任务尝试使用相同的 TaskAttemptId
  • [SPARK-48341] [SC-166560][CONNECT] 允许插件在其测试中使用 QueryTest
  • [SPARK-42252] [SC-168723][CORE] 添加 spark.shuffle.localDisk.file.output.buffer，并弃用 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][SS] 不要使用 Trigger.AvailableNow 为 FileStreamSource 双重缓存文件
  • [SPARK-49567] [SC-176241][PYTHON] 使用 PySpark 代码库中的 classic 而不是 vanilla
  • [SPARK-48374] [SC-167596][PYTHON] 支持其他 PyArrow 表列类型
  • [SPARK-48300] [SC-166481][SQL] 对 from_xml 的 Codegen 支持
  • [SPARK-49412] [SC-177059][PS] 计算单个作业中的所有框绘图指标
  • [SPARK-49692] [SC-177031][PYTHON][CONNECT] 优化文本日期和时间的字符串表示形式
  • [SPARK-49392] [ES-1130351][SC-176705][SQL] 在未能写入外部数据源时捕获错误
  • [SPARK-48306] [SC-166241][SQL] 改进错误消息中的 UDT
  • [SPARK-44924] [SC-166379][SS] 添加 FileStreamSource 缓存文件的配置文件
  • [SPARK-48176] [SC-165644][SQL] 调整 FIELD_ALREADY_EXISTS 错误条件的名称
  • [SPARK-49691] [SC-176988][PYTHON][CONNECT] 函数 substring 应接受空列名称
  • [SPARK-49502] [SC-176077][CORE] 在 SparkEnv.get.shuffleManager.unregisterShuffle 中避免 NPE
  • [SPARK-49244] [SC-176703][SQL] 分析器/解释器的进一步异常改进
  • [SPARK-48355] [SC-176684][SQL] 支持 CASE 语句
  • [SPARK-49355] [SC-175121][SQL] levenshtein 应检查所有参数类型的 collation 值是否相同
  • [SPARK-49640] [SC-176953][PS] 在 SampledPlotBase 中应用储层取样
  • [SPARK-49678] [SC-176857][CORE] 支持 SparkSubmitArguments 中的 spark.test.master
  • [SPARK-49680] [SC-176856][PYTHON] 默认情况下，将 Sphinx 并行生成功能限制为 4
  • [SPARK-49396] 还原 "[SC-176030][SQL] 修改 CaseWhen 表达式的可为 Null 性检查”
  • [SPARK-48419] [SC-167443][SQL] 可折叠传播取代可折叠列应…
  • [SPARK-49556] [SC-176757][SQL] 为 SELECT 运算符添加 SQL 管道语法
  • [SPARK-49438] [SC-175237][SQL] 修复 FromAvro & ToAvro 表达式的友好名称。
  • [SPARK-49659] [SC-1229924][SQL] 在 VALUES 子句中为标量子查询添加一个面向用户的错误
  • [SPARK-49646] [SC-176778][SQL] 修复当 parentOuterReferences 的引用未包含在 collectedChildOuterReferences 中时，并集/集操作的子查询去相关问题
  • [SPARK-49354] [SC-175034][SQL] split_part 应检查所有参数类型的 collation 值是否相同
  • [SPARK-49478] [SC-175914][CONNECT] 处理 ConnectProgressExecutionListener 中的 null 指标
  • [SPARK-48358] [SC-176374][SQL] 支持 REPEAT 语句
  • [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable 应遵循 PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][SQL] 介绍 TVF collations() & 并删除 SHOW COLLATIONS 命令
  • [SPARK-49261] [SC-176589][SQL] 不要将聚合表达式中的文本替换为分组表达式
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49594] [SC-176569][SS] 添加检查是否添加或删除了 columnFamilies 以写入 StateSchemaV3 文件
  • [SPARK-49578] [SC-176385][SQL] 删除 CAST_INVALID_INPUT 和 CAST_OVERFLOW 中的 ANSI 配置建议
  • [SPARK-48882] [SC-174256][SS] 将名称分配给流式处理输出模式相关的错误类
  • [SPARK-49155] [SC-176506][SQL][SS] 使用更适当的参数类型构造 GenericArrayData
  • [SPARK-49519] [SC-176388][SQL] 构造 FileScanBuilder 时合并表和关系选项
  • [SPARK-49591] [SC-176587][SQL] 将逻辑类型列添加到变体自述文件
  • [SPARK-49596] [SC-176423][SQL] 提高 FormatString 的性能
  • [SPARK-49525] [SC-176044][SS][CONNECT] 对服务器端流式查询 ListenerBus 侦听器的日志进行小幅改进
  • [SPARK-49583] [SC-176272][SQL] 为无效的秒分数模式定义错误子条件 SECONDS_FRACTION
  • [SPARK-49536] [SC-176242] 处理 Python 流式处理数据源记录预提取中的错误
  • [SPARK-49443] [SC-176273][SQL][PYTHON] 实现 to_variant_object 表达式，并使 schema_of_variant 表达式为变量对象打印 OBJECT
  • [SPARK-49544] [SASP-3990][SC-176557][CONNECT] 用 ConcurrentMap 替换 SparkConnectExecutionManager 中的粗锁
  • [SPARK-49548] [SASP-3990][SC-176556][CONNECT] 用 ConcurrentMap 替换 SparkConnectSessionManager 中的粗锁
  • [SPARK-49551] [SC-176218][SS] 改进 replayChangelog 的 RocksDB 日志
  • [SPARK-49595] [SC-176396][CONNECT][SQL] 修复 Spark Connect Scala 客户端中的 DataFrame.unpivot/melt
  • [SPARK-49006] [SC-176162] 实现对 OperatorStateMetadataV2 和 StateSchemaV3 文件的清除
  • [SPARK-49600] [SC-176426][PYTHON] 从 try_simplify_traceback 中删除与 Python 3.6 and older 相关的逻辑
  • [SPARK-49303] [SC-176013][SS] 在 transformWithStateInPandas API 中实现 ValueState 的 TTL
  • [SPARK-49191] [SC-176243][SS] 添加对使用状态数据源读取器读取 transformWithState 映射状态变量的支持
  • [SPARK-49593] [SC-176371][SS] 如果发现错误，则会在 DB 关闭时向调用者抛出 RocksDB 异常
  • [SPARK-49334] [SC-174803][SQL] str_to_map 应检查所有参数类型的 collation 值是否相同
  • [SPARK-42204] [SC-176126][CORE] 添加用于在事件日志中禁用 TaskMetrics 内部累积器冗余日志记录的选项
  • [SPARK-49575] [SC-176256][SS] 仅当 acquiredThreadInfo 不为 null 时，才添加锁定释放的日志记录
  • [SPARK-49539] [SC-176250][SS] 将内部 col 系列的起始标识符更新为其他标识符
  • [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning 应继承 HashPartitioningLike
  • [SPARK-49396] [SC-176030][SQL] 修改 CaseWhen 表达式的可为 Null 性检查
  • [SPARK-49476] [SC-175700][SQL] 修复 base64 函数的可为 Null 性
  • [SPARK-47262] [SC-174829][SQL] 将名称分配给 parquet 转换的错误条件
  • [SPARK-47247] [SC-158349][SQL] 使用分解联接合并分区时，使用较小的目标大小
  • [SPARK-49501] [SC-176166][SQL] 修复表位置的双重转义
  • [SPARK-49083] [SC-173214][CONNECT] 允许 from_xml 和 from_json 在本地使用 json 模式
  • [SPARK-49043] [SC-174673][SQL] 修复包含排序规则字符串的映射上的解释性代码路径组
  • [SPARK-48986] [SC-172265][CONNECT][SQL] 添加 ColumnNode 中间表示
  • [SPARK-49326] [SC-176016][SS] 为 Foreach 接收器用户函数错误的错误类分类
  • [SPARK-48348] [SC-175950][SPARK-48376][SQL] 介绍 LEAVE 和 ITERATE 语句
  • [SPARK-49523] [SC-175949][CONNECT] 增加连接服务器进行测试的最大等待时间
  • [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] 修复通过展开RewriteDistinctAggregates - DBR 版本 16.x “从 t 中选择 count(distinct 1)”，其中 t 为空表
  • [SPARK-49311] [SC-175038][SQL] 使大的“间隔秒”值可以强制转换为十进制值
  • [SPARK-49200] [SC-173699][SQL] 修复 null 类型非 codegen 排序异常
  • [SPARK-49467] [SC-176051][SS] 添加对状态数据源读取器和列表状态的支持
  • [SPARK-47307] [SC-170891][SQL] 将配置添加到可选区块 base64 字符串
  • [SPARK-49391] [SC-176032][PS] 盒须图根据与围栏的距离选择异常值
  • [SPARK-49445] [SC-175845][UI] 支持在 UI 进度条中显示工具提示
  • [SPARK-49451] [SC-175702] 允许 parse_json 中存在重复键。
  • [SPARK-49275] [SC-175701][SQL] 修复 xpath 表达式的返回类型为 null 的问题
  • [SPARK-49021] [SC-175578][SS] 添加对使用状态数据源读取器读取 transformWithState 值状态变量的支持
  • [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] 为 FlatMapGroupsWithState 用户函数错误的错误类分类
  • [SPARK-49408] [SC-175932][SQL] 在 ProjectingInternalRow 中使用 IndexedSeq
  • [SPARK-49509] [SC-175853][CORE] 使用 Platform.allocateDirectBuffer，而不使用 ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][PS] 使框架盒须图正确渲染传单/离群值
  • [SPARK-49002] [SC-172846][SQL] 始终如一地处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
  • [SPARK-49480] [SC-175699][CORE] 修复 SparkThrowableHelper.isInternalError 中的 NullPointerException
  • [SPARK-49477] [SC-175828][PYTHON] 改进 pandas udf 无效返回类型错误消息
  • [SPARK-48693] [SC-169492][SQL] 对 Invoke 和 StaticInvoke 的 toString 进行简化和统一
  • [SPARK-49441] [SC-175716][ML] StringIndexer 对执行程序中的数组进行排序
  • [SPARK-49347] [SC-175004][R] 弃用 SparkR
  • [SPARK-49357] [SC-175227][CONNECT][PYTHON] 垂直截断深度嵌套的 protobuf 消息
  • [SPARK-41982] [SC-120604][SQL] 不应将字符串类型的分区视为数字类型
  • [SPARK-48776] [SC-170452][BEHAVE-72] 修复 json、xml 和 csv 的时间戳格式
  • [SPARK-49223] [SC-174800][ML] 使用内置函数简化 StringIndexer.countByValue
  • [SPARK-49016] 还原“[SC-174663][SQL] 还原仅包含损坏的记录列并为 _LEGACY_ERROR_TEMP_1285 指定名称时不允许从原始 CSV 文件进行查询的行为”
  • [SPARK-49041] [SC-172392][PYTHON][CONNECT] 当给出错误的 subset 时，为 dropDuplicates 提出正确的错误
  • [SPARK-49050] [SC-175235] 在包含虚拟列系列的 TWS 中启用 deleteIfExists 运算符
  • [SPARK-49216] [SC-173919][CORE] 修复了当结构化日志记录配置关闭时，不显式地构造 LogEntry 来记录消息上下文的问题
  • [SPARK-49252] [SC-175596][CORE] 使 TaskSetExcludeList 和 HeathTracker 独立
  • [SPARK-49352] [SC-174971][SQL] 避免对相同表达式进行冗余数组转换
  • [SPARK-42307] [SC-173863][SQL] 为错误 _LEGACY_ERROR_TEMP_2232 分配名称
  • [SPARK-49197] [SC-173732][CORE] 编校 launcher 模块中的 Spark Command 输出
  • [SPARK-48913] [SC-173934][SQL] 实现 IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][PYTHON][SQL] 为“zeroifnull”和“nullifzero”创建 SQL 函数别名
  • [SPARK-48344] [SQL] SQL 脚本执行（包括 Spark Connect）
  • [SPARK-49402] [SC-175122][PYTHON] 修复 PySpark 文档中的 Binder 集成
  • [SPARK-49017] [SC-174664][SQL] 当使用多个参数时，插入语句失败
  • [SPARK-49318] [SC-174733][SQL] 在 LCA 上抢占低优先级错误，直到检查分析结束，以改善错误体验
  • [SPARK-49016] [SC-174663][SQL] 还原仅包含损坏的记录列并为 _LEGACY_ERROR_TEMP_1285 指定名称时不允许从原始 CSV 文件进行查询的行为
  • [SPARK-49387] [SC-175124][PYTHON] 修复 percentile_approx 和 approx_percentile 中 accuracy 的类型提示
  • [SPARK-49131] [SC-174666][SS] 即使使用惰性迭代器，TransformWithState 也应正确设置隐式分组键
  • [SPARK-49301] [SC-174795][SS] 传递给 Python 辅助角色的块箭头数据
  • [SPARK-49039] [SC-174651][UI] 在“阶段”选项卡中加载执行程序指标时重置复选框
  • [SPARK-48428] [SC-169806][SQL]：修复 NestedColumnAliasing 中的 IllegalStateException
  • [SPARK-49353] [SC-174830][SQL] 更新与 UTF-32 编码/解码相关的文档
  • [SPARK-48613] [SC-170966][SQL] SPJ：支持一侧随机排序 + 少于分区键的联接键
  • [SPARK-47473] [SC-160450][BEHAVE-127][SQL] 修复转换 postgres INFINITY 时间戳的正确性问题
  • [SPARK-49142] [SC-173658][CONNECT][PYTHON] 跟进将 proto 还原为字符串性能成本
  • [SPARK-49300] [SC-175008][CORE] 修复未设置 tokenRenewalInterval 时的 Hadoop 委托令牌泄漏。
  • [SPARK-49367] [SC-175012][PS] 并行化多个列的 KDE 计算（plotly 后端）
  • [SPARK-49365] [SC-175011][PS] 简化直方图中的桶聚合
  • [SPARK-49372] [SC-175003][SS] 确保在关闭时将 latestSnapshot 设置为 none，以避免后续使用
  • [SPARK-49341] [SC-174785] 删除 connector/docker，改为 Apache Spark Operator
  • [SPARK-49344] [SC-174894][PS] Spark 上对 Pandas API 的支持 json_normalize
  • [SPARK-49306] [SC-174794][SQL] 创建新的 SQL 函数“zeroifnull”和“nullifzero”
  • [SPARK-48796] [SC-174668][SS] 重启时从 RocksDBCheckpointMetadata 加载 VCF 的列系列 ID
  • [SPARK-49342] [SC-174899][SQL] 将 TO_AVRO SQL 函数“jsonFormatSchema”参数设置为可选
  • [SPARK-48628] [SC-174695][CORE] 添加任务峰值开/关堆内存指标
  • [SPARK-47407] [SC-159379][BEHAVE-126][SQL] 支持将 java.sql.Types.NULL 映射到 NullType
  • [SPARK-48628] [SC-173407][CORE] 添加任务峰值开/关堆内存指标
  • [SPARK-49166] [SC-173987][SQL] 在相关子查询中支持 OFFSET
  • [SPARK-49269] [SC-174676][SQL] 在 AstBuilder 中积极评估 VALUES() 列表
  • [SPARK-49281] [SC-174782][SQL] 使用 getBytesUnsafe 优化 parquet 二进制 getBytes 以避免复制成本
  • [SPARK-49113] [SC-174734] 不断言转换 bug，无提示地接受异常
  • [SPARK-49098] [SC-173253][SQL] 为 INSERT 添加写入选项
  • [SPARK-48638] [SC-174694][FOLLOW][CONNECT] 修复 ExecutionInfo 的文档
  • [SPARK-49250] [ES-1222826][SQL] 改进 CheckAnalysis 中嵌套 UnresolvedWindowExpression 的错误消息
  • [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark 基本实现和 ValueState 支持
  • [SPARK-48966] [SC-174329][SQL] 改进 UDTF 调用中包含无效未解析列引用的错误消息
  • [SPARK-46590] [SC-154115][SQL] 修复合并失败的意外分区索引问题
  • [SPARK-49235] [SC-174159][SQL] 重构 ResolveInlineTables 规则，使其不会遍历整个树
  • [SPARK-49060] [SC-173107][CONNECT] 清理 SQL Connect 二进制兼容性检查的 Mima 规则
  • [SPARK-48762] [SC-172525][SQL] 介绍 Python 的 clusterBy DataFrameWriter API
  • [SPARK-49207] [SC-173852][SQL] 修复 SplitPart 和 StringSplitSQL 中的一对多案例映射
  • [SPARK-49204] [SC-173850][SQL] 修复 StringInstr 和 StringLocate 中的代理项对处理
  • [SPARK-36680] [SC-170640][SQL] 支持 Spark SQL 的动态表选项
  • [SPARK-49204] [SC-173849][SQL] 修复 SubstringIndex 中的代理项对处理
  • [SPARK-49204] [SC-173848][SQL] 修复 StringTrim 中的代理项对处理
  • [SPARK-48967] [SC-173993] 修复 OPTIMIZE_INSERT_INTO_VALUES_PARSER 的向前 SparkConfigOwnershipSuite 测试
  • [SPARK-49204] [SC-173851][SQL] 修复 StringReplace 中的代理项对处理
  • [SPARK-48967] [SC-173993][SQL][16.x] 提高“INSERT INTO...”的性能和内存占用情况... VALUES" 语句
  • [SPARK-49099] 还原 "[SC-173229][SQL] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][SQL] 对 WHILE 语句的支持
  • [SPARK-49128] [SC-173344][CORE] 支持自定义历史服务器 UI 标题
  • [SPARK-49146] [SC-173825][SS] 将追加模式流式查询中与水印丢失相关的断言错误移动到错误框架
  • [SPARK-45787] [SC-172197][SQL] 支持用于聚类分析列的 Catalog.listColumns
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49138] [SC-173483][SQL] 修复多个表达式的 CollationTypeCasts
  • [SPARK-49163] [SC-173666][SQL] 尝试基于损坏的 parquet 分区数据结果创建表应返回面向用户的错误
  • [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] 使用 Spark SQL 重新实现 hist 图
  • [SPARK-49188] [SC-173682][SQL] 在字符串数组中调用 concat_ws 时发生内部错误
  • [SPARK-49137] [SC-173677][SQL] 当 if statement 中的布尔条件无效时，应引发异常
  • [SPARK-49193] [SC-173672][SQL] 提高 RowSetUtils.toColumnBasedSet 的性能
  • [SPARK-46632] [SC-173697][SQL] 修复当等效三元表达式具有不同的子表达式时的子表达式消除
  • [SPARK-49078] [SC-173078][SQL] 支持在 v2 表中显示列语法
  • [SPARK-49141] [SC-173388][SQL] 将变体标记为 hive 不兼容的数据类型
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][CONNECT] 将 SessionHolder.forTesting(...) 移动到测试包
  • [SPARK-49111] [SC-173661][SQL] 将 withProjectAndFilter 移动到DataSourceV2Strategy 的配套对象
  • [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] 使用 Spark SQL 重新实现 kde 图
  • [SPARK-49178] [SC-173673][SQL] 优化 Row#getSeq 的性能，以匹配使用 Spark 3.5 和 Scala 2.12 时的性能
  • [SPARK-49093] [SC-172958][SQL] 将 MapType 嵌套在复杂类型内的 GROUP BY
  • [SPARK-49142] [SC-173469][CONNECT][PYTHON] 降低 Spark Connect 客户端日志级别以进行调试
  • [SPARK-48761] [SC-172048][SQL] 介绍 Scala 的 clusterBy DataFrameWriter API
  • [SPARK-48346] [SC-173083][SQL] 支持 SQL 脚本中的 IF ELSE 语句
  • [SPARK-48338] [SC-173112][SQL] 改进分析器/解释器引发的异常
  • [SPARK-48658] [SC-169474][SQL] 编码/解码函数对不可映射字符报告编码错误，而不是 mojibake
  • [SPARK-49071] [SC-172954][SQL] 删除 ArraySortLike 特征
  • [SPARK-49107] 还原 "还原 "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS 支持 RoutineType""
  • [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState 被错误地重写，无法生成无效的查询计划
  • [SPARK-49114] [SC-173217] 子分类无法加载状态存储错误
  • [SPARK-49107] "还原 "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS 支持 RoutineType"
  • [SPARK-49048] [SC-173223][SS] 添加对在给定批 ID 处读取相关运算符元数据的支持
  • [SPARK-49094] [SC-173049][SQL] 修复关闭 mergeSchema 时 hive 或 impl 的 ignoreCorruptFiles 无法运行的问题
  • [SPARK-49108] [SC-173102][EXAMPLE] 添加 submit_pi.sh REST API 示例
  • [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS 支持 RoutineType
  • [SPARK-48997] [SC-172484][SS] 为维护线程池线程故障实现单个卸载
  • [SPARK-49063] [SC-173094][SQL] 修复了使用 ScalarSubqueries 的 Between
  • [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] 在变体规范中添加对间隔类型的支持
  • [SPARK-49074] [BEHAVE-110][SC-172815][SQL] 修复 df.cache() 的变体
  • [SPARK-49003] [SC-172613][SQL] 修复解释性代码路径哈希，使其具有排序规则意识
  • [SPARK-48740] [SC-172430][SQL] 尽早发现缺少的窗口规范错误
  • [SPARK-48999] [SC-172245][SS] 分割 PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] 使用 OperatorStateMetadataV2 实现 TransformWithStateExec 运算符的验证
  • [SPARK-49053] [SC-172494][PYTHON][ML] 使模型保存/加载帮助程序函数接受 spark 会话
  • [SPARK-49032] [Backport][15.x][SS] 在元数据表条目中添加架构路径，验证预期版本，并为运算符元数据格式 v2 添加与运算符元数据相关的测试
  • [SPARK-49034] [SC-172306][CORE] 支持 REST 提交 API 中的服务器端 sparkProperties 替换
  • [SPARK-48931] [SC-171895][SS] 降低状态存储维护任务的云存储列表 API 成本
  • [SPARK-48849] [SC-172068][SS] 为 TransformWithStateExec 运算符创建 OperatorStateMetadataV2
  • [SPARK-49013] [SC-172322] 更改 scala 中映射和数组类型的 collationsMap 中的键
  • [SPARK-48414] [SC-171884][PYTHON] 修复 python 的 fromJson 中的重大更改
  • [SPARK-48910] [SC-171001][SQL] 使用 HashSet/HashMap 避免在 PreprocessTableCreation 中进行线性搜索
  • [SPARK-49007] [SC-172204][CORE] 改进 MasterPage 以支持自定义标题
  • [SPARK-49009] [SC-172263][SQL][PYTHON] 使列 API 和函数接受枚举
  • [SPARK-49033] [SC-172303][CORE] 支持 REST 提交 API 中的服务器端 environmentVariables 替换
  • [SPARK-48363] [SC-166470][SQL] 清理 from_xml 中的一些冗余代码
  • [SPARK-46743] [SC-170867][SQL][BEHAVE-84] 如果 ScalarSubqery 具有空关系，则折叠后计数 bug
  • [SPARK-49040] [SC-172351][SQL] 修复文档 sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ML] 元算法使用 SparkSession 保存/加载模型
  • [SPARK-48959] [SC-171708][SQL] 进行 NoSuchNamespaceException 扩展 NoSuchDatabaseException 以还原异常处理
  • [SPARK-48996] [SC-172130][SQL][PYTHON] 允许列的和以及或使用裸字面值
  • [SPARK-48990] [SC-171936] 跟进 #101759 - 测试修复
  • [SPARK-48338] [SC-171912][SQL] 检查变量声明
  • [SPARK-48990] [SC-171936][SQL] 统一变量相关的 SQL 语法关键字
  • [SPARK-48988] [SC-171915][ML] 使用 spark 会话使 DefaultParamsReader/Writer 处理元数据
  • [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] 使用 SparkSession.implicits 而不是 SQLContext.implicits
  • [SPARK-48760] [SC-170870][SQL] 修复 CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] 本地检查点 RDD 上调用 .unpersist() 的日志警告
  • [SPARK-48760] [SC-170139][SQL] 介绍 ALTER TABLE … 用于更改聚类分析列的 CLUSTER BY SQL 语法
  • [SPARK-48844] 还原 "[SC-170669][SQL] 当路径为空时，使用 INVALID_EMPTY_LOCATION 而不是 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY”
  • [SPARK-48833] [SC-171914][SQL][VARIANT] 在 InMemoryTableScan 中支持变体
  • [SPARK-48975] [SC-171894][PROTOBUF] 从 protobuf 中删除不必要的 ScalaReflectionLock 定义
  • [SPARK-48970] [SC-171800][PYTHON][ML] 避免在 spark ML 读取器/编写器中使用 SparkSession.getActiveSession
  • [SPARK-48844] [SC-170669][SQL] 当路径为空时，使用 INVALID_EMPTY_LOCATION 而不是 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY
  • [SPARK-48714] [SC-170136] 修复 PySpark 和 UC 中的 df.mergeInto 测试失败的问题
  • [SPARK-48957] [SC-171797][SS] 返回 hdfs 和 rocksdb 提供程序的状态存储负荷上的子分类错误类
  • [SPARK-48891] [Backport][15x][SC-171677][SS] 重构 StateSchemaCompatibilityChecker 以统一所有状态架构格式
  • [SPARK-48972] [SC-171795][PYTHON] 在函数中统一文本字符串处理
  • [SPARK-48388] [SC-171337][SQL] 修复 SQL 脚本的 SET 语句行为
  • [SPARK-48743] [SC-170552][SQL][SS] 当 getStruct 返回 null 时，MergingSessionIterator 应更好地处理
  • [SPARK-48623] [15.x][SC-171322][CORE] 将 FileAppender 日志迁移到结构化日志记录
  • [SPARK-36680] [DBRRM-1123] 还原 "[SC-170640][SQL] 支持 Spark SQL 的动态表选项"
  • [SPARK-48841] [SC-170868][BEHAVE-83][SQL] 包括 Collate 的 collationName 至 sql()
  • [SPARK-48941] [SC-171703][PYTHON][ML] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48938] [SC-171577][PYTHON] 改进注册 Python UDTF 时的错误消息
  • [SPARK-48350] [SC-171040][SQL] Sql 脚本的自定义异常简介
  • [SPARK-48907] [SC-171158][SQL] 修复 COLLATION_MISMATCH.EXPLICIT 中的值 explicitTypes
  • [SPARK-48945] [SC-171658][PYTHON] 使用 lit 简化 regex 函数
  • [SPARK-48944] [SC-171576][CONNECT] 在 Connect 服务器中统一 JSON 格式架构处理
  • [SPARK-48836] [SC-171569] 将 SQL 架构与状态架构/元数据集成
  • [SPARK-48946] [SC-171504][SQL] 当会话为 null 时，编校方法中的 NPE
  • [SPARK-48921] [SC-171412][SQL] 子查询中的 ScalaUDF 编码器应解析为 MergeInto
  • [SPARK-45155] [SC-171048][CONNECT] 为 Spark Connect JVM/Scala 客户端添加 API 文档
  • [SPARK-48900] [SC-171319] 为 cancelJobGroup 和 cancelJobsWithTag 添加 reason 字段
  • [SPARK-48865] [SC-171154][SQL] 添加 try_url_decode 函数
  • [SPARK-48851] [SC-170767][SQL] 将 SCHEMA_NOT_FOUND 的值从 namespace 更改为 catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] 在 Spark Connect 中支持 UDAF toColumn API
  • [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] 使 from_xml 支持 StructType 架构
  • [SPARK-48930] [SC-171304][CORE] 通过包含 accesskey 模式来编校 awsAccessKeyId
  • [SPARK-48909] [SC-171080][ML][MLLIB] 在编写元数据时使用 SparkSession over SparkContext
  • [SPARK-48883] [SC-171133][ML][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48924] [SC-171313][PS] 添加类似 pandas 的 make_interval 帮助程序函数
  • [SPARK-48884] [SC-171051][PYTHON] 删除未使用的帮助程序函数 PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][SQL] 积极一起执行联合多命令
  • [SPARK-48896] [SC-171079][ML][MLLIB] 避免在写出元数据时重新分区
  • [SPARK-48892] [SC-171127][ML] 避免在 Tokenizer 中读取每行参数
  • [SPARK-48927] [SC-171227][CORE] 显示 StoragePage 中缓存的 RDD 数量
  • [SPARK-48886] [15.x][Backport][SC-171039][SS] 将版本信息添加到 changelog v2，以简化演变
  • [SPARK-48903] [SC-171136][SS] 在远程加载时正确设置 RocksDB 上最后一个快照版本
  • [SPARK-48742] [SC-170538][SS] RocksDB 的虚拟列系列
  • [SPARK-48726] [15.x][SC-170753][SS] 创建 StateSchemaV3 文件格式，并为 TransformWithStateExec 运算符写出此格式
  • [SPARK-48794] [SC-170882][CONNECT][15.x] df.mergeInto 支持 Spark Connect（Scala 和 Python）
  • [SPARK-48714] [SC-170136][PYTHON] 在 PySpark 中实现 DataFrame.mergeInto
  • [SPARK-48772] [SC-170642][SS][SQL] 状态数据源更改源读取器模式
  • [SPARK-48666] [SC-170887][SQL] 如果筛选器包含 PythonUDF，则不要向下推筛选器
  • [SPARK-48845] [SC-170889][SQL] GenericUDF 从子级捕获异常
  • [SPARK-48880] [SC-170974][CORE] 如果驱动程序插件无法初始化，请避免引发 NullPointerException
  • [SPARK-48888] [Backport][15x][SC-170973][SS] 根据 changelog 操作大小删除快照创建
  • [SPARK-48871] [SC-170876] 修复 INVALID_NON_DETERMINISTIC_EXPRESSIONS 验证…
  • [SPARK-48883] [SC-170894][ML][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-36680] [SC-170640][SQL] 支持 Spark SQL 的动态表选项
  • [SPARK-48804] [SC-170558][SQL] 添加 classIsLoadable & OutputCommitter.isAssignableFrom 检查输出提交器类配置
  • [SPARK-46738] [SC-170791][PYTHON] 重新启用一组文档测试
  • [SPARK-48858] [SC-170756][PYTHON] 删除 log_communication.py 中 Thread 的已弃用的 setDaemon 方法调用
  • [SPARK-48639] [SC-169801][CONNECT][PYTHON] 将 Origin 添加到 RelationCommon
  • [SPARK-48863] [SC-170770][ES-1133940][SQL] 修复在启用“spark.sql.json.enablePartialResults”的情况下解析 JSON 时的 ClassCastException
  • [SPARK-48343] [SC-170450][SQL] 介绍 SQL 脚本解释器
  • [SPARK-48529] [SC-170755][SQL] SQL 脚本中标签的简介
  • [SPARK-45292] 还原“[SC-151609][SQL][HIVE] 从 IsolatedClientLoader 中删除共享类的 Guava”
  • [SPARK-48037] [SC-165330][CORE][3.5] 修复 SortShuffleWriter 缺少随机写入相关指标，导致数据可能不准确的问题
  • [SPARK-48720] [SC-170551][SQL] 在 v1 和 v2 中对齐命令 ALTER TABLE ... UNSET TBLPROPERTIES ...
  • [SPARK-48485] [SC-167825][CONNECT][SS] 支持流式处理查询中的 interruptTag 和 interruptAll
  • [SPARK-45292] [SC-151609][SQL][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava
  • [SPARK-48668] [SC-169815][SQL] 支持 ALTER NAMESPACE … v2 中的 UNSET 属性
  • [SPARK-47914] [SC-165313][SQL] 不要在 Range 中显示拆分参数
  • [SPARK-48807] [SC-170643][SQL] 对 CSV 数据源的二进制支持
  • [SPARK-48220] [SC-167592][PYTHON][15.X] 允许将 PyArrow 表传递给 createDataFrame()
  • [SPARK-48545] [SC-169543][SQL] 创建 to_avro 和 from_avro SQL 函数以匹配 DataFrame 等效项
  • [SPARK-47577] [SC-168875][SPARK-47579] 纠正错误使用日志键 TASK_ID

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

  • 操作系统：Ubuntu 24.04.1 LTS
  • Java：Zulu17.50+19-CA
  • Scala：2.12.18
  • Python：3.12.3
  • R：4.4.0
  • Delta Lake: 3.2.1

已安装的 Python 库

库 版本 库 版本 库 版本
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 单击 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
密码系统 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbu-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 已放弃 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 执行 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
打包 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
请求 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

已安装的 R 库

R 库安装自 Posit Package Manager CRAN 快照。

库 版本 库 版本 库 版本
箭头 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 启动 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 CLI 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 凭据 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 评估 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
矩阵 1.6-5 memoise 2.0.1 方法 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.52 工具 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
stax stax-api 1.0.1