Compartir a través de

Databricks Runtime 13.0 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.0 的相关信息。

Databricks 于 2023 年 4 月发布此版本。

新增功能和改进

H3 表达式现在支持线性地理区域

h3_coverash3 和 h3_coverash3string 函数现在支持线性（linestring 和 multilinestring）地理区域。 这些函数按指定的分辨率生成一组覆盖最少的 H3 单元格。 请参阅 h3_coverash3 和 h3_coverash3string。

Ganglia 已由群集指标取代

在 Databricks Runtime 13 及更高版本中，Ganglia 指标已由 Azure Databricks 群集指标取代。 在 Databricks Runtime 12 及更低版本中，可以继续使用 Ganglia 指标。 如果你的工作流依赖于群集指标无法满足的 Ganglia 指标，请联系 Azure Databricks 帐户团队。 请参阅查看计算指标。

Spark 3.4.0 已发布

Apache Spark 3.4.0 现已推出正式版。 请参阅 Spark 版本 3.4.0。

如果在查询规划和执行这段时间修改了文件，Photon 会返回错误

如果在查询规划和执行这段时间更新了文件，Photon 查询现在会返回错误。 在进行这种更改之前，即使文件修改时间在查询规划和执行这段时间发生变化，Photon 也会读取该文件，这可能导致不可预测的结果。

预测 I/O 的新功能

Photon 现在支持通过 {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } 为 ROWS 和 RANGE 模式使用滑动框架。

延长了对预测 I/O 功能的支持

Photon 延长了对 CSV、AVRO、数据帧缓存数据源的支持（适用于架构只包含标量列的情况）。 此外，延长了对映射、结构和数组等嵌套类型的支持。

使用 Databricks 连接器连接到另一个 Databricks 工作区

使用 Azure Databricks 连接器，可以连接到另一个工作区中配置的计算资源，并将结果返回到当前的 Azure Databricks 工作区。 Azure Databricks JDBC 驱动程序现在包含在 Databricks Runtime 中。 请参阅使用 Databricks 连接器连接到另一个 Databricks 工作区。

在 Unity Catalog 上使用共享群集进行结构化流式处理的其他 Kafka 选项

在共享访问群集上使用结构化流式处理时，现在可以使用设置 kakfa.ssl.truststore.location 和 kafak.ssl.keystore.location 将 Kafka 证书存储在由 Unity Catalog 管理的外部位置。 不能使用 DBFS 根中的位置。

使用结构化流式处理跳过 Delta 表修改

现在可以使用 skipChangeCommits 忽略 Delta 表的 UPDATE、MERGE 和 DELETE 操作的数据更改提交。 此功能取代了现已弃用的 ignoreChanges。 请参阅忽略更新和删除。

Delta 表的 CREATE TABLE LIKE 功能

在使用 Delta 表时，现在支持 CREATE TABLE LIKE。

表示文件块开始和长度的新元数据列字段

现在，可以使用 _metadata 列获取输入文件的以下元数据信息：file_block_start 和 file_block_length。 有关详细信息，请参阅文件元数据列。

新的 H3 地理空间函数

启用 Photon 后，新的 h3_coverash3 和 h3_coverash3string 表达式可用于地理空间处理。 请参阅 H3 地理空间函数。

新的 SQL 内置函数

添加了以下函数：

Python 笔记本中的 %sql

现在可以使用 %sql 或 IPython 的输出缓存系统访问 Python 笔记本中的所有非空 _sqldf 结果。 这简化了 Python 中数据帧结果的使用。 这是对早期 DBR 版本的行为变更，因为以前不会始终重新分配 _sqldf。

如果单元格是使用_sqldf执行的，则不会对 %sql 单元格结果重新分配 。

%pip 不会自动重启 Python

在 Python 笔记本中运行用于修改 virtualEnv 的 %pip 命令后，Databricks 不再自动重启 Python 进程。 若要重启 Python 进程，请调用 dbutils.library.restartPython()。 有了此更改后，Databricks 上 %pip 命令的行为与 Jupyter Notebook 类似，并且与 !pip 和 %sh pip 命令保持一致。 Databricks 建议使用 %pip 而不是 !pip 或 %sh pip。

使用非根用户安装群集范围的 Python 库

现在，将使用负责库安装的非根用户来安装库。 如果要在 init 脚本中配置 pip 安装行为，请使用[全局级别文件 https://pip.pypa.io/en/stable/topics/configuration/#configuration-files]。

Bug 修复

  • 修复了 %sh 命令的以下问题：
    • 现在支持包含非 UTF-8 字符的输出。
    • 现在，当取消命令时会中断子进程。

库升级

  • 升级了 Python 库：
    • asttokens 已从 2.0.5 升级到 2.2.1
    • black 已从 22.3.0 升级到 22.6.0
    • boto3 已从 1.21.32 升级到 1.24.28
    • botocore 已从 1.24.32 升级到 1.27.28
    • certifi 已从 2021.10.8 升级到 2022.9.14
    • cffi 已从 1.15.0 升级到 1.15.1
    • cryptography 已从 3.4.8 升级到 37.0.1
    • Cython 已从 0.29.28 升级到 0.29.32
    • dbus-python 已从 1.2.16 升级到 1.2.18
    • docstring-to-markdown 已从 0.11 升级到 0.12
    • executing 已从 0.8.3 升级到 1.2.0
    • facets-overview 已从 1.0.0 升级到 1.0.2
    • fastjsonschema 已从 2.16.2 升级到 2.16.3
    • filelock 已从 3.9.0 升级到 3.10.7
    • ipykernel 已从 6.15.3 升级到 6.17.1
    • ipython 已从 8.5.0 升级到 8.10.0
    • joblib 已从 1.1.1 升级到 1.2.0
    • jsonschema 已从 4.4.0 升级到 4.16.0
    • jupyter-client 已从 6.1.12 升级到 7.3.4
    • kiwisolver 已从 1.3.2 升级到 1.4.2
    • matplotlib 已从 3.5.1 升级到 3.5.2
    • matplotlib-inline 已从 0.1.2 升级到 0.1.6
    • nbformat 已从 5.3.0 升级到 5.5.0
    • notebook 已从 6.4.8 升级到 6.4.12
    • pandas 已从 1.4.2 升级到 1.4.4
    • Pillow 已从 9.0.1 升级到 9.2.0
    • pip 已从 21.2.4 升级到 22.2.2
    • platformdirs 已从 2.6.2 升级到 2.5.2
    • plotly 已从 5.6.0 升级到 5.9.0
    • prometheus-client 已从 0.13.1 升级到 0.14.1
    • prompt-toolkit 已从 3.0.20 升级到 3.0.36
    • psutil 已从 5.8.0 升级到 5.9.0
    • pyflakes 已从 2.5.0 升级到 3.0.1
    • PyGObject 已从 3.36.0 升级到 3.42.1
    • pyparsing 已从 3.0.4 升级到 3.0.9
    • pyright 已从 1.1.283 升级到 1.1.294
    • python-lsp-server 已从 1.6.0 升级到 1.7.1
    • pytz 已从 2021.3 升级到 2022.1
    • pyzmq 已从 22.3.0 升级到 23.2.0
    • requests 已从 2.27.1 升级到 2.28.1
    • rope 已从 0.22.0 升级到 1.7.0
    • s3transfer 已从 0.5.0 升级到 0.6.0
    • scikit-learn 已从 1.0.2 升级到 1.1.1
    • scipy 已从 1.7.3 升级到 1.9.1
    • setuptools 已从 61.2.0 升级到 63.4.1
    • ssh-import-id 已从 5.10 升级到 5.11
    • stack-data 已从 0.2.0 升级到 0.6.2
    • testpath 已从 0.5.0 升级到 0.6.0
    • tomli 已从 1.2.2 升级到 2.0.1
    • ujson 已从 5.1.0 升级到 5.4.0
    • urllib3 已从 1.26.9 升级到 1.26.11
    • virtualenv 已从 20.8.0 升级到 20.16.3
    • whatthepatch 已从 1.0.4 升级到 1.0.2
    • wheel 已从 0.37.0 升级到 0.37.1
  • 升级了 R 库：
    • arrow 已从 10.0.0 升级到 10.0.1
    • bit 已从 4.0.4 升级到 4.0.5
    • broom 已从 1.0.1 升级到 1.0.3
    • bslib 已从 0.4.1 升级到 0.4.2
    • chron 已从 2.3-58 升级到 2.3-59
    • cli 已从 3.4.1 升级到 3.6.0
    • colorspace 已从 2.0-3 升级到 2.1-0
    • curl 已从 4.3.3 升级到 5.0.0
    • data.table 已从 1.14.4 升级到 1.14.6
    • dbplyr 已从 2.2.1 升级到 2.3.0
    • digest 已从 0.6.30 升级到 0.6.31
    • dplyr 已从 1.0.10 升级到 1.1.0
    • e1071 已从 1.7-12 升级到 1.7-13
    • evaluate 已从 0.18 升级到 0.20
    • fansi 已从 1.0.3 升级到 1.0.4
    • fontawesome 已从 0.4.0 升级到 0.5.0
    • forcats 已从 0.5.2 升级到 1.0.0
    • fs 已从 1.5.2 升级到 1.6.1
    • future 已从 1.29.0 升级到 1.31.0
    • gargle 已从 1.2.1 升级到 1.3.0
    • gert 已从 1.9.1 升级到 1.9.2
    • glmnet 已从 4.1-4 升级到 4.1-6
    • globals 已从 0.16.1 升级到 0.16.2
    • gower 已从 1.0.0 升级到 1.0.1
    • highr 已从 0.9 升级到 0.10
    • htmltools 已从 0.5.3 升级到 0.5.4
    • htmlwidgets 已从 1.5.4 升级到 1.6.1
    • httpuv 已从 1.6.6 升级到 1.6.8
    • isoband 已从 0.2.6 升级到 0.2.7
    • jsonlite 已从 1.8.3 升级到 1.8.4
    • knitr 已从 1.40 升级到 1.42
    • lava 已从 1.7.0 升级到 1.7.1
    • listenv 已从 0.8.0 升级到 0.9.0
    • lubridate 已从 1.9.0 升级到 1.9.1
    • markdown 已从 1.3 升级到 1.5
    • modelr 已从 0.1.9 升级到 0.1.10
    • openssl 已从 2.0.4 升级到 2.0.5
    • parallelly 已从 1.32.1 升级到 1.34.0
    • pkgbuild 已从 1.3.1 升级到 1.4.0
    • pkgdown 已从 2.0.6 升级到 2.0.7
    • pkgload 已从 1.3.1 升级到 1.3.2
    • plyr 已从 1.8.7 升级到 1.8.8
    • progressr 已从 0.11.0 升级到 0.13.0
    • purrr 已从 0.3.5 升级到 1.0.1
    • ragg 已从 1.2.4 升级到 1.2.5
    • Rcpp 已从 1.0.9 升级到 1.0.10
    • readxl 已从 1.4.1 升级到 1.4.2
    • recipes 已从 1.0.3 升级到 1.0.4
    • rmarkdown 已从 2.18 升级到 2.20
    • RODBC 已从 1.3-19 升级到 1.3-20
    • roxygen2 已从 7.2.1 升级到 7.2.3
    • RSQLite 已从 2.2.18 升级到 2.2.20
    • sass 已从 0.4.2 升级到 0.4.5
    • shiny 已从 1.7.3 升级到 1.7.4
    • sourcetools 已从 0.1.7 升级到 0.1.7-1
    • sparklyr 已从 1.7.8 升级到 1.7.9
    • SparkR 已从 3.3.2 升级到 3.4.0
    • spatial 已从 7.3-11 升级到 7.3-15
    • stringi 已从 1.7.8 升级到 1.7.12
    • stringr 已从 1.4.1 升级到 1.5.0
    • survival 已从 3.4-0 升级到 3.5-3
    • testthat 已从 3.1.5 升级到 3.1.6
    • tidyr 已从 1.2.1 升级到 1.3.0
    • timechange 已从 0.1.1 升级到 0.2.0
    • timeDate 已从 4021.106 升级到 4022.108
    • tinytex 已从 0.42 升级到 0.44
    • utf8 已从 1.2.2 升级到 1.2.3
    • vctrs 已从 0.5.0 升级到 0.5.2
    • vroom 已从 1.6.0 升级到 1.6.1
    • whisker 已从 0.4 升级到 0.4.1
    • xfun 已从 0.34 升级到 0.37
    • yaml 已从 2.3.6 升级到 2.3.7
  • 升级了 Java 库：
    • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-config 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-core 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directory 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ecs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-efs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-emr 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glacier 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glue 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-iam 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-importexport 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kms 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-lambda 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-logs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-rds 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-redshift 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-route53 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-s3 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ses 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sns 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sqs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ssm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sts 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-support 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.jmespath-java 已从 1.12.189 升级到 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-core 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-databind 已从 2.13.4.2 升级到 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.4 升级到 2.14.2
    • com.github.luben.zstd-jni 已从 1.5.2-1 升级到 1.5.2-5
    • com.google.code.gson.gson 已从 2.8.6 升级到 2.8.9
    • com.google.crypto.tink.tink 已从 1.6.1 升级到 1.7.0
    • com.h2database.h2 已从 2.0.204 升级到 2.1.214
    • com.jcraft.jsch 已从 0.1.50 升级到 0.1.55
    • com.ning.compress-lzf 已从 1.1 升级到 1.1.2
    • commons-fileupload.commons-fileupload 已从 1.3.3 升级到 1.5
    • dev.ludovic.netlib.arpack 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.blas 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.lapack 已从 2.2.1 升级到 3.0.3
    • io.delta.delta-sharing-spark_2.12 已从 0.6.9 升级到 0.6.3
    • io.dropwizard.metrics.metrics-core 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-graphite 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jmx 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-json 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jvm 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-servlets 已从 4.1.1 升级到 4.2.10
    • io.netty.netty-all 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-buffer 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-codec 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-handler 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-resolver 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-epoll 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-native-unix-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • joda-time.joda-time 已从 2.10.13 升级到 2.12.1
    • net.razorvine.pickle 已从 1.2 升级到 1.3
    • net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.22
    • org.antlr.antlr4-runtime 已从 4.8 升级到 4.9.3
    • org.apache.ant.ant 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-jsch 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-launcher 已从 1.9.2 升级到 1.9.16
    • org.apache.arrow.arrow-format 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-core 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-netty 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-vector 已从 7.0.0 升级到 11.0.0
    • org.apache.avro.avro 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-ipc 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-mapred 已从 1.11.0 升级到 1.11.1
    • org.apache.httpcomponents.httpclient 已从 4.5.13 升级到 4.5.14
    • org.apache.httpcomponents.httpcore 已从 4.4.14 升级到 4.4.16
    • org.apache.logging.log4j.log4j-1.2-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-core 已从 2.18.0 升级到 2.19.0
    • org.apache.orc.orc-core 已从 1.7.8 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce 已从 1.7.8 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims 已从 1.7.8 升级到 1.8.2
    • org.apache.xbean.xbean-asm9-shaded 已从 4.20 升级到 4.22
    • org.apache.zookeeper.zookeeper 已从 3.6.2 升级到 3.6.3
    • org.apache.zookeeper.zookeeper-jute 已从 3.6.2 升级到 3.6.3
    • org.eclipse.jetty.jetty-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator 已从 6.1.0.Final 升级到 6.1.7.Final
    • org.mlflow.mlflow-spark 已从 2.1.1 升级到 2.2.0
    • org.postgresql.postgresql 已从 42.3.3 升级到 42.3.8
    • org.roaringbitmap.RoaringBitmap 已从 0.9.25 升级到 0.9.39
    • org.roaringbitmap.shims 已从 0.9.25 升级到 0.9.39
    • org.rocksdb.rocksdbjni 已从 6.28.2 升级到 7.8.3
    • org.scala-lang.scala-compiler_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-library_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-reflect_2.12 已从 2.12.14 升级到 2.12.15
    • org.scalanlp.breeze-macros_2.12 已从 1.2 升级到 2.1.0
    • org.scalanlp.breeze_2.12 已从 1.2 升级到 2.1.0
    • org.slf4j.jcl-over-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.jul-to-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.slf4j-api 已从 1.7.36 升级到 2.0.6
    • org.threeten.threeten-extra 已从 1.5.0 升级到 1.7.1
    • org.wildfly.openssl.wildfly-openssl 已从 1.0.7.Final 升级到 1.1.3.Final
    • org.yaml.snakeyaml 已从 1.24 升级到 1.33

Apache Spark

Databricks Runtime 13.0 包含 Apache Spark 3.4.0。

Spark SQL

功能

ANSI 合规性

  • ANSI SQL 模式：对映射列的无效访问始终返回 null (SPARK-40066)
  • 支持双引号标识符 (SPARK-40585)
  • ANSI SQL 模式：Round/Bround 应在整数溢出时返回错误 (SPARK-42045)
  • 支持将整型转换为 ANSI 间隔 (SPARK-40008)
  • 支持将小数强制转换为 ANSI 间隔 (SPARK-40014)
  • 从百分位数函数返回更宽的 ANSI 间隔类型 (SPARK-40151)
  • 支持将 ANSI 间隔强制转换为小数 (SPARK-39470)
  • 支持在 ANSI 模式下将间隔转换为整数 (SPARK-39451)
  • 强化错误类的 SQLSTATE 使用 (SPARK-41994)

函数

“数据源”

  • 支持 DS v2 中的列统计 (SPARK-41378)
  • DS v2 中的存储分区联接 (SPJ) (SPARK-37375)
  • DS v2 中的行级操作 (SPARK-35801)
  • 在 DS v2 扫描接口中添加 SupportsReportOrdering 混合 (SPARK-38647)
  • 推理 CSV 架构推理的 DATE 类型 (SPARK-39469)
  • 在 DS v2 自定义指标 API 中支持驱动程序指标 (SPARK-39635)
  • 编写中的分布和排序支持 DS v2 函数 (SPARK-39607)
  • StringEndsWith/Contains 支持下推到 Parquet，以便可以利用字典筛选器 (SPARK-39002)
  • 在 Spark Parquet 矢量化读取器中支持 UDT (SPARK-39086)
  • 扩展 METADATA 列以支持 Parquet 文件的行索引 (SPARK-37980)
  • 支持读取 parquet FIXED_LEN_BYTE_ARRAY 类型 (SPARK-41096)
  • 优化筛选谓词的顺序 (SPARK-40045)
  • 通过 MSSQL JDBC 支持 CTE 和临时表查询 (SPARK-37259)
  • 在数据源选项中支持 ignoreCorruptFiles 和 ignoreMissingFiles (SPARK-38767)
  • 拉取 v1 写入 WriteFiles (SPARK-41407)
  • 添加了读取端字符填充以包括外部数据文件 (SPARK-40697)

查询优化

  • 合并不相关的标量子查询 (SPARK-34079)
  • 默认启用 Bloom 筛选器联接 (SPARK-38841)
  • 通过 distinctKeys 删除聚合表达式中不必要的差异 (SPARK-38832)
  • 支持弃用的 CTE 的谓词下推和列修剪 (SPARK-37670)
  • 如果聚合函数在流式处理端重复不可知，则删除外部联接 (SPARK-38886)
  • 如果仅选择左/右侧列并且另一侧的联接键是唯一的，则删除左/右外部联接 (SPARK-39172)
  • 优化 RepartitionByExpression 的全局排序 (SPARK-39911)
  • 优化 TransposeWindow 规则 (SPARK-38034)
  • 增强 EliminateSorts 以支持通过 LocalLimit 删除排序 (SPARK-40050)
  • 如果联接条件为空，则向双端推送局部限制 (SPARK-40040)
  • 为优化器添加 PushProjectionThroughLimit (SPARK-40501)
  • 支持 PIVOT/UNPIVOT 和联接子级 (SPARK-41195)
  • 支持使用多个非确定性筛选器进行列修剪 (SPARK-41017)
  • 使用 AQE 缓存改进输出分区和排序 (SPARK-41048)
  • 通过创建平衡的表达式树谓词提高多 like 性能 (SPARK-41167)
  • 如果排序是 RepartitionByExpression 的子级，则删除排序 (SPARK-36703)
  • 使用已完成查询阶段中的可用列统计信息 (SPARK-39991)
  • 在 WindowSpecDefinition 中重用表达式 (SPARK-41805)
  • 改进 AliasAwareOutputPartitioning 和 AliasAwareQueryOutputOrdering 以考虑所有别名（SPARK-40086、SPARK-42049）
  • 通过 Python UDF 下推限制 (SPARK-42115)

代码生成和查询执行

  • 在 BroadcastNestedLoopJoinExec 中使 defaultJoin 并行运行 (SPARK-40487)
  • HiveGenericUDF 的 Codegen 支持 (SPARK-42051)
  • 在 SinglePartition 上引入随机排列 (SPARK-41986)
  • 使 DPP 支持修剪端联合 (SPARK-39217)

其他值得注意的更改

  • 支持自动分区统计信息收集 (SPARK-38573)
  • 设置 Thrift 服务器中错误消息的格式 (SPARK-40098)
  • 添加一个扩展 API 以执行缓存计划规范化 (SPARK-41183)
  • 通过引入物理类型重构 Spark 类型 (SPARK-41226)
  • OneOf 字段支持和递归检查 (SPARK-41396)
  • 集中化列解析逻辑 (SPARK-41405)
  • 改进计划更改验证 (SPARK-42081)
  • 为 typesafety 引入 SparkPath (SPARK-41970)
  • 通过数据集 API 创建临时视图时针对 db_name.view_name 引发异常 (SPARK-41090)
  • 将 Mask 函数参数的默认值从 -1 更改为 NULL (SPARK-42070)

Spark Core

解除授权

  • 如果迁移了随机数据，则避免在停用的执行程序丢失时重新运行不必要的任务 (SPARK-41469)
  • 忽略因停用执行程序而导致的阶段提取失败 (SPARK-40481)
  • 默认启用 spark.storage.decommission.(rdd|shuffle)Blocks.enabled (SPARK-40198)
  • 在禁用 ESS 时添加对 YARN 停用的支持 (SPARK-30835)

计划程序

  • 使阶段计划支持本地群集模式 (SPARK-41949)
  • 禁用动态分配时，支持独立群集的阶段级任务资源配置文件 (SPARK-39853)
  • 延迟 onDisconnected，使驱动程序能够接收 ExecutorExitCode (SPARK-39957)
  • 通过阶段任务指标改进推测 (SPARK-32170)
  • 为独立群集添加阶段级资源调度支持 (SPARK-39062)
  • 改进 LaunchTask 进程，以避免由于无法发送 LaunchTask 消息而导致 Stage 失败 (SPARK-39955)

随机选择

  • 添加基于推送的随机客户端读取指标 (SPARK-36620)
  • 基于推送的随机排列的随机服务器端指标 (SPARK-33573)
  • 确保在数据库关闭之前关闭 mergedShuffleCleaner (SPARK-40186)
  • 添加随机服务状态存储的 RocksDB 支持 (SPARK-38888)
  • 封装用于将远程/外部随机状态存储为 DB 的 LevelDB (SPARK-38909)
  • 默认启用 spark.dynamicAllocation.shuffleTracking.enabled (SPARK-3984)
  • 启用基于推送的随机服务以将状态存储在 NM 级别的工作 DB 中，从而免于重启 (SPARK-33236)
  • 使用随机服务为已发布的执行程序删除随机块 (SPARK-37618)

其他值得注意的更改

  • 支持仅限 IPv6 的环境 (SPARK-39457)
  • 默认启用 spark.kryo.unsafe (SPARK-42137)
  • 在群集模式下禁止使用代理用户的任意自定义类路径 (SPARK-41958)
  • 避免当执行程序丢失时重新注册 BlockManager (SPARK-41360)
  • 消除单个任务结果必须适合 2GB 的限制 (SPARK-40622)
  • 删除对已弃用的 spark.akka.* 配置的支持 (SPARK-40401)
  • 将默认日志记录更改为 stderr 以便与 log4j 的行为一致 (SPARK-40406)
  • 计算结果大小时排除 DirectTaskResult 元数据 (SPARK-40261)
  • 允许在 take() 行为中自定义初始分区数 (SPARK-40211)
  • 在 Executor.updateDependencies() 中使用可中断锁而不是同步 (SPARK-40235)
  • 任务失败应始终触发任务失败侦听器 (SPARK-40106)
  • 添加选择性地禁用监视或轮询的功能 (SPARK-36462)
  • 不要在驱动程序上缓存未序列化的广播关系 (SPARK-39983)
  • 修复 TaskMemoryManager 和 UnsafeExternalSorter.SpillableIterator 之间的死锁 (SPARK-39283)
  • 将阶段中的数字分区公开给 TaskContext (SPARK-38679)
  • 使内存开销系数可配置 (SPARK-38194)
  • 避免在 ShellBasedGroupsMappingProvider 中使用 bash -c (SPARK-38992)

结构化流式处理

主要功能

  • 异步进度跟踪 (SPARK-39591)
  • 结构化流式处理中的 Python 任意有状态处理 (SPARK-40434)
  • 结构化流式处理中的 Protobuf 支持 (SPARK-40653)
  • 修复延期记录筛选以支持链接有状态运算符 (SPARK-40925)

其他值得注意的更改

  • 引入基于 Hadoop 可中止接口的流式处理检查点文件管理器 (SPARK-40039)
  • 弃用 Trigger.Once 并提升 Trigger.AvailableNow (SPARK-39805)
  • 在流式处理查询中将目录表的信息公开给逻辑计划 (SPARK-39564)
  • 支持从流式处理接收器收集指标 (SPARK-38564)
  • 弃用 DStream API (SPARK-42075)
  • 翻转 Kafka 偏移提取配置的默认值 (SPARK-40844)
  • 在 PySpark 中的 foreachBatch 接收器的用户函数中的数据帧中提供克隆的 spark 会话 (SPARK-41379)

Spark Connect

Python 客户端

Scala 客户端

PySpark

Spark 上的 Pandas API

其他值得注意的更改

Apache Spark的机器学习库MLLIB

SparkR

实时 UI 和历史记录服务器服务

  • 为大型应用程序提供更好的 Spark UI 可伸缩性和驱动程序稳定性 (SPARK-41053)
  • 默认情况下将 RocksDB 用于 spark.history.store.hybridStore.diskBackend (SPARK-42277)
  • 将嵌套执行分组到根执行下 (SPARK-41752)
  • 在环境选项卡中显示指标属性 (SPARK-39110)
  • 修复当记录大于零时不显示 StagePage 输入大小/记录的问题 (SPARK-34777)
  • 通过使用 Jackson 而不是 Json4s 来提高事件日志 JsonProtocol 性能 (SPARK-39489)
  • 支持 spark.history.fs.update.batchSize (SPARK-39225)

构建

维护更新

请参阅 Databricks Runtime 13.0 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.10.6
  • R：4.2.2
  • Delta Lake：2.3.0

已安装的 Python 库

库 版本 库 版本 库 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 属性 21.4.0 回调 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白剂 4.1.0
闪烁器 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer (字符集正常化工具) 2.0.4 单击 8.0.4 密码系统 37.0.1
骑行者 0.11.0 Cython 0.29.32 dbu-python 1.2.18
debugpy 1.5.1 装饰师 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 入口点 0.4
执行 1.2.0 各个方面概述 1.0.2 fastjsonschema 2.16.3
文件锁 (filelock) 3.10.7 fonttools（字体工具） 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils（IPython通用工具） 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 吉普尼 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
Jupyter客户端 7.3.4 jupyter_core（Jupyter核心） 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 钥匙圈 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
麦卡贝 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.12 numpy 1.21.5 oauthlib 3.2.0
打包 21.3 熊猫 1.4.4 pandocfilters 1.5.0
帕尔索 0.8.3 pathspec 0.9.0 替罪羊 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 枕头 9.2.0
果仁 22.2.2 platformdirs 2.5.2 plotly 5.9.0
Pluggy (Python库) 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
Python代码解析器 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent（持久性，类似于 persistent 的 Python 包） 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 Python时区库pytz 2022年1月 pyzmq 23.2.0
请求 2.28.1 绳子 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
6 1.16.0 滤汤器 2.3.1 ssh-import-id 5.11
堆栈数据 0.6.2 statsmodels 0.13.2 毅力 8.0.1
完成 0.13.1 测试路径 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 龙卷风 6.1
Traitlets 5.1.1 ujson 5.4.0 无人值守升级 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 Web编码 0.5.1 whatthepatch 1.0.2
轮子 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
齐普 1.0.0

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

库 版本 库 版本 库 版本
箭头 10.0.1 askpass 1.1 断言 0.2.1
向后移植 1.4.1 基础 4.2.2 base64enc 0.1-3
比特 4.0.5 bit64 4.0.5 团状物 1.2.3
启动 1.3-28 酿造 1.0-8 活力 1.1.3
扫帚 1.0.3 bslib 0.4.2 卡齐姆 1.0.6
callr 3.7.3 文本光标 6.0-93 cellranger 1.1.0
chron 2.3-59 类 7.3-21 cli 3.6.0
剪辑器 0.8.0 时钟 0.6.1 集群 2.1.4
codetools 0.2至19 色彩空间 2.1-0 commonmark 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 凭据 1.3.2 卷曲 5.0.0
data.table 1.14.6 数据集 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.31 向下照明 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略 0.3.2 评估 0.20 fansi 1.0.4
颜色 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
猫用 1.0.0 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 fs 1.6.1 未来 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛 型 0.1.3
格尔特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 全局 0.16.2
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 图形 4.2.2 grDevices 4.2.2
“业务流程参数” 网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避风港 2.5.1
更高的 0.10 赫姆斯 1.1.2 HTML工具 0.5.4
HTML小插件 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
标记 0.4.2 以后 1.3.0 格子 0.20-45
熔岩 1.7.1 生命周期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
质量 7.3-58.2 矩阵 1.5-1 记忆化 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞尔 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016年8月至1月1日 openssl（开放SSL） 2.0.5 平行 4.2.2
并行地 1.34.0 柱子 1.8.1 pkgbuild (软件包构建工具) 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
普洛格 0.2.0 普莱尔 1.8.8 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.13.0 承诺 1.2.0.1 原型 (proto) 1.0.0
代理服务器 0.4-27 附注 (ps) 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 食谱 1.0.4
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
可复现示例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 磅秤 1.2.1
selectr 0.4-2 会话信息 1.2.2 形状 1.4.6
光亮 1.7.4 sourcetools 0.1.7-1 sparklyr（用于R的可视化和数据处理工具包） 1.7.9
SparkR 3.4.0 空间 7.3-15 样 条 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 统计数据 4.2.2
统计数据4 4.2.2 stringi 1.7.12 stringr 1.5.0
生存 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 文本整理 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 时间变更 0.2.0 时间日期 4022.108
tinytex 0.44 工具 4.2.2 tzdb 0.3.0
URL检查器 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 UUID（通用唯一识别码） 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 瓦尔多 0.4.0
晶 须 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 压缩包 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWS Java SDK CloudFront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws AWS Java SDK 云搜索 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.390
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.390
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK Glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.390
com.amazonaws AWS-Java-SDK-机器学习 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK 存储网关 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK支持 1.12.390
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo遮阳 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations（Jackson注解库） 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 丁克 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 分析器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib BLAS 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics 指标-健康检查 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics 指标-Servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver (Netty 解析器) 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 箭头格式 11.0.0
org.apache.arrow 箭头-内存-核心 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow 箭头向量 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人-客户端 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches 数据素描-内存 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive 蜂巢存储接口API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus 受众注释 0.13.0
org.apache.zookeeper 动物园管理员 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty 码头安全 9.4.50.v20221201
org.eclipse.jetty jetty-server（Jetty服务器） 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty Jetty工具库 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty Jetty 网页应用 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket API 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket客户端 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket服务器 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 垫片 0.9.39
.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1