通过

Databricks Runtime 13.0 (EoS)

  • 项目

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.0 的相关信息。

Databricks 于 2023 年 4 月发布了这些映像。

新增功能和改进

H3 表达式现在支持线性地理区域

h3_coverash3 和 h3_coverash3string 函数现在支持线性（linestring 和 multilinestring）地理区域。 这些函数按指定的分辨率生成一组覆盖最少的 H3 单元格。 请参阅 h3_coverash3 和 h3_coverash3string。

Ganglia 已由群集指标取代

在 Databricks Runtime 13 及更高版本中，Ganglia 指标已由 Azure Databricks 群集指标取代。 在 Databricks Runtime 12 及更低版本中，可以继续使用 Ganglia 指标。 如果你的工作流依赖于群集指标无法满足的 Ganglia 指标，请联系 Azure Databricks 帐户团队。 请参阅查看计算指标。

Spark 3.4.0 已发布

Apache Spark 3.4.0 现已推出正式版。 请参阅 Spark 版本 3.4.0。

如果在查询规划和执行这段时间修改了文件，Photon 会返回错误

如果在查询规划和执行这段时间更新了文件，Photon 查询现在会返回错误。 在进行这种更改之前，即使文件修改时间在查询规划和执行这段时间发生变化，Photon 也会读取该文件，这可能导致不可预测的结果。

预测 I/O 的新功能

Photon 现在支持通过 {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING } 为 ROWS 和 RANGE 模式使用滑动框架。

延长了对预测 I/O 功能的支持

Photon 延长了对 CSV、AVRO、数据帧缓存数据源的支持（适用于架构只包含标量列的情况）。 此外，延长了对映射、结构和数组等嵌套类型的支持。

使用 Databricks 连接器连接到另一个 Databricks 工作区

使用 Azure Databricks 连接器，可以连接到另一个工作区中配置的计算资源，并将结果返回到当前的 Azure Databricks 工作区。 Azure Databricks JDBC 驱动程序现在包含在 Databricks Runtime 中。 请参阅使用 Databricks 连接器连接到另一个 Databricks 工作区。

在 Unity Catalog 上使用共享群集进行结构化流式处理的其他 Kafka 选项

在共享访问群集上使用结构化流式处理时，现在可以使用设置 kakfa.ssl.truststore.location 和 kafak.ssl.keystore.location 将 Kafka 证书存储在由 Unity Catalog 管理的外部位置。 不能使用 DBFS 根中的位置。

使用结构化流式处理跳过 Delta 表修改

现在可以使用 skipChangeCommits 忽略 Delta 表的 UPDATE、MERGE 和 DELETE 操作的数据更改提交。 此功能取代了现已弃用的 ignoreChanges。 请参阅忽略更新和删除。

Delta 表的 CREATE TABLE LIKE 功能

在使用 Delta 表时，现在支持 CREATE TABLE LIKE。

表示文件块开始和长度的新元数据列字段

现在，可以使用 _metadata 列获取输入文件的以下元数据信息：file_block_start 和 file_block_length。 有关详细信息，请参阅文件元数据列。

新的 H3 地理空间函数

启用 Photon 后，新的 h3_coverash3 和 h3_coverash3string 表达式可用于地理空间处理。 请参阅 H3 地理空间函数。

新的 SQL 内置函数

添加了以下函数：

Python 笔记本中的 %sql

现在可以使用 _sqldf 或 IPython 的输出缓存系统访问 Python 笔记本中的所有非空 %sql 结果。 这简化了 Python 中数据帧结果的使用。 这是对早期 DBR 版本的行为变更，因为以前不会始终重新分配 _sqldf。

如果单元格是使用并行 SQL 单元格执行执行的，则不会对 %sql 单元格结果重新分配 _sqldf。

%pip 不会自动重启 Python

在 Python 笔记本中运行用于修改 virtualEnv 的 %pip 命令后，Databricks 不再自动重启 Python 进程。 若要重启 Python 进程，请调用 dbutils.library.restartPython()。 有了此更改后，Databricks 上 %pip 命令的行为与 Jupyter Notebook 类似，并且与 !pip 和 %sh pip 命令保持一致。 Databricks 建议使用 %pip 而不是 !pip 或 %sh pip。

使用非根用户安装群集范围的 Python 库

现在，将使用负责库安装的非根用户来安装库。 如果要在 init 脚本中配置 pip 安装行为，请使用[全局级别文件 https://pip.pypa.io/en/stable/topics/configuration/#configuration-files]。

Bug 修复

  • 修复了 %sh 命令的以下问题：
    • 现在支持包含非 UTF-8 字符的输出。
    • 现在，当取消命令时会中断子进程。

库升级

  • 升级了 Python 库：
    • asttokens 已从 2.0.5 升级到 2.2.1
    • black 已从 22.3.0 升级到 22.6.0
    • boto3 已从 1.21.32 升级到 1.24.28
    • botocore 已从 1.24.32 升级到 1.27.28
    • certifi 已从 2021.10.8 升级到 2022.9.14
    • cffi 已从 1.15.0 升级到 1.15.1
    • cryptography 已从 3.4.8 升级到 37.0.1
    • Cython 已从 0.29.28 升级到 0.29.32
    • dbus-python 已从 1.2.16 升级到 1.2.18
    • docstring-to-markdown 已从 0.11 升级到 0.12
    • executing 已从 0.8.3 升级到 1.2.0
    • facets-overview 已从 1.0.0 升级到 1.0.2
    • fastjsonschema 已从 2.16.2 升级到 2.16.3
    • filelock 已从 3.9.0 升级到 3.10.7
    • ipykernel 已从 6.15.3 升级到 6.17.1
    • ipython 已从 8.5.0 升级到 8.10.0
    • joblib 已从 1.1.1 升级到 1.2.0
    • jsonschema 已从 4.4.0 升级到 4.16.0
    • jupyter-client 已从 6.1.12 升级到 7.3.4
    • kiwisolver 已从 1.3.2 升级到 1.4.2
    • matplotlib 已从 3.5.1 升级到 3.5.2
    • matplotlib-inline 已从 0.1.2 升级到 0.1.6
    • nbformat 已从 5.3.0 升级到 5.5.0
    • notebook 已从 6.4.8 升级到 6.4.12
    • pandas 已从 1.4.2 升级到 1.4.4
    • Pillow 已从 9.0.1 升级到 9.2.0
    • pip 已从 21.2.4 升级到 22.2.2
    • platformdirs 已从 2.6.2 升级到 2.5.2
    • plotly 已从 5.6.0 升级到 5.9.0
    • prometheus-client 已从 0.13.1 升级到 0.14.1
    • prompt-toolkit 已从 3.0.20 升级到 3.0.36
    • psutil 已从 5.8.0 升级到 5.9.0
    • pyflakes 已从 2.5.0 升级到 3.0.1
    • PyGObject 已从 3.36.0 升级到 3.42.1
    • pyparsing 已从 3.0.4 升级到 3.0.9
    • pyright 已从 1.1.283 升级到 1.1.294
    • python-lsp-server 已从 1.6.0 升级到 1.7.1
    • pytz 已从 2021.3 升级到 2022.1
    • pyzmq 已从 22.3.0 升级到 23.2.0
    • requests 已从 2.27.1 升级到 2.28.1
    • rope 已从 0.22.0 升级到 1.7.0
    • s3transfer 已从 0.5.0 升级到 0.6.0
    • scikit-learn 已从 1.0.2 升级到 1.1.1
    • scipy 已从 1.7.3 升级到 1.9.1
    • setuptools 已从 61.2.0 升级到 63.4.1
    • ssh-import-id 已从 5.10 升级到 5.11
    • stack-data 已从 0.2.0 升级到 0.6.2
    • testpath 已从 0.5.0 升级到 0.6.0
    • tomli 已从 1.2.2 升级到 2.0.1
    • ujson 已从 5.1.0 升级到 5.4.0
    • urllib3 已从 1.26.9 升级到 1.26.11
    • virtualenv 已从 20.8.0 升级到 20.16.3
    • whatthepatch 已从 1.0.4 升级到 1.0.2
    • wheel 已从 0.37.0 升级到 0.37.1
  • 升级了 R 库：
    • arrow 已从 10.0.0 升级到 10.0.1
    • bit 已从 4.0.4 升级到 4.0.5
    • broom 已从 1.0.1 升级到 1.0.3
    • bslib 已从 0.4.1 升级到 0.4.2
    • chron 已从 2.3-58 升级到 2.3-59
    • cli 已从 3.4.1 升级到 3.6.0
    • colorspace 已从 2.0-3 升级到 2.1-0
    • curl 已从 4.3.3 升级到 5.0.0
    • data.table 已从 1.14.4 升级到 1.14.6
    • dbplyr 已从 2.2.1 升级到 2.3.0
    • digest 已从 0.6.30 升级到 0.6.31
    • dplyr 已从 1.0.10 升级到 1.1.0
    • e1071 已从 1.7-12 升级到 1.7-13
    • evaluate 已从 0.18 升级到 0.20
    • fansi 已从 1.0.3 升级到 1.0.4
    • fontawesome 已从 0.4.0 升级到 0.5.0
    • forcats 已从 0.5.2 升级到 1.0.0
    • fs 已从 1.5.2 升级到 1.6.1
    • future 已从 1.29.0 升级到 1.31.0
    • gargle 已从 1.2.1 升级到 1.3.0
    • gert 已从 1.9.1 升级到 1.9.2
    • glmnet 已从 4.1-4 升级到 4.1-6
    • globals 已从 0.16.1 升级到 0.16.2
    • gower 已从 1.0.0 升级到 1.0.1
    • highr 已从 0.9 升级到 0.10
    • htmltools 已从 0.5.3 升级到 0.5.4
    • htmlwidgets 已从 1.5.4 升级到 1.6.1
    • httpuv 已从 1.6.6 升级到 1.6.8
    • isoband 已从 0.2.6 升级到 0.2.7
    • jsonlite 已从 1.8.3 升级到 1.8.4
    • knitr 已从 1.40 升级到 1.42
    • lava 已从 1.7.0 升级到 1.7.1
    • listenv 已从 0.8.0 升级到 0.9.0
    • lubridate 已从 1.9.0 升级到 1.9.1
    • markdown 已从 1.3 升级到 1.5
    • modelr 已从 0.1.9 升级到 0.1.10
    • openssl 已从 2.0.4 升级到 2.0.5
    • parallelly 已从 1.32.1 升级到 1.34.0
    • pkgbuild 已从 1.3.1 升级到 1.4.0
    • pkgdown 已从 2.0.6 升级到 2.0.7
    • pkgload 已从 1.3.1 升级到 1.3.2
    • plyr 已从 1.8.7 升级到 1.8.8
    • progressr 已从 0.11.0 升级到 0.13.0
    • purrr 已从 0.3.5 升级到 1.0.1
    • ragg 已从 1.2.4 升级到 1.2.5
    • Rcpp 已从 1.0.9 升级到 1.0.10
    • readxl 已从 1.4.1 升级到 1.4.2
    • recipes 已从 1.0.3 升级到 1.0.4
    • rmarkdown 已从 2.18 升级到 2.20
    • RODBC 已从 1.3-19 升级到 1.3-20
    • roxygen2 已从 7.2.1 升级到 7.2.3
    • RSQLite 已从 2.2.18 升级到 2.2.20
    • sass 已从 0.4.2 升级到 0.4.5
    • shiny 已从 1.7.3 升级到 1.7.4
    • sourcetools 已从 0.1.7 升级到 0.1.7-1
    • sparklyr 已从 1.7.8 升级到 1.7.9
    • SparkR 已从 3.3.2 升级到 3.4.0
    • spatial 已从 7.3-11 升级到 7.3-15
    • stringi 已从 1.7.8 升级到 1.7.12
    • stringr 已从 1.4.1 升级到 1.5.0
    • survival 已从 3.4-0 升级到 3.5-3
    • testthat 已从 3.1.5 升级到 3.1.6
    • tidyr 已从 1.2.1 升级到 1.3.0
    • timechange 已从 0.1.1 升级到 0.2.0
    • timeDate 已从 4021.106 升级到 4022.108
    • tinytex 已从 0.42 升级到 0.44
    • utf8 已从 1.2.2 升级到 1.2.3
    • vctrs 已从 0.5.0 升级到 0.5.2
    • vroom 已从 1.6.0 升级到 1.6.1
    • whisker 已从 0.4 升级到 0.4.1
    • xfun 已从 0.34 升级到 0.37
    • yaml 已从 2.3.6 升级到 2.3.7
  • 升级了 Java 库：
    • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-config 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-core 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-directory 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ec2 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ecs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-efs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-emr 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glacier 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-glue 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-iam 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-importexport 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-kms 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-lambda 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-logs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-rds 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-redshift 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-route53 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-s3 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ses 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sns 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sqs 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-ssm 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-sts 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-support 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.189 升级到 1.12.390
    • com.amazonaws.jmespath-java 已从 1.12.189 升级到 1.12.390
    • com.fasterxml.jackson.core.jackson-annotations 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-core 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.core.jackson-databind 已从 2.13.4.2 升级到 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.4 升级到 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.4 升级到 2.14.2
    • com.github.luben.zstd-jni 已从 1.5.2-1 升级到 1.5.2-5
    • com.google.code.gson.gson 已从 2.8.6 升级到 2.8.9
    • com.google.crypto.tink.tink 已从 1.6.1 升级到 1.7.0
    • com.h2database.h2 已从 2.0.204 升级到 2.1.214
    • com.jcraft.jsch 已从 0.1.50 升级到 0.1.55
    • com.ning.compress-lzf 已从 1.1 升级到 1.1.2
    • commons-fileupload.commons-fileupload 已从 1.3.3 升级到 1.5
    • dev.ludovic.netlib.arpack 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.blas 已从 2.2.1 升级到 3.0.3
    • dev.ludovic.netlib.lapack 已从 2.2.1 升级到 3.0.3
    • io.dropwizard.metrics.metrics-core 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-graphite 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-healthchecks 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jetty9 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jmx 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-json 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-jvm 已从 4.1.1 升级到 4.2.10
    • io.dropwizard.metrics.metrics-servlets 已从 4.1.1 升级到 4.2.10
    • io.netty.netty-all 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-buffer 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-codec 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-handler 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-resolver 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-epoll 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue 已从 4.1.74.Final 升级到 4.1.87.Final
    • io.netty.netty-transport-native-unix-common 已从 4.1.74.Final 升级到 4.1.87.Final
    • joda-time.joda-time 已从 2.10.13 升级到 2.12.1
    • net.razorvine.pickle 已从 1.2 升级到 1.3
    • org.antlr.antlr4-runtime 已从 4.8 升级到 4.9.3
    • org.apache.ant.ant 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-jsch 已从 1.9.2 升级到 1.9.16
    • org.apache.ant.ant-launcher 已从 1.9.2 升级到 1.9.16
    • org.apache.arrow.arrow-format 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-core 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-memory-netty 已从 7.0.0 升级到 11.0.0
    • org.apache.arrow.arrow-vector 已从 7.0.0 升级到 11.0.0
    • org.apache.avro.avro 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-ipc 已从 1.11.0 升级到 1.11.1
    • org.apache.avro.avro-mapred 已从 1.11.0 升级到 1.11.1
    • org.apache.httpcomponents.httpclient 已从 4.5.13 升级到 4.5.14
    • org.apache.httpcomponents.httpcore 已从 4.4.14 升级到 4.4.16
    • org.apache.ivy.ivy 已从 2.5.0 升级到 2.5.1
    • org.apache.logging.log4j.log4j-1.2-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-api 已从 2.18.0 升级到 2.19.0
    • org.apache.logging.log4j.log4j-core 已从 2.18.0 升级到 2.19.0
    • org.apache.orc.orc-core 已从 1.7.6 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce 已从 1.7.6 升级到 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims 已从 1.7.6 升级到 1.8.2
    • org.apache.xbean.xbean-asm9-shaded 已从 4.20 升级到 4.22
    • org.apache.zookeeper.zookeeper 已从 3.6.2 升级到 3.6.3
    • org.apache.zookeeper.zookeeper-jute 已从 3.6.2 升级到 3.6.3
    • org.eclipse.jetty.jetty-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.46.v20220331 升级到 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator 已从 6.1.0.Final 升级到 6.1.7.Final
    • org.mlflow.mlflow-spark 已从 2.1.1 升级到 2.2.0
    • org.postgresql.postgresql 已从 42.3.3 升级到 42.3.8
    • org.roaringbitmap.RoaringBitmap 已从 0.9.25 升级到 0.9.39
    • org.roaringbitmap.shims 已从 0.9.25 升级到 0.9.39
    • org.rocksdb.rocksdbjni 已从 6.28.2 升级到 7.8.3
    • org.scala-lang.scala-compiler_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-library_2.12 已从 2.12.14 升级到 2.12.15
    • org.scala-lang.scala-reflect_2.12 已从 2.12.14 升级到 2.12.15
    • org.scalanlp.breeze-macros_2.12 已从 1.2 升级到 2.1.0
    • org.scalanlp.breeze_2.12 已从 1.2 升级到 2.1.0
    • org.slf4j.jcl-over-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.jul-to-slf4j 已从 1.7.36 升级到 2.0.6
    • org.slf4j.slf4j-api 已从 1.7.36 升级到 2.0.6
    • org.threeten.threeten-extra 已从 1.5.0 升级到 1.7.1
    • org.wildfly.openssl.wildfly-openssl 已从 1.0.7.Final 升级到 1.1.3.Final
    • org.yaml.snakeyaml 已从 1.24 升级到 1.33

Apache Spark

Databricks Runtime 13.0 包含 Apache Spark 3.4.0。

Spark SQL

功能

ANSI 合规性

  • ANSI SQL 模式：对映射列的无效访问始终返回 null (SPARK-40066)
  • 支持双引号标识符 (SPARK-40585)
  • ANSI SQL 模式：Round/Bround 应在整数溢出时返回错误 (SPARK-42045)
  • 支持将整型转换为 ANSI 间隔 (SPARK-40008)
  • 支持将小数强制转换为 ANSI 间隔 (SPARK-40014)
  • 从百分位数函数返回更宽的 ANSI 间隔类型 (SPARK-40151)
  • 支持将 ANSI 间隔强制转换为小数 (SPARK-39470)
  • 支持在 ANSI 模式下将间隔转换为整数 (SPARK-39451)
  • 强化错误类的 SQLSTATE 使用 (SPARK-41994)

函数

“数据源”

  • 支持 DS v2 中的列统计 (SPARK-41378)
  • DS v2 中的存储分区联接 (SPJ) (SPARK-37375)
  • DS v2 中的行级操作 (SPARK-35801)
  • 在 DS v2 扫描接口中添加 SupportsReportOrdering 混合 (SPARK-38647)
  • 推理 CSV 架构推理的 DATE 类型 (SPARK-39469)
  • 在 DS v2 自定义指标 API 中支持驱动程序指标 (SPARK-39635)
  • 编写中的分布和排序支持 DS v2 函数 (SPARK-39607)
  • StringEndsWith/Contains 支持下推到 Parquet，以便可以利用字典筛选器 (SPARK-39002)
  • 在 Spark Parquet 矢量化读取器中支持 UDT (SPARK-39086)
  • 扩展 METADATA 列以支持 Parquet 文件的行索引 (SPARK-37980)
  • 支持读取 parquet FIXED_LEN_BYTE_ARRAY 类型 (SPARK-41096)
  • 优化筛选谓词的顺序 (SPARK-40045)
  • 通过 MSSQL JDBC 支持 CTE 和临时表查询 (SPARK-37259)
  • 在数据源选项中支持 ignoreCorruptFiles 和 ignoreMissingFiles (SPARK-38767)
  • 拉取 v1 写入 WriteFiles (SPARK-41407)
  • 添加了读取端字符填充以包括外部数据文件 (SPARK-40697)

查询优化

  • 合并不相关的标量子查询 (SPARK-34079)
  • 默认启用 Bloom 筛选器联接 (SPARK-38841)
  • 通过 distinctKeys 删除聚合表达式中不必要的差异 (SPARK-38832)
  • 支持弃用的 CTE 的谓词下推和列修剪 (SPARK-37670)
  • 如果聚合函数在流式处理端重复不可知，则删除外部联接 (SPARK-38886)
  • 如果仅选择左/右侧列并且另一侧的联接键是唯一的，则删除左/右外部联接 (SPARK-39172)
  • 优化 RepartitionByExpression 的全局排序 (SPARK-39911)
  • 优化 TransposeWindow 规则 (SPARK-38034)
  • 增强 EliminateSorts 以支持通过 LocalLimit 删除排序 (SPARK-40050)
  • 如果联接条件为空，则向双端推送局部限制 (SPARK-40040)
  • 为优化器添加 PushProjectionThroughLimit (SPARK-40501)
  • 支持 PIVOT/UNPIVOT 和联接子级 (SPARK-41195)
  • 支持使用多个非确定性筛选器进行列修剪 (SPARK-41017)
  • 使用 AQE 缓存改进输出分区和排序 (SPARK-41048)
  • 通过创建平衡的表达式树谓词提高多 like 性能 (SPARK-41167)
  • 如果排序是 RepartitionByExpression 的子级，则删除排序 (SPARK-36703)
  • 使用已完成查询阶段中的可用列统计信息 (SPARK-39991)
  • 在 WindowSpecDefinition 中重用表达式 (SPARK-41805)
  • 改进 AliasAwareOutputPartitioning 和 AliasAwareQueryOutputOrdering 以考虑所有别名（SPARK-40086、SPARK-42049）
  • 通过 Python UDF 下推限制 (SPARK-42115)

代码生成和查询执行

  • 在 BroadcastNestedLoopJoinExec 中使 defaultJoin 并行运行 (SPARK-40487)
  • HiveGenericUDF 的 Codegen 支持 (SPARK-42051)
  • 在 SinglePartition 上引入随机排列 (SPARK-41986)
  • 使 DPP 支持修剪端联合 (SPARK-39217)

其他值得注意的更改

  • 支持自动分区统计信息收集 (SPARK-38573)
  • 设置 Thrift 服务器中错误消息的格式 (SPARK-40098)
  • 添加一个扩展 API 以执行缓存计划规范化 (SPARK-41183)
  • 通过引入物理类型重构 Spark 类型 (SPARK-41226)
  • OneOf 字段支持和递归检查 (SPARK-41396)
  • 集中化列解析逻辑 (SPARK-41405)
  • 改进计划更改验证 (SPARK-42081)
  • 为 typesafety 引入 SparkPath (SPARK-41970)
  • 通过数据集 API 创建临时视图时针对 db_name.view_name 引发异常 (SPARK-41090)
  • 将 Mask 函数参数的默认值从 -1 更改为 NULL (SPARK-42070)

Spark Core

解除授权

  • 如果迁移了随机数据，则避免在停用的执行程序丢失时重新运行不必要的任务 (SPARK-41469)
  • 忽略因停用执行程序而导致的阶段提取失败 (SPARK-40481)
  • 默认启用 spark.storage.decommission.(rdd|shuffle)Blocks.enabled (SPARK-40198)
  • 在禁用 ESS 时添加对 YARN 停用的支持 (SPARK-30835)

计划程序

  • 使阶段计划支持本地群集模式 (SPARK-41949)
  • 禁用动态分配时，支持独立群集的阶段级任务资源配置文件 (SPARK-39853)
  • 延迟 onDisconnected，使驱动程序能够接收 ExecutorExitCode (SPARK-39957)
  • 通过阶段任务指标改进推测 (SPARK-32170)
  • 为独立群集添加阶段级资源调度支持 (SPARK-39062)
  • 改进 LaunchTask 进程，以避免由于无法发送 LaunchTask 消息而导致 Stage 失败 (SPARK-39955)

随机选择

  • 添加基于推送的随机客户端读取指标 (SPARK-36620)
  • 基于推送的随机排列的随机服务器端指标 (SPARK-33573)
  • 确保在数据库关闭之前关闭 mergedShuffleCleaner (SPARK-40186)
  • 添加随机服务状态存储的 RocksDB 支持 (SPARK-38888)
  • 封装用于将远程/外部随机状态存储为 DB 的 LevelDB (SPARK-38909)
  • 默认启用 spark.dynamicAllocation.shuffleTracking.enabled (SPARK-3984)
  • 启用基于推送的随机服务以将状态存储在 NM 级别的工作 DB 中，从而免于重启 (SPARK-33236)
  • 使用随机服务为已发布的执行程序删除随机块 (SPARK-37618)

其他值得注意的更改

  • 支持仅限 IPv6 的环境 (SPARK-39457)
  • 默认启用 spark.kryo.unsafe (SPARK-42137)
  • 在群集模式下禁止使用代理用户的任意自定义类路径 (SPARK-41958)
  • 避免当执行程序丢失时重新注册 BlockManager (SPARK-41360)
  • 消除单个任务结果必须适合 2GB 的限制 (SPARK-40622)
  • 删除对已弃用的 spark.akka.* 配置的支持 (SPARK-40401)
  • 将默认日志记录更改为 stderr 以便与 log4j 的行为一致 (SPARK-40406)
  • 计算结果大小时排除 DirectTaskResult 元数据 (SPARK-40261)
  • 允许在 take() 行为中自定义初始分区数 (SPARK-40211)
  • 在 Executor.updateDependencies() 中使用可中断锁而不是同步 (SPARK-40235)
  • 任务失败应始终触发任务失败侦听器 (SPARK-40106)
  • 添加选择性地禁用监视或轮询的功能 (SPARK-36462)
  • 不要在驱动程序上缓存未序列化的广播关系 (SPARK-39983)
  • 修复 TaskMemoryManager 和 UnsafeExternalSorter.SpillableIterator 之间的死锁 (SPARK-39283)
  • 将阶段中的数字分区公开给 TaskContext (SPARK-38679)
  • 使内存开销系数可配置 (SPARK-38194)
  • 避免在 ShellBasedGroupsMappingProvider 中使用 bash -c (SPARK-38992)

结构化流式处理

主要功能

  • 异步进度跟踪 (SPARK-39591)
  • 结构化流式处理中的 Python 任意有状态处理 (SPARK-40434)
  • 结构化流式处理中的 Protobuf 支持 (SPARK-40653)
  • 修复延期记录筛选以支持链接有状态运算符 (SPARK-40925)

其他值得注意的更改

  • 引入基于 Hadoop 可中止接口的流式处理检查点文件管理器 (SPARK-40039)
  • 弃用 Trigger.Once 并提升 Trigger.AvailableNow (SPARK-39805)
  • 在流式处理查询中将目录表的信息公开给逻辑计划 (SPARK-39564)
  • 支持从流式处理接收器收集指标 (SPARK-38564)
  • 弃用 DStream API (SPARK-42075)
  • 翻转 Kafka 偏移提取配置的默认值 (SPARK-40844)
  • 在 PySpark 中的 foreachBatch 接收器的用户函数中的数据帧中提供克隆的 spark 会话 (SPARK-41379)

Spark Connect

Python 客户端

Scala 客户端

PySpark

Spark 上的 Pandas API

其他值得注意的更改

MLLIB

SparkR

实时 UI 和历史记录服务器服务

  • 为大型应用程序提供更好的 Spark UI 可伸缩性和驱动程序稳定性 (SPARK-41053)
  • 默认情况下将 RocksDB 用于 spark.history.store.hybridStore.diskBackend (SPARK-42277)
  • 将嵌套执行分组到根执行下 (SPARK-41752)
  • 在环境选项卡中显示指标属性 (SPARK-39110)
  • 修复当记录大于零时不显示 StagePage 输入大小/记录的问题 (SPARK-34777)
  • 通过使用 Jackson 而不是 Json4s 来提高事件日志 JsonProtocol 性能 (SPARK-39489)
  • 支持 spark.history.fs.update.batchSize (SPARK-39225)

构建

维护更新

请参阅 Databricks Runtime 13.0 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.2 LTS
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.10.6
  • R：4.2.2
  • Delta Lake：2.3.0

已安装的 Python 库

库 版本 库 版本 库 版本
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 单击 8.0.4 密码系统 37.0.1
cycler 0.11.0 Cython 0.29.32 dbu-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0.4
执行 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.12 numpy 1.21.5 oauthlib 3.2.0
打包 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
请求 2.28.1 rope 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

库 版本 库 版本 库 版本
箭头 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
启动 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 凭据 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 评估 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
方法 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 工具 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.2-shaded-protobuf
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1