适用于 Apache Spark 3.4 的Azure Synapse运行时(已弃用)

注意

已弃用适用于 Apache Spark 3.4 的 Azure Synapse 运行时,支持于 2026 年 3 月 31 日结束。 虽然它可能在此日期之后的有限时间内继续运行,但它不再受支持,并且不会收到 bug 修复、安全更新或漏洞修补程序。 如果不升级,Azure Synapse Runtime for Apache Spark 3.4 上运行的工作负荷将继续在不支持的运行时上运行。 这会增加操作和安全风险,因为运行时将不再收到关键修补程序或更新。 强烈建议将基于 Apache Spark 3.4 的工作负载升级到 Azure Synapse Runtime for Apache Spark 3.5(GA).

Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.4 的 Azure Synapse 运行时的运行时组件和版本。

组件版本

组件 版本
Apache Spark 3.4.1
操作系统 水手 2.0
Java 11
Scala(编程语言) 2.12.17
Delta Lake 2.4.0
Python 3.10
R 4.2.2

提示

有关最新信息、详细更改列表和 Spark 运行时的特定发行说明,请查看和订阅 Spark 运行时发布和更新

图书馆

要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.4 的 Azure Synapse 运行时中包含的库,请转到适用于 Apache Spark 3.4 的 Azure Synapse Runtime 发行说明

提示

spark.memoryOverheadFactor.preferred:如果设置为 true,Spark 会优先于 spark.driver.memoryOverheadFactor 和 spark.executor.memoryOverheadFactor 和 spark.executor.memoryOverhead 的具体值。 启用时,开销总是通过因子计算,显式开销设置被忽略。 默认为 false,用于向下兼容。