适用于 Apache Spark 3.2 的 Azure Synapse 运行时(已弃用)
Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.2 的 Azure Synapse 运行时的运行时组件和版本。
注意
适用于 Apache Spark 3.2 的 Azure Synapse 运行时的弃用和禁用通知
- 2023 年 7 月 8 日,宣布终止对适用于 Apache Spark 3.2 的 Azure Synapse 运行时的支持。
- 从 2024 年 7 月 8 日起,Azure Synapse 将停止对 Spark 3.2 运行时的官方支持。
- 根据适用于 Apache Spark 的 Synapse 运行时的生命周期策略,适用于 Apache Spark 3.2 的 Azure Synapse 运行时将于 2024 年 7 月 8 日停用。 现有工作流将继续运行,但安全更新和 bug 修复将不再提供。 元数据将暂时保留在 Synapse 工作区中。
- 强烈建议在 2024 年 7 月 8 日之前将 Apache Spark 3.2 工作负载升级到 Azure Synapse Runtime for Apache Spark 3.4 (GA)。
组件版本
组件 | 版本 |
---|---|
Apache Spark | 3.2.1 |
操作系统 | Ubuntu 18.04 |
Java | 1.8.0_282 |
Scala | 2.12.15 |
Hadoop | 3.3.1 |
.NET Core | 3.1 |
.NET | 2.0.0 |
Delta Lake | 1.2 |
Python | 3.8 |
R(预览版) | 4.2 |
Synapse-Python38-CPU.yml 包含 Azure Synapse Spark 中默认 Python 3.8 环境中提供的库列表。
Libraries
要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.2 的 Azure Synapse 运行时中包含的库,请转到适用于 Apache Spark 3.2 的 Azure Synapse 运行时发行说明
后续步骤
Apache Spark 版本之间的迁移 - 支持
有关从旧版运行时迁移到适用于 Apache Spark 3.3 或 3.4 的 Azure Synapse 运行时的指南,请参阅 Apache Spark 运行时概述。