适用于 Apache Spark 3.3 的 Azure Synapse 运行时 (EOSA)

Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.3 的 Azure Synapse 运行时的运行时组件和版本。

警告

Azure Synapse Runtime for Apache Spark 3.3 的支持结束通知

  • 2024 年 7 月 12 日,宣布 Azure Synapse Runtime for Apache Spark 3.3 支持结束。
  • 自 2025 年 3 月 31 日起,Azure Synapse 将停止 Spark 3.3 Runtimes 官方支持。
  • 强烈建议将基于 Apache Spark 3.3 的工作负荷升级到 Azure Synapse Runtime for Apache Spark 3.4 (GA)
  • 有关最新信息、详细更改列表和 Spark 运行时的特定发行说明,请查看和订阅 Spark 运行时发布和更新

组件版本

组件 版本
Apache Spark 3.3.1
操作系统 Ubuntu 18.04
Java 1.8.0_282
Scala 2.12.15
Hadoop 3.3.3
Delta Lake 2.2.0
Python 3.10
R(预览版) 4.2.2

Synapse-Python310-CPU.yml 包含 Azure Synapse Spark 中默认 Python 3.10 环境中提供的库列表。

重要

.NET for Apache Spark

  • .NET for Apache Spark 是 .NET Foundation 下的一个开源项目,它当前需要 .NET 3.1 库,而该库已到达不受支持状态。 我们希望告知 Azure Synapse Spark 的用户,在 Azure Synapse Runtime for Apache Spark 版本 3.3 中,.NET for Apache Spark 库已被移除。 有关此情况的详细信息,用户可以参阅 .NET 支持策略

  • 因此,用户将无法再通过 C# 和 F# 使用 Apache Spark API,也无法再在 Synapse 中的笔记本中或通过 Synapse 中的 Apache Spark 作业定义执行 C# 代码。 请务必注意,此更改仅影响 Azure Synapse Runtime for Apache Spark 3.3 及更高版本。

  • 我们将根据 Azure Synapse Runtime 的生命周期阶段继续在 Azure Synapse Runtime 的所有早期版本中支持 .NET for Apache Spark。 但是,我们没有在 Azure Synapse Runtime for Apache Spark 3.3 和未来版本中支持 .NET for Apache Spark 的计划。 建议使用由 C# 或 F# 编写的现有工作负载的用户迁移到 Python 或 Scala。 建议用户关注此信息并相应地进行计划。

Libraries

要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.3 的 Azure Synapse 运行时中包含的库,请转到适用于 Apache Spark 3.3 的 Azure Synapse 运行时

后续步骤

Apache Spark 版本之间的迁移 - 支持

有关从旧版运行时迁移到适用于 Apache Spark 3.3 或 3.4 的 Azure Synapse 运行时的指导,请参阅 Apache Spark 运行时概述