Long Spark stage,任务只有一个

一个长期运行且仅有一个任务的阶段没有并行性。 任务运行时,一颗CPU负责工作,集群中的其余部分可能处于空闲状态。 增加工作节点也没用,因为 Spark 无法将工作分配到这些工作节点上。

当 最长的阶段 只有一个任务时,使用此页面。 如果阶段任务多,检查是否有倾斜和洒落。 请参阅倾斜和溢出。

常见原因和修复

单任务阶段通常有以下原因之一。 找到与你代码匹配的那个,然后应用修复:

  • 一个针对小数据的高开销 UDF。 小输入可能会落在一个分区里,所以一个任务会运行整个 UDF。 如果可以的话,用原生函数重写UDF。 否则,在应用 UDF 之前,先对 DataFrame 执行repartition()。 参见 运行缓慢的 UDF。

  • 一个没有 PARTITION BY的窗口函数。 没有子 PARTITION BY 句时,窗口 会覆盖整个数据集,因此一个任务会处理每一行。 如果你的逻辑允许,可以加一个 PARTITION BY 子句。

  • 一种不可拆分的文件类型。 Spark 无法读取以多个部分存储的 gzip 等文件,因此每个文件都由一个大型任务读取。 如果你反复读取相同的文件,先把它们导入一次到 Delta Lake 表,然后再查询该表。

  • JSON 或 CSV 读取上的 multiLine 选项。 仅在记录跨越多行时设置 multiLine 。 参见 阅读多行JSON文件。

  • 对大文件进行架构推断。 指定模式,而不是推断它。 参见“指定模式”。

  • repartition(1) 或 coalesce(1)。 这些会强制所有数据集中到一个分区。 移除它们,或者使用更多分区,除非你需要单个输出文件。