一个长期运行且仅有一个任务的阶段没有并行性。 任务运行时,一颗CPU负责工作,集群中的其余部分可能处于空闲状态。 增加工作节点也没用,因为 Spark 无法将工作分配到这些工作节点上。
当 最长的阶段 只有一个任务时,使用此页面。 如果阶段任务多,检查是否有倾斜和洒落。 请参阅倾斜和溢出。
常见原因和修复
单任务阶段通常有以下原因之一。 找到与你代码匹配的那个,然后应用修复:
一个针对小数据的高开销 UDF。 小输入可能会落在一个分区里,所以一个任务会运行整个 UDF。 如果可以的话,用原生函数重写UDF。 否则,在应用 UDF 之前,先对 DataFrame 执行
repartition()。 参见 运行缓慢的 UDF。一个没有
PARTITION BY的窗口函数。 没有子PARTITION BY句时,窗口 会覆盖整个数据集,因此一个任务会处理每一行。 如果你的逻辑允许,可以加一个PARTITION BY子句。一种不可拆分的文件类型。 Spark 无法读取以多个部分存储的 gzip 等文件,因此每个文件都由一个大型任务读取。 如果你反复读取相同的文件,先把它们导入一次到 Delta Lake 表,然后再查询该表。
JSON 或 CSV 读取上的
multiLine选项。 仅在记录跨越多行时设置multiLine。 参见 阅读多行JSON文件。对大文件进行架构推断。 指定模式,而不是推断它。 参见“指定模式”。
repartition(1)或coalesce(1)。 这些会强制所有数据集中到一个分区。 移除它们,或者使用更多分区,除非你需要单个输出文件。