Spark 内存问题

当执行者内存耗尽时,Spark 会移除执行者并重试这些执行者的任务。 作业会变慢,在多次失败后,该阶段和作业都会失败。

当作业失败或执行器被移除,且计算事件日志中没有显示 Spot 实例或抢占式实例丢失或自动扩展时,请使用此页面。 要查看事件日志,请参见 失败作业或已移除的执行者。 如果该阶段已完成但速度缓慢且出现溢写,请参见 数据倾斜和溢写。

验证内存问题

内存问题常常导致以下错误:

SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

这些错误通常是通用的,其他问题也可能引起这些错误。 如果你怀疑内存问题,可以通过将每个核心内存加倍来验证是否能解决问题。

例如,如果工作器类型具有 4 个核心和 16 GB 内存,则切换到具有 4 个核心和 32 GB 内存的工作器类型。 这样每个核心就有8GB,而不是4GB。 内存与核心的比例重要,而不是总内存。 如果作业需要更长时间才失败,或者根本不失败,内存可能是原因。

如果增加内存解决了该问题,就保留较大的 worker 类型。 如果没有,或者额外费用过高,请在下一节查看可能的原因。

可能的原因

记忆问题有很多可能的原因。 从以下常见原因开始:

  • 洗牌分区太少了。 将 spark.sql.shuffle.partitions 设置为 auto,以便 Spark 选择 shuffle 分区数。 参见 AQE 配置。

  • 大规模广播 检查大表上的广播连接提示,并检查运行时广播阈值。 参见 AQE 配置。

  • UDFs。 每个运行 UDF 的任务可能会将其分区内的所有数据加载到内存中。 用本地函数重写 UDF,或者在应用该 UDF 之前重新分区。 参见 运行缓慢的 UDF。

  • 一个没有 PARTITION BY的窗口函数。 添加一个 子句,使 PARTITION BY 不会跨越整个数据集。 看 只有一个任务的 Long Spark stage。

  • 倾斜 在该阶段的 汇总指标中确认偏差。 参见 Skew。 关于连接,请参见 动态处理倾斜连接。

  • 流媒体状态。 对于保持 流式状态的查询,使用RocksDB的状态存储并限制内存使用。 请参阅 Cap RocksDB 内存使用情况。