当执行者内存耗尽时,Spark 会移除执行者并重试这些执行者的任务。 作业会变慢,在多次失败后,该阶段和作业都会失败。
当作业失败或执行器被移除,且计算事件日志中没有显示 Spot 实例或抢占式实例丢失或自动扩展时,请使用此页面。 要查看事件日志,请参见 失败作业或已移除的执行者。 如果该阶段已完成但速度缓慢且出现溢写,请参见 数据倾斜和溢写。
验证内存问题
内存问题常常导致以下错误:
SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.
这些错误通常是通用的,其他问题也可能引起这些错误。 如果你怀疑内存问题,可以通过将每个核心内存加倍来验证是否能解决问题。
例如,如果工作器类型具有 4 个核心和 16 GB 内存,则切换到具有 4 个核心和 32 GB 内存的工作器类型。 这样每个核心就有8GB,而不是4GB。 内存与核心的比例重要,而不是总内存。 如果作业需要更长时间才失败,或者根本不失败,内存可能是原因。
如果增加内存解决了该问题,就保留较大的 worker 类型。 如果没有,或者额外费用过高,请在下一节查看可能的原因。
可能的原因
记忆问题有很多可能的原因。 从以下常见原因开始:
洗牌分区太少了。 将
spark.sql.shuffle.partitions设置为auto,以便 Spark 选择 shuffle 分区数。 参见 AQE 配置。大规模广播 检查大表上的广播连接提示,并检查运行时广播阈值。 参见 AQE 配置。
UDFs。 每个运行 UDF 的任务可能会将其分区内的所有数据加载到内存中。 用本地函数重写 UDF,或者在应用该 UDF 之前重新分区。 参见 运行缓慢的 UDF。
一个没有
PARTITION BY的窗口函数。 添加一个 子句,使PARTITION BY不会跨越整个数据集。 看 只有一个任务的 Long Spark stage。流媒体状态。 对于保持 流式状态的查询,使用RocksDB的状态存储并限制内存使用。 请参阅 Cap RocksDB 内存使用情况。