Spark 内存问题
验证内存问题
内存问题通常会导致以下错误消息：
SparkException: Job aborted due to stage failure: Task 3 in stage 0.0 failed 4 times, most recent failure: Lost task 3.3 in stage 0.0 (TID 30) (10.139.64.114 executor 4): ExecutorLostFailure (executor 4 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.
但是，这些错误消息通常是通用的，可能是由其他问题引起的。 因此，如果怀疑遇到内存问题，可通过以下方法进行验证：将每个核心的内存翻倍，看看它是否会影响你的问题。
例如，如果工作器类型的每个内存有 4 个核心和 16GB，则可以尝试切换到具有 4 个核心和 32GB 内存的工作器类型。 与以前拥有的每核心 4GB 相比，该类型可提供每核心 8GB。 此处重要的是核心数与内存之比。 如果使用额外内存时经历更长时间才会失败或者根本不失败，则很好地表明你的做法是正确的。
如果可以通过增加内存来解决问题，那就太好了！ 也许这就是解决方法。 如果这种做法不能解决问题，或者你无法承担额外的费用，则应该进行更深入的分析。
可能的原因
内存问题有很多可能的原因：