解决Spark OOM

spark任务在调试过程中，OOM是非常讨厌的一种情况。本文针对Heap OOM的情况先做一定分析，告诉大家如何调参。 1.Heap OOM的现象 如果在Spark UI或者在spark.log中看到如下日志： java.lang.OutOfMemoryError: GC overhead limit exceeded java.lang.OutOfMemoryError: java heap s

>>阅读原文<<