Spark 内存溢出 处理 及 优化

内存溢出解决方法 1. map过程产生大量对象导致内存溢出 这种溢出的原因是在单个map中产生了大量的对象导致的。 例如：rdd.map(x=>for(i <- 1 to 10000) yield i.toString)，这个操作在rdd中，每个对象都产生了10000个对象，这肯定很容易产生内存溢出的问题。针对这种问题，在不增加内存的情况下，可以通过减少每个Task的大小，以便达到每个Task即使

>>阅读原文<<