Spark 内存溢出 处理 及 优化

内存溢出解决方法 1. map过程产生大量对象致使内存溢出 这种溢出的缘由是在单个map中产生了大量的对象致使的。sql 例如：rdd.map(x=>for(i <- 1 to 10000) yield i.toString)，这个操做在rdd中，每一个对象都产生了10000个对象，这确定很容易产生内存溢出的问题。针对这种问题，在不增长内存的状况下，能够经过减小每一个Task的大小，以便达到每一个

>>阅读原文<<