Spark~内存管理

近期在调实验,发现了一个Java.lang.nullPointerException异常, 致使部分task挂掉,最终经过调节参数内存管理参数成功解决。下面总结一下Spark中的内存管理机制。   缓存 从Spark1.6.0开始,Spark的内存管理采用了和以前不一样的方式,采用了一种新的内存管理模式叫作统一内存管理,UnifiedMemoryManager。而1.6.0版本以前的Spark的内
相关文章
相关标签/搜索