13.3 Spark调优-JVM调优,shuffle调优, Reduce OOM

JVM调优:java Executor JVM堆内存 分为三块 静态资源划分算法 (60%(RDD以及广播变量存储的位置)+20%(运行内存)+20%(reduce 聚合内存))*90%+10%(JVM自身预留) = JVM堆内存数据库 JVM的gc回收流程(属于运行内存中):性能 在task中建立出来的对象首先往eden和survior1种存放,survior2是空闲的。当eden和survio
相关文章
相关标签/搜索