SparkCore（16）：Spark内存管理机制1.6之前和1.6+

一、Spark1.6之前（固定的值） 1.架构图 2.具体分配 Spark应用中代码使用内存：你编写的程序中使用到的内存=>20% Spark数据缓存的时候用到的内存：60% => spark.storage.memoryFraction Spark shuffle过程中使用到的内存：20% => spark.shuffle.memoryFraction 3.官网 spark.shuffle.me

>>阅读原文<<