Spark 1.6以后的内存管理机制

 Spark 内部管理机制  　　Spark的内存管理自从1.6开始改变。老的内存管理实现自自staticMemoryManager类，然而现在它被称之为”legacy”. “Legacy” 默认已经被废弃掉了，它意味着相同的代码在1.5版本与1.6版本的输出结果将会不同。需要注意的是，出于兼容性的考虑，你依旧可以使用”legacy”，通过设置spark.memory.useLegacyMode改

>>阅读原文<<