spark比mapreduce快的一个缘由

接触spark时间不长，可是有些概念仍是没有太校准，因而回顾了一下spark的文档。读到shuffle操做那块发现spark的shuffle操做后的reduce也是存储到文件而后从文件中读取。之前一直觉得spark快是由于这部分操做是在内存中执行，也就是reduce操做从内存中读取shufflemaptask的结果。看来之后学知识仍是要扎实一点，慢一点没有关系。web 上面指出了，spark也是从

>>阅读原文<<