为什么Spark官网上称其性能比Hadoop快100倍

背景 Spark的特点 1.减少磁盘IO 随着实时业务的流行，Hadoop作为离线的高吞吐、低响应框架已不能满足这一需求。Hadoop MapReduce 的map端的中间结果会落地落地到磁盘，reduce端又需要从磁盘上读取中间结果，势必造成磁盘IO瓶颈。Spark在这一个环境则不一样，map端计算的中间结果存储到内存，reduce端在拉取中间结果的时候避免了大量的磁盘IO。Hadoop YAR

>>阅读原文<<