Spark速度比MapReduce快,不仅是内存计算

作为Hadoop的分布式计算框架,MapReduce扮演着分布式计算的任务,适用于离线批计算任务。Spark本身不具备存储数据功能,通常基于HDFS。我们经常会在各类文章中看到类似这样的描述:Spark是基于内存计算的,其速度远快于Hadoop的MapReduce。本文旨在讨论这一结论背后的原因。 一、Spark内存计算 VS MapReduce读写磁盘 MapReduce:MapReduce通常
相关文章
相关标签/搜索