一:hadoop和spark的区别

hadoop是基于磁盘的,它的运算结果保存在磁盘当中;而spark的运算是基于内存的。因此spark的运算速度是 hadoop的100倍;即使在磁盘当中运算,spark也是hadoop的10倍左右,原因就是spark具有优秀的作业调度策略。 故spark的速度快与hadoop的两个原因: (1)spark是基于内存,hadoop基于磁盘: 在hadoop中HDFS用于数据的存储,MapReduce
相关文章
相关标签/搜索