Spark与MapReduce对比优势

表达能力 MapReduce需要将所有计算转换为Map和Reduce,难以描述复杂处理过程; Spark除Map和Reduce外,还支持RDD/DataFrame/DataSet等多种数据模型操作,编程模型更加灵活。 磁盘IO MapReduce每步运算都要从磁盘读取数据,结束后写入磁盘数据,仅有小部分数据作为临时缓存放入内存,磁盘IO开销比较大; Spark将中间结果直接放入内存,既提高了迭代运
相关文章
相关标签/搜索