大数据学习笔记19:MR解决问题思路

MR解决问题思路            1、分而治之   把一个大任务 划分为多个小块 来分别计算      2、map 就是对每个小块分别处理的过程,处理完产生一个中间结果。一般这个中间结果要比原始数据小很多。         这多个小块进行并发处理,提供处理速度。     3、reduce 是对中间结果的 汇总         reduce可能是一个 也可能是多个。上面例子中只能是一个。若是一
相关文章
相关标签/搜索