大数据之hadoop分布式计算框架MapReduce

一、MapReduce构成 MapReduce分为两部分,即map和reduce。 其中map是入队(key,value),reduce则是聚合(计算)。 map过程的输出时reduce过程的输入。 需要注意的是这里map中的key是可以重复的,reduce做聚合的时候可以把相同的key放到同一组里,做聚合运算。 二、MapReduce原理分析 map过程: 上图左侧是map的task,其中一个s
相关文章
相关标签/搜索