谈一谈你对mapreduce 的理解?(大数据面试题系列~)

MapReduce 是一种用于数据处理的编程模型。我们可以这样理解MapReduce, 把一堆杂乱无章的数据按照某种特征归纳起来,然后处理并得到最后的结果。Map 面对的是杂乱无章的互不相关的数据,它解析每个数据,从中提取key 和value, 也就是提取了数据的特征。经过MapReduce 的shuffle 阶段之后,在Reduce 阶段看到的都是归纳好的数据,然后再进行进一步的处理以得到结果。
相关文章
相关标签/搜索