MapReduce初识

MapReduce分为两部分:map阶段和reduce阶段 MapReduce优点:并行计算 MapReduce的整个工作过程 input:输入原始数据 mapreduce框架:自动将每一行数据用行号来编成key(输入给map之前) map:输入给map是k–v,经过map的处理,将每一行单独转换成另外的k—v段 (注:map输出的数据有很多重复的,并且没有被排序,不利于下一步的reduce处理,
相关文章
相关标签/搜索