阿里云大数据ACP认证知识点梳理7——MAP REDUCE

1、输入数据:对文本进行分片,将每片内的数据作为单个Map Worker的输入。 2、Map阶段:Map处理输入,每获取一个数字,将数字的Count 设置为1,并将此对输出,此时以Word作为输出数据的Key。 3、Shuffle>合并排序:在Shuffle阶段前期,首先对每个Map Worker的输出,按照Key值(即Word值)进行排序。排序后进行Combiner操作,即将Key值(Word值
相关文章
相关标签/搜索