Hadoop-----WordCount

一、基本形式 如上图所示,将HDFS上的文本作为输入,在map函数中完成对单词的拆分并输出为中间结果,并在reduce函数中完成对每个单词的词频计数。 文本作为MapReduce的输入,MapReduce会将文本进行切片处理并将行号作为输入键值对的键,文本内容作为输出的值,经过map函数的处理,输出中间结果为<word,1>的形式。MapReduce会默认按键分发给reduce函数,并在reduc
相关文章
相关标签/搜索