Hadoop——day2

MapReduce 核心思想 分治 先分再合 map负责分,即将复杂任务拆分为可并行计算且几乎没有依赖关系的小任务 reduce负责合,即对map阶段的结果进行汇总 模拟MapReduce计算 需求:统计文件中每个单词出现的总次数 不采用mr的传统处理方式 1.建立java项目,引入hdfs的jar包,通过fs.copyToLocalFile() 2.读取文件,切割单词,统计次数 采用MapRed
相关文章
相关标签/搜索