MapReduce编程模板及shuffle过程简介

MapReduce运行流程(7步)： 做业启动>>>做业初始化>>>任务调度(Yarn)>>>map>>>shuffle>>>reduce>>>做业完成java MapReduce将整个并行计算过程抽象到两个函数： Map(映射)：对一些独立元素组成的列表的每个元素进行指定的操做，能够高度并行。 Reduce(化简)：对一个列表的元素进行合并。 一个简单的MapReduce程序只须要指定map()

>>阅读原文<<