3 weekend110的shuffle机制 + mr程序的组件全貌

前面，讲到了hadoop的序列化机制，mr程序开发，自定义排序，自定义分组。 有多少个reduce的并发任务数可以控制，但有多少个map的并发任务数还没     缓存，分组，排序，转发，这些都是mr的shuffle。 Soga     现在。来观察map阶段有几个yarnchild，reduce阶段有几个yarnchild。对应地，就是有多少个map的并发任务数，有多少个reduce的并发任务数

>>阅读原文<<