MapReduce分布式计算原理

本文主要经过一个例子引出MapReduce，介绍MapReduce分布式计算原理。 首先为了方便你们理解，先来说一个伐树的例子 有abc三座山，山上有橡木、红木、樟木，如今派三个工人去伐木 工人在山上伐木并将树木进行简单的加工，组装，而后发送给工厂进行组装 在这个过程当中： 工人至关于Map 工人在每一个山头组装——>combiner 将半成品运输到工厂——>shuffle （网络IO，这是最耗时

>>阅读原文<<