MapReduce分布式计算原理

本文主要通过一个例子引出MapReduce，介绍MapReduce分布式计算原理。 首先为了方便大家理解，先来讲一个伐树的例子 有abc三座山，山上有橡木、红木、樟木，现在派三个工人去伐木 工人在山上伐木并将树木进行简单的加工，组装，然后发送给工厂进行组装 在这个过程中： 工人相当于Map 工人在每个山头组装——>combiner 将半成品运输到工厂——>shuffle （网络IO，这是最耗时间的

>>阅读原文<<