MapReduce执行流程源码深度剖析(一)

1、分布式计算引擎的核心设计思路 分布式里的核心思路:就是 分而治之 (比如怎么切分和怎么合并) 既然复杂问题,单台计算搞不定,那么就发挥人多力量大的优势:组建一个多服务器组成的集群来完成分布式计算的问题。 核心过程就是: 1、第一阶段:复杂的大任务拆分成多个简单的小任务来进行执行 2、第二阶段:把第一阶段的并行执行的小任务的执行结果进行汇总 MapReduce:一句话讲就是分而治之+并行计算 H
相关文章
相关标签/搜索