MapReduce的原理和运行流程

1:应用场景      1: 海量数据在单机上处理因为硬件资源限制,无法胜任     2:而一旦将单机版程序扩展到集群上分布式运行,将极大增加程序复杂和开发难度     3:引入MapReduce程序后,开发人员可以将绝大部分工作集中在业务逻辑的开发上,而将分布式计算中的复杂性交由框架来处理.     分布式: 1:文件分布式存储HDFS 2:运算逻辑需要至少分成两个阶段(一个阶段独立开发,一个阶

>>阅读原文<<