hadoop学习第三天-MapReduce介绍&&WordCount示例&&倒排索引示例

一、MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行 “ 简单的任务”有几个含义: 1 数据或计算规模相对于原任务要大大缩小; 2 就近计算,即会被分配到存放了所需数据的节点进行计算; 3 这些小任务可以并行计算,彼此间几乎没有依赖
相关文章
相关标签/搜索