Hadoop_20_MapReduce程序的运行模式

1.MapReduce程序的运行模式

1. Windows中运行MapReduce程序

（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

（2）而处理的数据及输出结果能够在本地文件系统，也能够在hdfs上

（3）设置MapReduce程序的conf配置参数(不配默认)：

（4）本地模式很是便于进行业务逻辑的debug，只要在eclipse中打断点便可

（5）在windows下运行本地模式来测试程序逻辑，须要在windows中配置环境变量：

％HADOOP_HOME％ = d:/hadoop-2.6.1  %PATH% = ％HADOOP_HOME％\bin(记得重启)

而且要将d:/hadoop-2.6.4的lib和bin目录替换成windows平台编译的版本

运行程序：

 

2. 集群运行MapReduce程序

（1）将mr程序提交给yarn集群resourcemanager，分发到不少的节点上并发执行

（2）处理的数据和输出结果应该位于hdfs文件系统

（3）提交集群的实现步骤：

A、将程序打成JAR包，而后在集群的任意一个节点上用hadoop命令启动：

　hadoop jar workcount.jar ..WordcountDriver /wc/input1 /wc/output

B、直接在linux的eclipse中运行main方法

（项目中要带参数：mapreduce.framework.name=yarn以及yarn的两个基本配置）

C、若是在windows的eclipse中提交MR到集群运行，则要修改YarnRunner类