Hadoop一主一从部署（2）

Hadoop部署一主一从（2）

---

1.关闭防火墙和Linux守护进程
执行命令:

iptables -F
setenforce 0

2.对Hadoop集群进行初始化，在namenode（主机）上执行命令
hdfs namenode -format

3.启动Hadoop，在namenode（主机）上执行以下命令
start-all.sh

4.主机和从机执行命令jps,检查集群是否正常启动，结果如图
主机：

从机：

5.对Hadoop进行一些简单的操做处理：
在hdfs上建立一个bigdata目录，并向目录中上传一个wordcount_test文件

hadoop fs -mkdir /bigdata
hadoop fs -put /root/wordcount_test /bigdata

6.利用Hadoop的shell接口执行Wordcount

hadoop jar /root/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /bigdata/wordcount_test /output

备注：1 /output这个文件输出目录必定不能提早建立，不然会报错
2 执行wordcount要分配足够内存，否则会卡死（我分配了4G），这个在yarn-site.xml这个文件中配置,不然会卡死，以下所示:

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
  </property>

7.查看是否执行成功
执行命令hadoop fs -ls /output

8.查看执行结果
执行命令hadoop fs -cat /output/part-r-00000

至此，Hadoop搭建已所有完成，并且利用Hadoop完成了一个简单的Wordcount小程序。

总结：

防火墙必定要提早关闭，否则向hdfs上传文件会报错。 必定要分配足够的内存，不然执行MapReduce会卡死。