hadoop-3.2.0------>入门六 伪分布式 YARN运行MapReduce

1、配置yarn配置文件：

             一、进入到hadoop根目录下

             二、配置yarn-env.sh（命令：vi  etc/hadoop/yarn-env.sh）

                        将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

                

            三、配置yarn-site.xml （命令：vi etc/hadoop/yarn-site.xml ）

<!--Reducer获取数据方式-->
                <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
                </property>
                <!--yarn的resourcemanager地址-->
                <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>localhost</value>
                </property>

                

            四、配置mapred-env.sh （命令：vi etc/hadoop/mapred-env.sh）

                  将jdk安装路径配置到配置文件最下方（配置文件写法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）

            五、配置mapred-site.xml（命令：vi etc/hadoop/mapred-site.xml）

                  注意：若是没有mapred-site.xml文件，能够查看有没有mapred-site.xml.template文件，若是有将该文件重命名为mapred-site.xml，在进行下面操做。

                将下面配置信息粘贴进去

               <!--指定MR运行在yarn上-->
                <property>
                      <name>mapreduce.framework.name</name>
                      <value>yarn</value>
                </property>
                <property>
                      <name>yarn.app.mapreduce.am.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.map.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.reduce.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>

                    

2、起动集群

            一、先查看namenode和datanode有没有启动，若是没启动先启动这两个节点

                   查看命令：jps

                   启动namenode命令：sbin/hadoop-daemon.sh start namenode

                   启动datanode命令：sbin/hadoop-daemon.sh start datanode

                    

            二、启动resourcemanager节点

                    命令：sbin/yarn-daemon.sh start resourcemanager

                    查看节点是否起来命令：jps

                    

            三、启动NodeManager节点

                    命令：sbin/yarn-daemon.sh start nodemanager

                    查看节点是否起来命令：jps

                    

3、查看YARN的管理界面。

              一、路径ip+8088，就会查看到以下页面