hadoop-3.2.0------>入门八 伪分布式 配置日志汇集

1、日志汇集概念

            应用运行完成之后，将程序运行日志信息上传到HDFS系统上

2、日志汇集功能好处

            能够方便的查看到程序运行的详情，方便开发调试

3、注意

            开启日志汇集功能，须要重启NodeManager、ResourceManager和HistoryManager

            关闭命令：

                    关闭NodeManager：sbin/yarn-daemon.sh stop nodemanager

                    关闭ResourceManager：sbin/yarn-daemon.sh stop resourcemanager

                    关闭HistoryManager：sbin/mr-jobhistory-daemon.sh stop historyserver

                    

4、配置日志汇集

           一、配置yarn-site.xml（命令：vi etc/hadoop/yarn-site.xml）

                       配置信息以下

<!--日志汇集功能-->
                        <property>
                            <name>yarn.log-aggregation-enable</name>
                            <value>true</value>
                        </property>
                        <!-- 日志保留时间单位是秒  这里我设置为7天-->
                        <property>
                            <name>yarn.log-aggregation.retain-seconds</name>
                            <value>604800</value>
                        </property>

                        

           二、启动NodeManager、ResourceManager和HistoryManager

                    开启命令：

                            开启NodeManager：sbin/yarn-daemon.sh stop nodemanager

                            开启ResourceManager：sbin/yarn-daemon.sh stop resourcemanager

                            开启HistoryManager：sbin/mr-jobhistory-daemon.sh stop historyserver

                            

 

           四、删除咱们以前运行过得wordcount用例的输出文件（命令：bin/hdfs dfs -rm -r /user/root/output）

                            

           五、运行wordcount程序。(命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount  /user/root/input  /user/root/output)

            六、查看log文件

                    一、浏览器输入ip+端口号访问yarn页面

           

                    二、点击history进入历史服务器

 

                    三、点击logs查看日志