Hadoop日志存放路径详解

　　Hadoop的日志有不少种，不少初学者每每遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样每每能够定位到错误。Hadoop的日志大体能够分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不同的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。
　　

1、Hadoop系统服务输出的日志

　　诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。好比resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log，其中${USER}s是指启动resourcemanager进程的用户，${hostname}是resourcemanager进程所在机器的hostname；当日志到达必定的大小（能够在${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置）将会被切割出一个新的文件，切割出来的日志文件名相似yarn-${USER}-resourcemanager-${hostname}.log.数字的，后面的数字越大，表明日志越旧。在默认状况下，只保存前20个日志文件，好比下面：

-rw-r--r-- 1 wyp wyp 124M Mar 14 17:01 yarn-wyp-resourcemanager-master.log -rw-r--r-- 1 wyp wyp 257M Mar  9 10:02 yarn-wyp-resourcemanager-master.log.1 -rw-r--r-- 1 wyp wyp 257M Feb  4 09:05 yarn-wyp-resourcemanager-master.log.10 -rw-r--r-- 1 wyp wyp 257M Feb  1 17:04 yarn-wyp-resourcemanager-master.log.11 -rw-r--r-- 1 wyp wyp 257M Jan 30 01:04 yarn-wyp-resourcemanager-master.log.12 -rw-r--r-- 1 wyp wyp 257M Jan 26 04:01 yarn-wyp-resourcemanager-master.log.13 -rw-r--r-- 1 wyp wyp 257M Jan 22 16:12 yarn-wyp-resourcemanager-master.log.14 -rw-r--r-- 1 wyp wyp 257M Jan 20 17:14 yarn-wyp-resourcemanager-master.log.15 -rw-r--r-- 1 wyp wyp 257M Jan 18 19:01 yarn-wyp-resourcemanager-master.log.16 -rw-r--r-- 1 wyp wyp 257M Jan 15 15:21 yarn-wyp-resourcemanager-master.log.17 -rw-r--r-- 1 wyp wyp 257M Jan 15 15:00 yarn-wyp-resourcemanager-master.log.18 -rw-r--r-- 1 wyp wyp 257M Jan 15 14:40 yarn-wyp-resourcemanager-master.log.19 -rw-r--r-- 1 wyp wyp 257M Mar  5 21:00 yarn-wyp-resourcemanager-master.log.2 -rw-r--r-- 1 wyp wyp 257M Jan 15 14:20 yarn-wyp-resourcemanager-master.log.20 -rw-r--r-- 1 wyp wyp 257M Feb 23 00:00 yarn-wyp-resourcemanager-master.log.3 -rw-r--r-- 1 wyp wyp 257M Feb 20 08:05 yarn-wyp-resourcemanager-master.log.4 -rw-r--r-- 1 wyp wyp 257M Feb 17 17:04 yarn-wyp-resourcemanager-master.log.5 -rw-r--r-- 1 wyp wyp 257M Feb 15 01:05 yarn-wyp-resourcemanager-master.log.6 -rw-r--r-- 1 wyp wyp 257M Feb 12 09:00 yarn-wyp-resourcemanager-master.log.7 -rw-r--r-- 1 wyp wyp 257M Feb  9 17:08 yarn-wyp-resourcemanager-master.log.8 -rw-r--r-- 1 wyp wyp 257M Feb  7 01:10 yarn-wyp-resourcemanager-master.log.9

上面这些都是能够配置的，好比resourcemanager（在${HADOOP_HOME}/etc/hadoop/log4j.properties）：

log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager           $ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger} log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager                                     .RMAppManager$ApplicationSummary=false log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/                         ${yarn.server.resourcemanager.appsummary.log.file} log4j.appender.RMSUMMARY.MaxFileSize=256MB（多大切割日志） log4j.appender.RMSUMMARY.MaxBackupIndex=20（说明保存最近20个日志文件） log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n

resourcemanager日志存放路径也是能够配置的（在${HADOOP_HOME}/etc/hadoop/yarn-env.sh）：

# default log directory & file if [ "$YARN_LOG_DIR" = "" ]; then   YARN_LOG_DIR="$HADOOP_YARN_HOME/logs" fi

只须要修改YARN_LOG_DIR的值，这时候，yarn相关的日志记录都将存放在你配置的目录下。
　　

2、Mapreduce程序相关的日志

　　Mapreduce程序的日志能够分为历史做业日志和Container日志。
　　（1）、历史做业的记录里面包含了一个做业用了多少个Map、用了多少个Reduce、做业提交时间、做业启动时间、做业完成时间等信息；这些信息对分析做业是颇有帮助的，咱们能够经过这些历史做业记录获得天天有多少个做业运行成功、有多少个做业运行失败、每一个队列做业运行了多少个做业等颇有用的信息。这些历史做业的信息是经过下面的信息配置的：

<property>     <name>mapreduce.jobhistory.done-dir</name>     <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value> </property>    <property>     <name>mapreduce.jobhistory.intermediate-done-dir</name>     <value>${yarn.app.mapreduce.am.staging-dir}                          /history/done_intermediate</value> </property>    <property>     <name>yarn.app.mapreduce.am.staging-dir</name>     <value>/tmp/hadoop-yarn/staging</value> </property>

　　（2）、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认状况下，这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下，咱们能够经过下面的配置进行修改：

<property>     <description>       Where to store container logs. An application's localized log directory       will be found in ${yarn.nodemanager.log-dirs}/application_${appid}.       Individual containers' log directories will be below this, in       directories  named container_{$contid}. Each container directory will       contain the files stderr, stdin, and syslog generated by that container.     </description>     <name>yarn.nodemanager.log-dirs</name>     <value>${yarn.log.dir}/userlogs</value> </property>   3.日志汇集相关配置参数 日志汇集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认状况下，Container/任务日志存在在各个NodeManager上，若是启用日志汇集功能须要额外的配置。 （1） yarn.log-aggregation-enable 参数解释：是否启用日志汇集功能。 默认值：false （2） yarn.log-aggregation.retain-seconds 参数解释：在HDFS上汇集的日志最多保存多长时间。 默认值：-1 （3） yarn.log-aggregation.retain-check-interval-seconds 参数解释：多长时间检查一第二天志，并将知足条件的删除，若是是0或者负数，则为上一个值的1/10。 默认值：-1 （4） yarn.nodemanager.remote-app-log-dir 参数解释：当应用程序运行结束后，日志被转移到的HDFS目录（启用日志汇集功能时有效）。 默认值：/tmp/logs （5） yarn.log-aggregation.retain-seconds 参数解释：远程日志目录子目录名称（启用日志汇集功能时有效）。 默认值：日志将被转移到目录${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

　若是hdfs日志路径使用默认值，则能够在/tmp/logs目录下找到全部用户的application运行日志。

 

熟悉Hadoop相关日志的存放地方不只对运维Hadoop和观察Mapreduce的运行都是颇有帮助的。

参考连接：

http://www.iteblog.com/archives/896

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/

http://stackoverflow.com/questions/32713587/how-to-keep-yarns-log-files