spark 查看 job history 日志

SPARK_HOME/conf 下:

spark-defaults.conf 增长以下内容

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://master:8020/var/log/spark 
spark.eventLog.compress true

spark-env.sh 增长以下内容

export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark”

启动start-history-server.sh

SPARK_HOME/conf 下: 执行 ./start-history-server.sh

spark job history web: master:18080

这样在spark任务运行完成以后,就能够经过web页面查看日志了

history server相关的配置参数描述

1. spark.history.updateInterval 
   　　默认值：10 
   　　以秒为单位，更新日志相关信息的时间间隔

2. spark.history.retainedApplications 
   　　默认值：50 
   　　在内存中保存Application历史记录的个数，若是超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时须要从新构建页面。

3. spark.history.ui.port 
   　　默认值：18080 
   　　HistoryServer的web端口

4. spark.history.kerberos.enabled 
   　　默认值：false 
   　　是否使用kerberos方式登陆访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，若是设置为true，就要配置下面的两个属性

5. spark.history.kerberos.principal 
   　　默认值：用于HistoryServer的kerberos主体名称

6. spark.history.kerberos.keytab 
   　　用于HistoryServer的kerberos keytab文件位置

7. spark.history.ui.acls.enable 
   　　默认值：false 
   　　受权用户查看应用程序信息的时候是否检查acl。若是启用，只有应用程序全部者和spark.ui.view.acls指定的用户能够查看应用程序信息;不然，不作任何检查

8. spark.eventLog.enabled 
   　　默认值：false 
   　　是否记录Spark事件，用于应用程序在完成后重构webUI

9. spark.eventLog.dir 
   　　默认值：file:///tmp/spark-events 
   　　保存日志相关信息的路径，能够是hdfs://开头的HDFS路径，也能够是file://开头的本地路径，都须要提早建立

10. spark.eventLog.compress 
    　　默认值：false 
    　　是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy

以spark.history开头的须要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf 
尊重原创，未经容许不得转载：http://blog.csdn.net/stark_summer/article/details/46459701