018 spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面

一：目标

1.目标

　　在yarn的8080页面能够跳转到spark的日志18080页面。

　　由于在运行spark以后，看对应的job的日志，这样直接链接，更合理直接。

 

2.总结

　　在后面能够看到，其实不须要启动mr-history的。

　　由于这个是手机mapreduce的日志的，同时，只要8088的页面，在这个页面点history朝着18080跳转便可。

 

二：操做步骤

1.先开启服务

　　yarn，hdfs，spark

　　

 

2.运行程序

　　

 

3.在yarn上没法观察history

　　

 

4.由于没有开启服务　

　　1. MR的job History服务启动(不须要启动)
　　　　mr-jobhistory-daemon.sh start historyserver
　　　　http://hadoop-senior01:19888/jobhistory
　　2. Spark的Job History服务启动
　　　　sbin/start-history-server.sh

 

5.结果

　　能够看18080端口。

　　

　　可是，在yarn上的history仍然不能够跳转到spark的日志页面。

 

二：解决方法

1.关闭全部的服务

　　由于须要修改spark与hadoop的配置文件

　　

 

2.修改yarn-site.xml

　　其中，enable已经在MR的yarn中被配置过。

　　只要配置一下url。

　　

 

3.修改spark-defaults.conf

　　eventLog.dir的做用的聚合做用。

　　在spark-default-site.xml中的配置是展现的做用，展现的文件夹与端口号。

　　

 

4.重启服务

　　启动yarn，而后spark的history。

　　

 

5.继续运行刚才的程序

　　

 

6.开始观看全部的效果（首先是18080端口）

　　

 

7.继续（yarn的8088端口的history点击）

　　yarn的8088端口

　　

　　单击后跳到这个界面（18080端口）