0017-Spark的HistoryServer不能查看到全部历史做业分析

1.问题描述

Spark的HistoryServer能正常查看以前的历史做业日志，但新提交的做业在执行完成后未能在HistoryServer页面查看。

2.问题复现

1.分别使用root和ec2-user用户执行做业

2.经过sparkHistory Server能够正常查看到全部历史做业

3.将/user/spark/applicationHistory目录的所属组修改成supergroup，再次执行做业

sudo –u hdfs hadoop dfs –chown spark:supergroup /user/spark/applicationHistroy

做业执行完成

HDFS上正常记录了spark做业日志，但做业所属group为supergroup

sparkHistoryServer报异常，没有权限访问历史job目录

4.在History Server未查看到刚执行完成的007做业

3.问题缘由

因为/user/spark/applicationHistory目录的所属组为supergroup，致使全部用户做业的目录均为supergroup组，以前能正常查看的历史做业因为目录的所属组任为spark。

4.解决方法

将/user/spark/applicationHistory目录及该目录下的子目录所属组修改成spark

sudo –u hdfs hadoop dfs –chgrp –R spark /user/spark/applicationHistory

修改后全部历史做业都可正常查看

醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不愿放，数据玩的花！