查看spark任务日志的几种方式

    spark运行的任务往往通过web来查看，但是，当运行的是sparkStreaming任务时，日志往往会很大，web查看并不方便，因此需要定位到服务器上去看。下面将分别介绍两种查看driver端和executor端日志的方式。 一、web端日志的查看： 下面是四个yarn调度spark任务的web总界面： 点击第一个任务：application_1509845442132_3866  进入

>>阅读原文<<