Spark On yarn

spark on yarn 提交的任务失败，提示 exit 15

以前查网上，大部分有人说时mapred－site 配的classpath有问题，可是个人是好的。

通过艰难的排查是发现，提交的job代码有错误。是什么缘由没有发现这个错误呢，由于这个job在client模式时是能够运行的，可是到了cluster模式就是失败。

后来发现一段

val userDefinedScala = scala.io.Source.fromFile(Utils.DEFAULT_PROJECT_DIR+"UDF.scala").mkString

　　其中

Utils.DEFAULT_PROJECT_DIR ＝

"src/main/scala/com/qiniu/bigdatatool/spark/"这个代码在client跑时应该是能够找到的，可是到了cluster模式跑就不行了。 因此这个是个问题，这应该是涉及到了cluster模式的细节。后来是经过反射加载了这个类，解决了问题。