【原创】大叔经验分享（14）spark on yarn提交任务到集群后spark-submit进程一直等待

spark on yarn经过--deploy-mode cluster提交任务以后，应用已经在yarn上执行了，可是spark-submit提交进程还在，直到应用执行结束，提交进程才会退出，有时这会很不方便，而且不注意的话还会占用不少资源，好比提交spark streaming应用；

最近发现spark里有一个配置能够修改这种行为，提交任务的时候加长一个conf就能够

--conf spark.yarn.submit.waitAppCompletion=false

org.apache.spark.deploy.yarn.config

  private[spark] val WAIT_FOR_APP_COMPLETION = ConfigBuilder("spark.yarn.submit.waitAppCompletion")
    .doc("In cluster mode, whether to wait for the application to finish before exiting the " +
      "launcher process.")
    .booleanConf
    .createWithDefault(true)