spark,以yarn-cluster模式提交做业,做业老是执行两次。

缘由在于System.exit(0)的不正常应用,致使在以yarn-cluster模式提交时。cluster模式不支持shell,因此当执行到System.exit(0),程序开始报错,而后集群会按照yarn设定好的AM重启次数(在CDH的yarn配置板块中搜索application便可看到次数设置),从新运行,并且若是程序没有错的话,结果就没有错,这样就很难发现错误了。shell object
相关文章
相关标签/搜索