【Spark】记一个Spark错误

提交Spark任务到Yarn上运行,得到如下报错信息👇 研究了一会儿发现是自己粗心大意导致的,自己在本地IDEA跑多了,打包的时候忘记删除setMaster了,如下👇 虽然我们在提交任务到Yarn的时候,指定了Master,奈何在代码的优先级高于命令行指定参数,所以就算我们指定了Master也没有效果 所以删除了setMaster这个属性就可以了 所以在这里记录一下这个错误,下次一定不能犯了!
相关文章
相关标签/搜索