IDEA远程提交运行HDFS的Spark程序--优化篇

之前说到，我可以直接让spark程序去引用HDFS上的jar包路径，解决因为上传依赖jar包导致的时间过长的问题。 上次还有一个遗留问题，我必须要在hadoop-yarn-common-2.6.4.jar包下的 yarn-default.xml中修改hostname的值才可以正常提交，这显然不符合正常使用的要求，我配置了那么多信息，难道必须在各个jar包重新设置吗？ 我重新观察了以下正常spark

>>阅读原文<<