eclipse或idea中开发spark程序本地运行以及提交集群运行

Windows开发hadoop/spark配置 1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOME到hadoop目录。把%HADOOP_HOME%\bin加入path。 2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行，将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下，可能需

>>阅读原文<<