eclipse配置hadoop开发环境并运行WordCount小程序

本篇博客讲述如何用eclipse配置hadoop的开发环境，而且创建第一个小程序，WordCount。

本篇博客一些配置选项基于上一篇博客hadoop环境的配置。

环境说明：eclipse3.7，插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar，

cygwin

下载eclipse3.7，安装插件

根据其余博主推荐，3.7是百分百可行的，其余版本不保证，包括3.7.x，

亲测确实3.7绝对可行，将下载好的插件放入plugins文件夹下，重启便可。重启后以下图所示即表示成功。另外，hadoop0.20版本比较底，最好使用jdk1.6。

配置hadoop信息

Window – Preferences – Hadoop Map/Reduce

指向以前在本地解压的hadoop文件地址，例：

D:\developPath\hadoop

Window -Show View – Other - Map/Reduce Locations

右击 – New Hadoop – Location

Advanced
parameters重要配置以下，其余能够无论，配置好后重启会自动修改。其中hadoop是个人用户名，其余配置是基于上一篇博客的配置。

编写程序

WordCount测试程序我就不贴上来了，网上有不少，若是有须要，我会在文章结尾处和eclipse3.7压缩包及插件一块儿打包分享。

运行测试

在测试前，先把hadoop启动。若是配置成功会有以下显示：

将测试文件上传到hadoop服务器上，命令以下：

hadoop fs –mkdir /input

hadoop fs –put /usr/download/test.txt /input

hadoop fs -ls /input

命令表示：

在hadoop中建立input目录

将linux下/usr/download/test.txt文件放入到hadoop的input目录下

查看input目录下文件信息

在运行前，一般要传入两个参数，一个是输入文件参数，一个是输出文件参数，输入文件参数就是刚才的input文件夹，输出参数则是output文件夹，而output文件夹不用事先建好，会自动生成，事前建好反而会报错，参数传递方式能够写在java文件里，也能够在运行时传递。

hdfs://192.168.1.130:54310/input/test.txt

hdfs://192.168.1.130:54310/output

右击WordCount类，Run As – Run On Hadoop

问题解答

a) hadoop配置后没有DFS Locations具体显示，一直在connect

查看配置是否正确，用户是否正确，免登陆是否成功，端口是否开放，防火墙是否是关闭了。

CentOS 7用的是firewall，开启端口命令以下:

firewall-cmd –add-port=1-60000/tcp

表示从1到60000的端口都开放了，能够用tcp协议访问，若是关闭防火墙，反而会访问不了，建议开启端口便可。

a) 程序没法运行

若是DFS Locations已经有显示了，表示配置成功，若是提示Exception in
thread “main” java.io.IOException: Cannot run program “chmod”:
CreateProcess error=2

那么安装cygwin软件，并将其bin目录配置到Path环境下便可，过程同window下配置JAVA_HOME同样，

若是其余问题，则注意是不是端口写错了。

附带资源下载：
http://download.csdn.net/detail/feiepuhuo001/9573478

若有错误，还望指出，共同进步；手敲累抽搐，装载注出处。