Windows下Hadoop Eclipse 开发平台搭建

准备工做

java JDK

Cywin

eclipse

hadoop-0.20.2-eclipse-plugin.jar（Hadoop自带eclipse插件，在hadoop\contrib\eclipse-plugin中）

安装和配置

1、JDK安装和配置

　　省略

2、Cywin安装和配置

　　能够按照默认的提示安装到本身须要存放的位置，可是在安装时须要注意下面几点：　　

 　　一、　http://mirrors.sohu.com

　　  　　

　　二、安装过程当中记得选择所需的包，具体请参考下面的图示：

• Net    下的：openssh,openssl

• Base  下的：sed （若须要Eclipse，必须sed）

• Devel 下的：subversion（建议安装）

                

　　不一样的版本可能有所不一样，可是基本操做没有变化。。。。

　　在个人电脑->属性->高级->环境变量中配置加入变量CYGWIN=ntsec

　　在path环境变量中加入cygwin/bin路径, 例如: ;d:/cygwin64/bin

　　给文件受权,以完成sshd 服务的安装

　　chmod +r /etc/group 

　　chmod +r /etc/passwd

　  chmod +rwx /var

　　安装ssh服务

　　以管理员权限运行Cygwin，并输入 ssh-host-config

    当询问if privilege separation should be used 时输入 no .     

 　 当询问if sshd should be installed as a service 时输入yes .     

　　当询问about the value of CYGWIN environment variable enter 时输入 ntsec .

    其他询问均输入 no

　　cygrunsrv.exe -S sshd # 启动 SSH服务

　　控制面板-》系统和安全-》管理工具-》服务 启动名为 CYGWIN sshd 的服务，亦可在cygwin中输入 cygrunsrv --start sshd 启动sshd（输入cygrunsrv --stop sshd中止sshd）
3、hadoop安装和配置

　　这里只须要保证hadoop配置，与服务器配置一致便可。

4、eclipse安装和配置

　　将eclipse安装包解压到任意路径下

　　将hadoop-0.20.2-eclipse-plugin.jar放置eclipse安装目录eclipse\plugins下，启动eclipse进行以下配置：

　　window->Preference->Hadoop Map/Reduce，输入hadoop文件夹位置。

　　

　　window->Show View，选择Map/Reduce Locations。

　　　

　　点击屏幕右下方新建一个Location.

　　

　　编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)

　　

　　这时，打开Project Explore，刷新。

　　　 

　　接下来，你能够new一个MapReduce程序了，找到hadoop的例子试试去吧。

　　对了，编译这里要配置一下。

　　选择Run Configurations->Java Application->Arguments，这里要填入为两个文件，分别为输入文件和输出文件。

　　　　

　　　　注意：输入输出文件地址，若是用主机名，则须要设置一下本地的hosts