配置hadoop开发环境(eclipse,hadoop2.2.0)

一般咱们能够用Eclipse做为Hadoop程序的开发平台。 git

1)  下载Eclipse github

下载地址:http://www.eclipse.org/downloads/ eclipse

根据操做系统类型,选择合适的版本下载并安装。 oop

2)  下载并编译Hadoop的Eclipse插件 操作系统

网上可直接下载到Hadoop 1.x 的Eclipse插件,可是该插件和Hadoop2.2 不兼容,因此没法使用。 .net

Hadoop 2.2 的Eclipse插件正处于开发过程当中,你能够直接下载源代码并编译。本人在编译过程当中碰到了一些ant的配置错误致使没法正常编译,修改ant配置即编译成功,为方便你们,我直接提供编译后的.jar文件供你们下载: 插件

代码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin ip

编译后的插件下载地址:http://download.csdn.net/detail/zythy/6735167 hadoop

3)  配置Hadoop插件 开发

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse便可看到该插件已生效。

经过Open Perspective菜单打开Map Reduce视图,以下:

选中大象图标,右键点击Edit Hadoop Location编辑Hadoop配置信息:

填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)

 

4)  新建简单Mapreduce项目

经过向导新建一个Map/Reduce项目。在此过程当中,请配置Hadoop的安装路径。

5)  经过Eclipse访问DFS

打开Resource视图,便可看到DFS:

此时,你可对DFS进行一些操做,好比上传本地文件到HDFS等等,以下图:

 

至此,Hadoop的开发环境大体配置完成,下一节咱们将看到如何写一个简单的MapReduce程序并放到Hadoop集群上运行。

相关文章
相关标签/搜索