win32下开发hadoop

转载自：http://my.oschina.net/muou/blog/408543【木偶：Windows下使用Hadoop2.6.0-ecli­p­s­e­-­p­­lugin插件】

对于一些细节地方，我进行了补充。

一．简介

Hadoop2.x以后没有Eclipse插件工具，咱们就不能在Eclipse上调试代码，咱们要把写好的java代码的MapReduce打包成jar而后在Linux上运行，因此这种不方便咱们调试代码，因此咱们本身编译一个Eclipse插件，方便咱们在咱们本地上调试，通过hadoop1.x的发展，编译hadoop2.x版本的eclipse插件比以前简单多了。接下来咱们开始编译Hadoop-eclipse-plugin插件，并在Eclipse开发Hadoop。

二．软件安装并配置

1.JDK配置

1) 安装jdk

2) 配置环境变量。JAVA_HOME、CLASSPATH、PATH等设置，这里就很少介绍，网上不少资料

2.Eclipse

1) 下载eclipse-jee-mars-1-win32.zip

2) 解压到本地磁盘，如图所示：

注：

一、eclipse必定要下载jee版，不然后面在eclipse中安装插件后，左边不会显示DFS Locations。或者你暂不不用管这个，等出现这个问题，再从新下个eclipse也行。

二、eclipse的解压路径中不要包含空格，不然后面用ant编译eclipse插件时，会报相似下面的错误：can not found D:\Program\eclipse\plugins。这是由于我把eclipse解压到了D:\Program Files\里，但ant编译插件时，应该是把空格当作了分隔符，因而要求找到D:\Program\eclipse\plugins，但实际上plugins目录应该是D:\Program Files\eclipse\plugins。

3.Ant

1）下载apache-ant-1.9.6-bin.zip

2）解压到一个盘，如图所示：

3）环境变量的配置

新建ANT_HOME=D:\hadoop\apache-ant-1.9.6

在PATH后面加;%ANT_HOME%\bin

4）cmd 测试一下是否配置正确

4.Hadoop

1) 下载hadoop包

hadoop-2.6.0.tar.gz

解压到本地磁盘，如图所示：

下载hadoop2x-eclipse-plugin源代码

1）目前hadoop2的eclipse-plugins源代码由github脱管，下载地址是https://github.com/­w­i­nghc/hadoop2x-eclipse-plugin，而后在右侧的Download ZIP链接点击下载，如图所示：

2）下载完后，将其解压到本地磁盘，如图所示：

三．编译hadoop-eclipse-plugin插件

1) cmd切换到hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin目录，如图所示：

2) 执行ant jar编译生成插件，以下：

ant jar -Dversion=2.6.0 -Declipse.home= D:\hadoop\eclipse -Dhadoop.home= D:\hadoop\hadoop-2.6.0

注：

一、使用ant jar编译生成插件时，可能会卡在ivy-resolve-common，网上的说法不少，好比网络不行等等，个人解决方法是(已验证成功)：修改eclipse-plugin\build.xml文件，大概68行的位置(直接ctrl+F，查找compile便可)，以下：

做如上修改是由于ivy-resolve-common下载下来的jar包貌似没有什么用，直接去掉这个依赖关系。

二、编译过程当中会出现警告，这个没有影响，不用在乎。

3) 编译生成的hadoop-eclipse-plugin-2.6.0.jar在新建的build目录下，以下：

四．Eclipse配置hadoop-eclipse-plugin插件

1) 我已经把能够用的插件包上传了，地址以下：

http://download.csdn.net/detail/tingxuelouwq/9389652

注意,个人环境win7 32位，若是你的是64位，请自行编译，或者上网搜。

把hadoop-eclipse-plugin-2.6.0.jar拷贝到D:\hadoop\eclipse\plugins\目录下，重启Eclipse，而后能够看到DFS Locations，这表示插件安装成功。如图所示：

2) 打开Window-->Preferens，能够看到Hadoop Map/Reduc选项，而后指定hadoop-2.6.0的安装路径，如图所示：

3) 配置Map/ReduceLocations

一、点击Window-->Show View -->MapReduce Tools，点击Map/ReduceLocation，如图：

二、点击Map/ReduceLocation选项卡，点击右边小象图标，打开Hadoop Location配置窗口进行配置，如图：

上图中几个参数的说明：

Host：即master(主节点)的ip地址

Map/Reduce中的Port：即mapred-site.xml文件中配置的mapreduce.jobtracker.address的端口号，以下：

DFS中的Port：即core-site.xml文件中配置的fs.default.name的端口号，以下：

4) 查看是否链接成功。

配置好以后，点击DFS Locations的子菜单，能够看到目前咱们hdfs上已有的文件，以下：

注：可能一开始点击子菜单时，会出现listening，这是由于eclipse正在链接远程的hadoop集群，要等待一下才能看到。

五．新建MapReduce项目并运行

1) 右击New->Map/Reduce Project，项目名称为WordCount

 

2) 新建TestWordCount.java，而后在Hadoop的share目录下找到wordcount的案例，拷贝到TestWordCount.java中，以下：

注：wordcount案例的路径为：

D:\hadoop\hadoop-2.6.0\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.6.0-sources.jar

将hadoop-mapreduce-examples-2.6.0-sources.jar解压后，在\org\apache\hadoop\examples能够找到WordCount.java文件。

 

3) 在hdfs建立一个input目录（输出目录能够不用建立，运行MR时会自动建立），并上传一个file01.txt文件(随便写几个单词)，整个过程以下：

//新建input文件夹

[wangqi@node001 ~]$ hdfs dfs -mkdir input

[wangqi@node001 ~]$ hdfs dfs -ls -R /

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:07 /user

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:08 /user/wangqi

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:08 /user/wangqi/input

//新建file01.txt文件，并写几个单词

[wangqi@node001 ~]$ touch file01.txt

[wangqi@node001 ~]$ vim file01.txt

hello world. this is my first hadoop program in eclipse.

I love the world, and I love hadoop.

//将file01.txt文件上传到input文件夹下

[wangqi@node001 ~]$ hdfs dfs -put file01.txt input/

[wangqi@node001 ~]$ hdfs dfs -ls -R /

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:07 /user

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:08 /user/wangqi

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:10 /user/wangqi/input

-rw-r--r-- 2 wangqi supergroup 94 2016-01-05 10:10 /user/wangqi/input/file01.txt

注：由于如今eclipse已经连上了hadoop集群，所以你也能够在elicpse中直接建立这些文件及文件夹。

 

4) 在TestWordCount.java上右键-Run As-Run Configurations，设置输入和输出目录路径，如图所示：

注：不要忘了写端口号，这里的端口号就是core-site.xml中fs.default.name的端口号。

 

5) 运行maprecude项目前的一些配置。

在运行TestWordCount.java以前，咱们须要作一些配置，不然运行时出各类错误。

（1）配置log4j。

配置log4j的好处是能够从日志中看到出了哪些问题。只须要在src目录下写一个log4j.properties便可，以下：

log4j.properties的内容以下：

log4j.rootLogger=debug,stdout,R 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 

log4j.appender.R=org.apache.log4j.RollingFileAppender 

log4j.appender.R.File=mapreduce_test.log 

log4j.appender.R.MaxFileSize=1MB 

log4j.appender.R.MaxBackupIndex=1 

log4j.appender.R.layout=org.apache.log4j.PatternLayout 

log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 

log4j.logger.com.codefutures=DEBUG

（2）把winutil.exe放到hadoop安装文件的bin目录下，即：

而后配置环境变量HADOOP_HOME和Path，即：

  

注：winutil.exe能够到网上搜索，注意是win32位的(个人机子是32位的)，而且是hadoop 2.6.0的。网上的大多都是hadoop 2.2.0，而且是64位的，注意一下。或者你能够到以下地址下载：

http://download.csdn.net/detail/tingxuelouwq/9390307

缺乏winutil.exe文件，在运行时会报以下错误：

Exception in thread "main" java.lang.NullPointerException

at java.lang.ProcessBuilder.start

（3）把hadoop.dll放到C:\Windows\System32目录下，而后重启电脑。(最好将hadoop.dll也拷贝一份到hadoop安装文件的bin目录下)。

注：缺乏hadoop.dll文件，在运行时会报以下错误：

Exception in thread "main"java.lang.UnsatisfiedLinkError:

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0

（4）修改hdfs-site.xml文件，添加以下代码：

注：这一步是设置对hadoop中目录的访问权限(在正式的服务器上不要这样设置)，若是不设置，会报以下错误：

org.apache.hadoop.security.AccessControlException: Permissiondenied: user=wangqi, access=WRITE,inode="/user/wangqi/output":root:supergroup:drwxr-xr-x

 

6) 在TestWordCount.java上右键-Run As-Run on Hadoop，执行完成后，在output/count目录下有一个统计文件，如图：