eclipse 本地链接hadoop 进行开发

们平时用的机器通常装的都是windows系统,若是能在windows系统下面直接调试hadoop程序,那将是极好的linux

1. eclipse 安装hadoop 插件

首先, 下载hadoop 的eclipse插件  一个jar包windows

下载连接是这里:http://pan.baidu.com/s/1gfFbOFD服务器

下完以后将插件解压 放到eclipse安装目录下的plugins下面 而后重启eclipse 就会看到eclipse

这样的图标oop

打开eclipse preferences 会有 Hadoop Map/Reduce 这个选项测试

 

2. 添加dll 到windows

下载hadoopUtil 地址:http://pan.baidu.com/s/1gfFbOFDspa

让后将utils中的dll文件放到 系统下面 windows文件夹下面的system32下插件

将文件夹中的winutils.exe 放到hadoop目录的bin下面调试

3. 配置hadoop本地环境变量

本文的前提是你有一个能够跑起来的hadoop环境,无论是虚拟机仍是在服务器上面。ip

咱们须要将linux上面hadoop目录复制一份到windows上,而后再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory

选择你本地hadoop的目录

而后配置windows 环境变量 Hadoop_Home

在系统环境变量中添加HADOOP_HOME这个变量:

而后在path中添加 hadoop:

 

配置hdfs location :

右键edit 以下 这是个人环境:

若是eclipse能读出 你hdfs上面的文件来,说明你的配置已经生效了如图:

4. 测试 wordcount

最后在eclipse中 创建hadoop项目 new 选择 Map/Reduce Project

你会惊奇的发现,eclipse已经将hadoop所须要的jar都导入到了eclipse当中。咱们测试直接将wordcount 这个实例程序copy到项目中 运行就能够了

相关文章
相关标签/搜索