eclipse+MapReduce

1、部署准备

操做系统：Centos7.2

Hadoop版本：Apache Hadoop 2.6.4

Java版本：1.7.0_79

Eclipse版本：Mars

 

2、Eclipse开发环境设置

第一步、下载插件部署

hadoop2x-eclipse-plugin的github地址：
https://github.com/winghc/hadoop2x-eclipse-plugin

将hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中，而后重启eclipse。

第二步、配置环境变量HADOOP_HOME

进入eclipse的windows菜单-->Hadoop Map/Reduce设置HADOOP_HOME

第三部、切换工做目录 

切换工做目录到Map/Reduce。

第四部、建立Location

在下方的的Map/Reduce Locations能够建立和修改HDFS Location的配置。

Location name：定义这个Location的名字，随意取个。

Map/Reduce(V2) Master：

Host：Yarn的Resourcemanager IP Address(参数yarn.resourcemanager.hostname值)

Port：Yarn的Resourcemanager 端口(参数yarn.resourcemanager.address值的端口)

DFS Master：

Host：HDFS的namenode IP Address(参数dfs.namenode.rpc-bind-host值)

Port：HDFS的namenode 端口(参数dfs.namenode.rpc-address值的端口)

 

左边Project Explorer显示DFS Locations-->breath.

能够直接次目录树进行操做，如：建立目录、删除目录、上传文件、下载文件、查看文件、刷新。

第五部、建立MapReduce工程

File --> New --> Other --> Map/Reduce Project

建立的MapReduce工程已经自带执行mapreduce所需的依赖。不需本身添加其余依赖。