【Hadoop开发环境搭建】六、安装Eclipse、配置MapReduce环境

本章来记录一下Eclipse安装hadoop插件、配置MapReduce环境并新建一个MapReduce工程的过程

0.现有环境:

Eclipse(Windows 本地系统的)

云服务器(已经配置好了Hadoop开发环境和集群)

1.安装插件:

hadoop-eclipse-plugin-2.7.3.jar

地址:https://pan.baidu.com/s/1BaAOQkZaY4RvUPuBPVlgJg     提取码:067u

将插件复制到eclipse目录下的dropins目录

2.配置MapReduce环境:

配置好Hadoop插件后,接下来配置开发环境,连接到Hadoop集群,相关步骤如下:

(1)增加Map/Reduce功能区

                                                                        ①增加Map/Reduce功能区(1)

                                                                        ②增加Map/Reduce功能区(2)         

(2)增加Hadoop集群的连接

相关的连接配置信息有:

①Location name:命名新建的Hadoop连接,此处我设置的是HadoopCluster

②Map/Reduce(V2)Master:填写Hadoop集群的ResourceManager的IP和端口,从以前配置Hadoop集群的yarn-site.xml找

③DFS Master:填写Hadoop集群的NameNode的IP和端口,从以前配置的core-site.xml找

配置如下:

finish配置完成

(3)浏览HDFS上的目录及文件

配置完成Hadoop集群的连接信息后,就可以在Eclipse界面浏览HDFS上的目录和文件了,还可以通过鼠标来进行文件操作

需要注意的是,执行操作后,需要刷新HDFS列表,从而获得文件目录的最新状态。

3.新建MapReduce工程

本部分将在Eclipse建立MapReduce工程MemberCount,大体按照下面四个步骤进行:

(1)导入MapReduce运行依赖的jar包

首先将虚拟环境中的hadoop包导入到本地环境下,导入过程如下:

(2)创建MapReduce工程

(3)在MapReduce Project的界面创建工程

(4)查验是否创建好工程

jar包导入成功,配置安装完成 ^_^ 。