Intellij idea开发Hadoop MapReduce程序

一、首先下载一个Hadoop包,仅Hadoop便可。java

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzapache

二、打开Idea新建一个java项目。app

三、项目配置 File ---- Project Structureoop

(1)首先注意SDK的配置spa

(2)加入Hadoop的jar包依赖blog

(3)打包配置hadoop

四、开发map-reduce代码开发

根据本身需求写代码,下面附代码样本。get

(1)mapper代码:编译器

(2)reduce代码片段:

(3)run/main代码:

五、配置编译器

右上角:

注意:第三个框里只需添入输入路径和输出路径便可

六、将数据导入到你的程序中

注意:不要建立output目录,系统会自动建立。不然会报目录已存在的错。

七、运行

(1)运行成功:

(2)查看结果

相关文章
相关标签/搜索