hadoop map reduce在windows下调试运行的配置步骤

一、项目的maven的pom.xml中,hadoop-client.jar版本必须与本地的hadoop安装版本必须一致,否则会报错。node

二、hadoop2.4版本后已经没有winutil.exe和hadoop.dll文件,从http://download.csdn.net/download/myamor/8393471 或者 百度云盘连接:https://pan.baidu.com/s/1miXLE6s (密码:x32b   ),下载hadoop-common-2.2.0-bin-master.zip后将hadoop.dll拷贝到c:/windows/system32中,而后将bin目录覆盖到本地的hadoop的安装路径的bin目录中。windows

三、将core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml拷贝到项目工程的src/resources目录。在core-site.xml中注释掉如下代码:eclipse

<!--<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop.node.master:8020</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/hadoop-2.5.0/data/tmp</value>
</property>-->

在mapred-site.xml中配置如下属性:maven

<property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
</property>

四、配置windows的环境变量:HADOOP_HOME、PATH。ide

至此,在intellij idea或者eclipse运行main函数,就能够在本地调试了。函数

相关文章
相关标签/搜索