Windows下hadoop搭建手册

一、 搭建hadoop所需材料:

hadoop-2.7.7.tar
hadooponwindows-master
jdk1.8
win10系统
附上百度盘链接:
链接: https://pan.baidu.com/s/1YCUhrbR-RUzKqp6V8lsAKQ .
提取码:aauv

二、 配置环境变量

1、安装jdk、解压hadoop-2.7.7.tar、hadooponwindows-master后配置环境变量(注:配置HADOOP_HOME时,Hadoop-2.7.7的安装地址不能有空格)。
在这里插入图片描述
Path中添%HADOOP_HOME%\bin、%JAVA_HOME%\bin
在这里插入图片描述

三、 修改配置文件

1、使用编辑器打开…\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
修改JAVA_HOME的路径 把set JAVA_HOME改为jdk的位置
注意”D:\Program Files”用引号括起来(如果jdk默认装在C盘,红线部分改为C:\PROGRA~1\Java\jdk1.8.0_151 ,其中PROGRA~1代表Program Files),不然后续过程会报错。
在这里插入图片描述
2、修改 …\hadoop-2.7.7/etc/hadoop/hdfs-site.xml文件,将dfs.namenode.name.dir、dfs.namenode.data.dir的value改为如下所示:
在这里插入图片描述

四、 新建文件夹

1、在…\hadoop-2.7.7目录下新建data、tem文件夹。
在这里插入图片描述
2、在data文件夹中新建datanode、namenode文件夹。
在这里插入图片描述
3、将bin目录下的hadoop.dll文件复制到C:\Windows\System32下。
在这里插入图片描述
在这里插入图片描述

五、 管理员身份运行cmd.

1、输入hdfs namenode –format,显示如下信息即成功。
在这里插入图片描述
2、进入…\hadoop-2.7.7 下的sbin目录:
在这里插入图片描述
3、输入start-dfs.cmd,显示如下信息即成功
在这里插入图片描述
4、接着继续输入start-yarn.cmd,显示如下信息即成功
在这里插入图片描述
5、期间命令行会产生如下提示,不用在意。
在这里插入图片描述
6、输入jps - 可以查看运行的所有节点。
在这里插入图片描述

六、 测试访问

1、 访问localhost:50070,访问hadoop的web界面,如下界面即访问成功。
在这里插入图片描述
2、 访问localhost:8088,访问yarn的web界面,如下界面就表明已经成功。
在这里插入图片描述

七、总结

由于电脑只有C、D盘,所以我把jdk撞到了D盘下,上述教程对于jdk在C盘下的同学可能会有出入,而且第四步的教程是我参考网上的,具体步骤意义是什么我也不太清楚,所以此教程还是仅供选择性参考叭。