Hadoop伪分布式集群搭建总结

Hadoop伪分布式集群搭建总结

1、所需软件
VMware15!
CentOS6.5
JDK1.8
Hadoop2.7.3
2、安装
注意：
对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操做为：点击键盘上的Esc按钮，而后输入英文的:字符，再输入wq，点击回车，完成文件的保存。
一、关闭防火墙和禁用SELINUX
（1）、永久关闭防火墙，重启Linux系统

（2) 、禁用SELINUX：修改文件参数 重启Linux使其生效

（3）、检查防火墙是否运行，显示下图即为关闭

二、配置hostname与IP地址之间的对应关系
（1）、查看本身的IP

（2）、查看本身的hostname

（3）、配置对应关系

注意：IP与hostname之间有空格
三、建立用户
（1），建立hadoop用户

（2）、为hadoop用户设置密码

四、配置 SSH免密登陆
（1）、检查本身系统是否安装SSH

注意：若没安装SSH则在有网的状况下可输入：yum install openssh-server 进行安装。
（2）、为hadoop用户配置SSH免密登陆

注意：必定要切换到hadoop用户下并进入“~”目录！

注意：输入ssh-keygen -t rsa后一直回车便可！
而后进入.ssh目录进行如下操做

注意：“authorized_keys”必定要准确！**``**
进入“~”目录为.ssh目录及其文件赋予相应权限

五、JDK安装
（1）、建立存放软件目录

（2）、上传解压jdk

注意：确保红框内权限为hadoop的！若是为root，可进入root用户修改成hadoop， 命令为:chown –R hadoop:hadoop jdk-8u211-linux-x64.tar.gz ,而后从新进入hadoop用户进行解压
（3）、为jdk1.8.0_211建立软链接

（4）、配置bashrc文件

使配置文件生效

（5）、验证JDK是否安装成功，显示下图即为成功

六、hadoop安装及配置
（1）、上传解压hadoop

注意：确保红框内权限为hadoop的！若是为root，可进入root用户修改成hadoop 命令为：chown –R hadoop:hadoop hadoop-2.7.3.tar.gz ,而后从新进入hadoop用户进行解压

（2）、进入hadoop配置文件目录进行相应文件配置

配置core-site.xml vi core-site.xml

注意：箭头所指应为本身的hostname
配置hdfs-site.xml vi hdfs-site.xml

配置hadoop-env.sh vi hadoop-env.sh

注意：此路径为JDK的安装目录
配置mapred-site.xml vi mapred-site.xml

配置yarn-site.xml vi yarn-site.xml

配置slaves vi slaves

注意：此为本身的hostname
（3）、为hadoop-2.7.3建立软链接

（4）、配置bashrc文件

使配置文件生效

（5）、建立hadoop相关数据目录

（6）、格式化Namenode hadoop namenode -format

注意：出现以上2个信息即为成功！若是出现要输入密码等状况，检查本身的SSH免密登陆是否配置正确！！！
（7）、启动hadoop伪分布式集群

注意：出现以上信息输入yes便可！！！
（8）、经过jps命令查看hadoop的启动进程

注意：出现以上5个进程即为hadoop伪分布式集群启动成功