Hadoop伪分布部署
Hadoop集群伪分布的搭建和配置
- 系统环境
- 修改主机名
- 添加hadoop用户
- 设置免密登陆
- 安装jdk1.8
- 安装hadoop-2.7.6
Hadoop伪分布的部署过程（相关配置文件内容）
1 系统环境
搭建的系统环境为centos7.5。
[email protected] ~]# lsb_release -a
2 修改主机名
2.1 主机名修改为hadoop1。
[[email protected] ~]# hostnamectl set-hostname hadoop1
2.2 查看主机名
[[email protected] ~]# hostnamectl
2.3 确认是否修改成功
[[email protected] ~]# hostnamectl --static
hadoop1
重新登陆后主机名已更改
3 添加hadoop用户
本次用hadoop用户部署，需要添加hadoop用户，密码也设置为hadoop。
[[email protected] ~]# sudo useradd -m hadoop -s /bin/bash
[[email protected] ~]# sudo passwd hadoop
登陆
[[email protected] ~]# ssh [email protected]# 输入密码登陆成功
4 设置免密登陆
注意：这里免密登陆指的是hadoop账户登陆的hadoop1，再ssh [email protected]。一定要设置免密登录，个人理解和各个机器之间互信一样的道理。
4.1 生成密钥
[[email protected] ~]$ ssh-keygen -t rsa # 三次回车
[[email protected] ~]$ ssh-copy-id [email protected] # 输入密码
4.2 修改/etc/hosts文件
[[email protected] ~]# vim /etc/hosts
在第一行添加: 本机IP hadoop1 的映射，如下：
172.16.142.129 hadoop1127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
4.3 测试免密登陆成功
[[email protected] ~]$ ssh [email protected]
Warning: Permanently added the ECDSA host key for IP address ‘172.16.142.129’ to the list of known hosts.
Last login: Sun Jul 21 16:45:14 2019 from 172.16.142.129
回到顶部
5 安装jdk1.8
5.1 说明
本次安装的是JDK1.8，具体版本为jdk-8u101-linux-x64.tar.gz，使用root安装。
5.2 下载jdk-8u101-linux-x64.tar.gz
[[email protected] ~]# wget https://dl.cactifans.com/jdk/jdk-8u101-linux-x64.tar.gz
5.3 解压到/usr/local/下
[[email protected] ~]# tar -zxvf jdk-8u101-linux-x64.tar.gz -C /usr/local/
5.4 配置JDK环境变量
5.5 查看java信息，验证安装成功
[[email protected] ~]# java -version
6 安装hadoop-2.7.6
6.1 说明
本次安装的是hadoop-2.7.6，使用hadoop安装，所以先以hadoop用户登陆，ssh [email protected]。
6.2 下载
[[email protected] ~]$ wget http://apache.fayea.com/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
6.3 解压到/home/hadoop/apps下
[[email protected] ~]$ mkdir -p ~/apps
[[email protected] ~]$ tar -zxvf hadoop-2.7.6.tar.gz -C /home/hadoop/apps
6.4 修改hadoop-env.sh
[[email protected] ~]$ cd /home/hadoop/apps/hadoop-2.7.6/etc/hadoop
[[email protected] hadoop]$ vim hadoop-env.sh
修改export JAVA_HOME=${JAVA_HOME}为：
export JAVA_HOME=/usr/local/jdk1.8.0_101
6.5 修改core-site.xml
[[email protected] hadoop]$ vi core-site.xml
添加如下配置：
6.6 修改hdfs-site.xml
[[email protected] hadoop]$ vi hdfs-site.xml
添加如下配置：
6.7 修改mapred-site.xml
[[email protected] hadoop]$ cp mapred-site.xml.template mapred-site.xml
[[email protected] hadoop]$ vi mapred-site.xml
添加如下配置：
6.8 修改yarn-site.xml
[[email protected] hadoop]$ vi yarn-site.xml
添加如下配置：
6.9 Hadoop环境配置
注意：由于是用hadoop用户登陆的，环境变量是~/.bashrc
[[email protected] hadoop]$ vi ~/.bashrc
添加如下配置：
HADOOP_HOME
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
export PATH=
HADOOP_HOME/bin:$HADOOP_HOME/sbin:
配置立即生效
[[email protected] hadoop]$ source ~/.bashrc
6.10 查看Hadoop版本
[[email protected] hadoop]$ hadoop version
Hadoop 2.7.6
6.11 创建hdfs-site.xml里配置的路径
[[email protected] hadoop]$ mkdir -p /home/hadoop/data/hadoopdata/name
[[email protected] hadoop]$ mkdir -p /home/hadoop/data/hadoopdata/data
6.12 Hadoop的初始化
[[email protected] hadoop]$ hadoop namenode -format
【结论】（结果、分析）
hadoop伪分布部署后的运行结果截图
1、Hadoop版本显示
2、Hadoop伪分布启动命令
3、Hadoop jps查看进程
4、Hadoop网页界面查看
网址为你设置的IP地址加端口号50070
到此安装结束