Hadoop之彻底分布式集群

集群环境：

1. centOs6.8：hadoop102，hadoop103，hadoop104
2. jdk版本：jdk1.8.0_144
3. hadoop版本：Hadoop 2.7.2

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改成静态ip和ip地址映射

配置集群

编写集群分发脚本

1. 建立一个远程同步的脚本xsync，并放到当前用户下新建的bin目录下，配置到PATH中，使得此脚本在任何目录下均可以执行
2. 脚本实现

[kocdaniel@hadoop102 ~]$ mkdir bin
[kocdaniel@hadoop102 ~]$ cd bin/
[kocdaniel@hadoop102 bin]$ vim xsync
复制代码

在文件中编写以下脚本代码

#!/bin/bash
#1 获取输入参数个数，若是没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
 #2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
 #3 获取上级目录到绝对路径 –P指向实际物理地址，防止软链接
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
 #4 获取当前用户名称
user=`whoami`
 #5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
复制代码

3. 修改脚本xsync具备执行权限，并调用脚本，将脚本复制到103和104节点

[kocdaniel@hadoop102 bin]$ chmod 777 xsync
[kocdaniel@hadoop102 bin]$ xsync /home/atguigu/bin
复制代码

集群配置

1. 集群部署规划

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

因为计算机配置有限，只能使用三台虚拟机，工做环境中根据须要规划集群

2. 配置集群

切换到hadoop安装目录/etc/hadoop/

• 配置core-site.xml

[kocdaniel@hadoop102 hadoop]$ vim core-site.xml
# 在文件中写入以下内容
<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
复制代码

• HDFS配置文件

  • 配置hadoop-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim hadoop-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  复制代码

  **注意：**咱们已经在/etc/profile文件中配置了JAVA_HOME，这里为何还须要配置JAVA_HOME?

  答：由于Hadoop运行是守护进程（守护进程是一个在后台运行而且不受任何终端控制的进程。--摘自百度百科），正是由于它后台运行，不接受任何终端控制，因此它读取不到咱们配置好的环境变量，因此这里须要单独配置一下。

  • 配置hdfs-site.xml

  [kocdaniel@hadoop102 hadoop]$ vim hdfs-site.xml
  # 写入以下配置
  <!-- 配置副本数量为3，默认也为3，因此这个也能够删掉 -->
  <property>
  		<name>dfs.replication</name>
  		<value>3</value>
  </property>
  
  <!-- 指定Hadoop辅助名称节点主机配置 -->
  <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
  </property>
  复制代码

• YARN配置文件

  • 配置yarn-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim yarn-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  复制代码

  • 配置yarn-site.xml

  [kocdaniel@hadoop102 hadoop]$ vi yarn-site.xml
  # 增长以下配置
  <!-- Reducer获取数据的方式 -->
  <property>
  		<name>yarn.nodemanager.aux-services</name>
  		<value>mapreduce_shuffle</value>
  </property>
  
  <!-- 指定YARN的ResourceManager的地址 -->
  <property>
  		<name>yarn.resourcemanager.hostname</name>
  		<value>hadoop103</value>
  </property>
  复制代码

• MapReduce配置文件

  • 配置mapred-env.sh

  [kocdaniel@hadoop102 hadoop]$ vim mapred-env.sh
  export JAVA_HOME=/opt/module/jdk1.8.0_144
  
  复制代码

  • 配置mapred-site.xml

  # 若是是第一次配置的话，须要先将mapred-site.xml.template重命名为mapred-site.xml
  [kocdaniel@hadoop102 hadoop]$ cp mapred-site.xml.template mapred-site.xml
  [kocdaniel@hadoop102 hadoop]$ vim mapred-site.xml
  # 在文件中增长以下配置
  <!-- 指定MR运行在Yarn上 -->
  <property>
  		<name>mapreduce.framework.name</name>
  		<value>yarn</value>
  </property>
  
  复制代码

3. 将配置好的文件利用集群分发脚本同步到hadoop103和hadoop104节点

[kocdaniel@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

复制代码

• 最好在同步完成以后检查一下同步结果，避免错误

单点启动

1. 若是是第一次启动，须要格式化namenode，不然跳过此步

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop namenode -format

复制代码

• 格式化须要注意的问题：
  • 只有第一次启动须要格式化，之后不要老是格式化，不然会出现namenode和datanode的集群id不一致的状况，致使datanode启动失败
  • 正确的格式化姿式：
    • 在执行第一次格式化时会在hadoop安装目录下产生data文件夹，里面会生成namenode的信息
    • 在启动namenode和datanode后，还会在一样的目录下产生logs的日志文件夹
    • 因此在格式化以前须要先将这两个文件夹删除，而后再格式化，最后启动namenode和datanode

2. 在hadoop102上启动namenode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode

复制代码

3. 在hadoop10二、hadoop103以及hadoop104上分别启动DataNode

[kocdaniel@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop102 hadoop-2.7.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[kocdaniel@hadoop103 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop103 hadoop-2.7.2]$ jps
3190 DataNode
3279 Jps
[kocdaniel@hadoop104 hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[kocdaniel@hadoop104 hadoop-2.7.2]$ jps
3237 Jps
3163 DataNode

复制代码

4. 访问hadoop102:50070查看结果

• 可是以上单点启动有一个问题：
  • 每次都一个一个节点启动，若是节点数增长到1000个怎么办？

配置ssh免密登陆

1. 配置ssh

   • ssh 另外一个节点的ip 就能够切换到另外一台机器，可是得输入密码

2. 免密ssh配置

   • 免密登陆原理

• 在配置namenode的主机hadoop102上生成私钥和公钥

  • 切换目录到/home/用户名/.ssh/

  [kocdaniel@hadoop102 .ssh]$ ssh-keygen -t rsa
  
  复制代码

  • 而后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
  • 将公钥拷贝到要免密登陆的目标机器上

  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop103
  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop104
  # 注意：ssh访问本身也须要输入密码，因此咱们须要将公钥也拷贝给102
  [kocdaniel@hadoop102 .ssh]$ ssh-copy-id hadoop102
  
  复制代码

• 一样，在配置resourcemanager的主机hadoop103上执行一样的操做，而后就能够群起集群了

群起集群

1. 配置slaves

   • 切换目录到：hadoop安装目录/etc/hadoop/
   • 在目录下的slaves文件中添加以下内容

   [kocdaniel@hadoop102 hadoop]$ vim slaves
   # 注意结尾不能有空格，文件中不能有空行
   hadoop102
   hadoop103
   hadoop104
   
   复制代码

   • 同步全部节点的配置文件

   [kocdaniel@hadoop102 hadoop]$ xsync slaves
   
   复制代码

2. 启动集群

   • 一样，若是是第一次启动，须要格式化
   • 启动HDFS

   [kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
    # 查看启动结果，和集群规划（配置文件中）的一致
   [atguigu@hadoop102 hadoop-2.7.2]$ jps
   4166 NameNode
   4482 Jps
   4263 DataNode
   
   [atguigu@hadoop103 hadoop-2.7.2]$ jps
   3218 DataNode
   3288 Jps
   
   [atguigu@hadoop104 hadoop-2.7.2]$ jps
   3221 DataNode
   3283 SecondaryNameNode
   3364 Jps
   
   复制代码

   • 启动YARN

   # 注意：NameNode和ResourceManger若是不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN
   [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
   
   复制代码

3. web端查看相关信息