Hadoop彻底分布式安装配置完整过程

一. 硬件、软件准备

1. 硬件设备

为了方便学习Hadoop，我采用了云服务器来配置Hadoop集群。集群使用三个节点，一个阿里云节点、一个腾讯云节点、一个华为云节点，其中阿里云和腾讯云都是经过使用学生优惠渠道购买了一年的云服务，华为云使用免费7天或15天的云服务器。我决定使用腾讯云节点做为Master节点，阿里云节点和华为云节点做为Slave节点。集群基本结构以下图：

云服务器配置信息以下：

 

 

       集群网络环境：

      分别在每台机器上建立了用户hadoop，而且所有禁用了防火墙。

     2. 软件

     因为Hadoop须要JVM环境，因此须要下载JDK。须要的软件清单以下图所示。

2、环境搭建

1. JAVA安装

• 解压

    咱们下载软件jdk-8u61-linux-x64.tar.gz放在了 /home/install-package 下。先在 /home 下建立了java目录，并将jdk压缩文件解压到该目录下，命令以下。

[root@libaoshen_tencent java] # tar -zxvf /home/install-package/jdk-8u161-linux-x64.tar.gz -C java

• 创建软链接

    和window上的快捷方式同样，咱们为jdk安装的长路径创建一个短路径，方便咱们后面设置环境变量。

[root@libaoshen_tencent java]# ln -s /home/java/jdk1.8.0_161/ /home/jdk

• 配置环境变量

在 /etc/profile 中添加环境变量。

[root@libaoshen_tencent home]

# vim /etc/profile

添加内容：

JAVA_HOME=/home/jdk
CLASSPATH=$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

 

随后使用 source /etc/profile 命令使配置生效，最后经过执行 java –version 查看java是否安装配置成功。看到输出的结果是咱们安装的内容，说明安装配置成功。

[root@libaoshen_tencent home]# source /etc/profile [root@libaoshen_tencent home]# java -version java version "1.8.0_161"

Java(TM) SE Runtime Environment (build 

1.8.0_161- b12) Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

2. SSH配置

  Hadoop控制脚本依靠SSH来进行集群的管理，为了方便操做，设置SSH为免密访问。

• 进入建立的用户hadoop的工做目录下

[root@libaoshen_tencent ~]# su hadoop [hadoop@libaoshen_tencent root]$ cd ~

• 执行ssh建立密钥命令

[hadoop@libaoshen_tencent ~]$ ssh-keygen -t rsa

  进入hadoop用户的工做目录，查看目录下的文件，发现出现了一个 .ssh 文件夹。打开 .ssh 文件夹，咱们看到了生成的 公钥 id_rsa.pub 和私钥 id_rsa 两个文件。

[hadoop@libaoshen_tencent ~]$ ls -

al total 28
drwx

------ 3 hadoop hadoop 4096 Mar 16 23:49 . drwxr-xr-x. 5 root root 4096 Mar 16 23:48 .. -rw------- 1 hadoop hadoop 63 Mar 16 23:49 .bash_history -rw-r--r-- 1 hadoop hadoop 18 Aug 3 2016 .bash_logout -rw-r--r-- 1 hadoop hadoop 193 Aug 3 2016 .bash_profile -rw-r--r-- 1 hadoop hadoop 231 Aug 3 2016 .bashrc drwx------ 2 hadoop hadoop 4096 Mar 16 23:49 .ssh [hadoop@libaoshen_tencent ~]$ cd .ssh/

[hadoop

@libaoshen_tencent .ssh]$

 ls id_rsa id_rsa.pub

• 将生成的公钥覆盖到authorized_keys

[hadoop@libaoshen_tencent .ssh]$ cp id_rsa.pub authorized_keys

• 经过再这三台机器上分别执行上面的步骤，将三台机器上hadoop用户 ~/.ssh/authorized_keys 中的内容合成一个authorized_keys文件，并使用 scp 命令将该文件复刻到其他两台机器上对应的目录中。而且同时要设置 .ssh 目录的访问权限为700，设置 .ssh/authorized_keys 的权限为600。具体操做以下。

    a.合成后的authorized_keys文件

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC2XHqv9F0+ueiDlBqV7M2yKRdtDRmV7OgW7WFOmcN9abkBAumDM4+vZ6fFkHlmPcUcskm7HFiQ4BEZep8NdaZ8kRr2V4dSy0T8IidXgPL6Mc8UH+e5h+VOaelfmBprb8oo0vmdJ73rAn4bswx9FW/4Rm/mTG0ZXuE288LEXktKxQEz31sH8HBDKt+uEjYq9SDiPEnE8Dg85WMHLDdTwrNH7okMrskeetXBhcacp28PXuneEB5fCOu02CdPsQ7LmJZpEt4rSGHa3f/m75jGGKlvK5+g+jGO7SXuipWaogQIVxb6xusKl0qm5YwR9uVB5I3Yy7FpFJjJMvEf78bbHYHR hadoop@ libaoshen_tencent ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDUqHX/2CTD9hJa+qyoEIq3juAXTXr1dBxQpsfySOA1VbKZkyzxJVGlFae9YmHrOOrnWTRFiDGrfJL/KxO7Kt1mpJFYivhAkORGgNWAf6KpjCb0ScRUqp/7aUYMjUv7a8nX0wALHURtoViLmI6A21CWuF9tuIbu5FOpquCV4Vz7z32PFNkHiG2l/mfWGzV+1R8bgkCP7JvBZnB4/4bJ+6mzmTyhiQ5VBnbBzF0IH3kCWeCY7B+XHjrW2iaCEv1mCFrBun0J7ojZYr9tv7FXgr1+B0nr3cDP2parcVPY0BdLDz+sRNVUeczQZfcVypQxfNtdCQ+6pcazBLfgL7cwZ8ab hadoop@ libaoshen_ali ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0fq+6HJ72U4S/+FCijVrp6xhKlTOfajQRHISa3+sH3+wQgHzk3OXGYPJC0snkUN5fot+AQcY2n1sc2l+VItRgjxaISXseUjntAG5N0EQb8wjidPaDTYTbcFefc0aHStHJCKH800yoz7Y7DN+Z84G2Lzp7XK+m8zIBuiMpKjrGE77qGd/UmQcQ4Zk1PxWtWogs0xyrjMr3Y3t57r8xMgqPs2lIb2rlYJ3H26q5YAE6XwaNnjogRh1oM0jakEBlKl4jrFMozUQulwabjT+0gfGezXHie4dmrLPesXjGE7cs+hjUEmzYKPZAIK8i0b+YAEw3i/kr0kDWmNOP/JdgQJcEQ==

hadoop@libaoshen.novalocal

    b.为 .ssh 和 .ssh/authorized_keys 分别设置权限为 700 和 600(很关键)

[hadoop@libaoshen_tencent ~]$ chmod 700 .ssh/

[hadoop

@libaoshen_tencent ~]$ chmod 600 .ssh/authorized_keys

   c.libaoshen_tencent 节点上测试是否能免密登陆，经过输出结果看到，能够成功免密登陆

[hadoop@libaoshen_tencent ~]$ ssh hadoop@

libaohshen_tencent Last login: Sat Mar 17 13:24:42 2018 from 127.0.0.1

   d.随后分别使用 scp 命令将该authorized_keys 复制到其余两个节点上，同时设置文件权限以及分别测试是否能免密登陆

[hadoop@libaoshen_tencent ~]$ scp ~/.ssh/authorized_keys hadoop@39.*.*.*:~/.ssh/

[hadoop@libaoshen_tencent ~]$ scp ~

/.ssh/authorized_keys hadoop@114.*.*.*:~/.ssh/

e.最后，在libaoshen_tencent节点上，即Master节点上尝试免密链接其他的节点，测试ssh是否配置正确。看输出结果，咱们已经能够免密链接Slave节点了，说明ssh配置成功

[hadoop@libaoshen_tencent .ssh]$ ssh hadoop@39.*.*.*

Last failed login: Sat Mar 

17 13:31:38 CST 2018 from 193..*.*.* on ssh:notty There were 2 failed login attempts since the last successful login. Last login: Sat Mar 17 13:07:31 2018

Welcome to Alibaba Cloud Elastic Compute Service 

!

[hadoop

@libaoshen_ali ~]$

3. Hadoop安装和配置

• Master节点安装Hadoop

a. 咱们已经将下载好的hadoop-2.7.5.tat.gz放在了 /home/install-package 中。首先使用root身份登陆，再将 hadoop-2.7.5.tar.gz压缩包解压到 /home/hadoop 中，而后要么设置link，要么修改hadoop-2.7.5 目录为hadoop，缩短hadoop安装目录名。操做命令以下。

[root@libaoshen_tencent hadoop]# tar -zxvf hadoop-2.7.5.tar.gz -C ../hadoop/ [root@libaoshen_tencent hadoop]# mv hadoop-2.7.5 hadoop [root@libaoshen_tencent hadoop]# chown -R hadoop:hadoop hadoop

b. 配置hadoop环境变量

[root@libaoshen_tencent hadoop]# vi /etc/profile

添加以下内容

HADOOP_HOME=/home/hadoop/

hadoop PATH=

$PATH:$HADOOP_HOME/

bin export PATH HADOOP_HOME

再执行source /etc/profile 让环境变量配置生效。同时在 /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh 修改java路径。以下所示。

[root@libaoshen_tencent hadoop]# vim /usr/hadoop/hadoop/etc/hadoop/hadoop-env.sh

修改java路径为上面咱们所配置的路径，再执行 source hadoop-env.sh 使其生效。

修改后，执行hadoop version， 咱们能够看到hadoop的版本号和其余信息。

c. 配置hadoop中的配置文件

 

    i.core-site.xml: hadoop 的核心配置文件，添加设置为namenode节点的地址，端口号通常为9000

 

     ii.hdfs-site.xml：设置备份数量，因为咱们有两个datanode，因此设置为2

     iii.mapred-site.xml：设置jobtracker对应的节点地址，端口号通常为9001

 

     iv.masters和slaves：masters修改成设置为master的那个节点的ip，slaves修改成设置为slave的节点的ip

 

       v.在master上配置完成后，再使用scp命令将java、hadoop及其配置复制到其余的两个节点上

        复制hadoop

[hadoop@libaoshen_tencent hadoop]$ scp -r /usr/hadoop/hadoop hadoop@39.*.*.*:/usr/ hadoop [hadoop@libaoshen_tencent hadoop]$ scp -r /usr/hadoop/hadoop hadoop@114.*.*.*:/usr/hadoop

           复制配置，因为咱们的配置是在root用户下的，因此须要su root后输入密码才能scp

[root@libaoshen_tencent hadoop]# scp -r /etc/profile root@39.*.*.*:/etc [root@libaoshen_tencent hadoop]# scp -r /etc/profile root@114.*.*.*:/etc

三. 启动

• 格式化

    运行 hadoop namenode –format，会初始化namenode，记录集群元数据，即datanode的信息等。

• 启动

    在目录 /usr/hadoop/hadoop/sbin 目录中执行 ./start-all.sh 便可以启动，执行 ./stop-all.sh 便可中止

    启动后能够使用 jps 命令查看hadoop后台进程是否已经启动

Master节点

Slave节点

 

能够在浏览器中输入 namenode 的ip + 8088/50070 查看集群状态

安装过程当中遇到的问题：

1. 配置不正确，致使分发给其余节点的配置也有问题，最后发现更正的成本比较高。因此必定要仔细检查，确认配置无误后，在复制到每一个其余的节点；

2. hostname配置不正确，必定要确保 ip 和 hostname 对应，不然就可能出现 hostname unknown等报错；

3. 在启动过程当中，hadoop会打印日志，当出现问题时，能够查看日志信息，准肯定位错误位置。