Hadoop分布式集群的搭建

时间 2019-12-04

原文原文链接

title: Hadoop分布式集群的搭建
summary: 关键词： Hadoop ubuntu 分布式集群环境搭建 ssh 网络配置 java环境
date: 2019-5-19 11:09
author: foochane
urlname: 2019051901
categories: 大数据
tags:html

hadoop
大数据

本文做者： foochane
本文连接： https://foochane.cn/article/2019051901.html

1 安装说明

1.1 用到的软件

软件	版本	下载地址
linux	Ubuntu Server 18.04.2 LTS	https://www.ubuntu.com/downlo...
hadoop	hadoop-2.7.1	http://archive.apache.org/dis...
java	jdk-8u211-linux-x64	https://www.oracle.com/techne...

1.2 节点安排

名称	ip	hostname
主节点	192.168.233.200	Master
子节点1	192.168.233.201	Slave01
子节点2	192.168.233.202	Slave02

2 建立hadoop用户

全部的节点均建立一个名为hadoop的用户，并添加管理员权限。
注意：这里这是单纯为了方便管理，建立的用户名，也可使用其余用户名，或者使用系统以前的用户，主要有管理员权限便可java

$ sudo useradd -m hadoop -s /bin/bash #建立用户
$ sudo passwd hadoop #修改密码
$ sudo adduser hadoop sudo #添加管理员权限

3 配置网络环境

3.1 修改主机名

修改 /etc/hostname文件，每一个节点都要修改。node

主节点修改成：Master
从节点分别修改成：Slave01,Slave02,...

注意：若是是ubuntu18.04桌面版直接修改/etc/hostname文件便可，ubuntu18.04服务器版还须要修改/etc/cloud/cloud.cfg文件，修改以下：linux

# This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true  #这里是将false改为true

3.2 添加IP与主机名的映射关系

在/etc/hosts文件里添加以下内容（每一个节点都要修改，根据实际状况修改ip)web

192.168.233.200  Master
192.168.233.201  Slave01
192.168.233.202  Slave02

检查各个节点是否能相互ping通。apache

3.3 设置SSH无密码登陆节点

让Master可以经过SSH无密码登陆各个Slave节点ubuntu

若是修改过主机名，须要从新生成的新的公钥。浏览器

在Master上执行以下命令：bash

$ cd ~/.ssh              # 若是没有该目录，先执行一次ssh localhost
$ rm ./id_rsa*           # 删除以前生成的公匙（若是已经存在）
$ ssh-keygen -t rsa       # 执行该命令后，遇到提示信息，一直按回车就能够
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

接着将Master中的id_rsa.pub文件复制到各个Slave节点中服务器

$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/
$ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/

在各个Slave节点中执行以下命令：

$ mkdir ~/.ssh       # 若是不存在该文件夹需先建立
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
$ rm ~/id_rsa.pub    # 用完之后就能够删掉

在Master中验证是否能够无密码登陆，各个Slave节点。

如：

$ ssh Slave01 #若是成功登陆，则配置完成
$ ssh Slave02 #若是成功登陆，则配置完成

4 安装java环境

每一个节点都要安装，步骤相同
为了方便操做每一个节点，默认在/usr/local/下新建一个名为bigdata的文件夹，存放全部的大数据相关的软件。

$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop:hadoop /usr/local/bigdata/

4.1 解压

$ sudo mkdir /usr/local/bigdata/java
$ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/

4.2 添加环境变量

在~/.bashrc文件中添加以下内容，并执行$ source ~/.bashrc命令使其生效

#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5 解压hadoop

下载hadoop-2.7.1.tar.gz文件，并解压到/usr/local/bigdata/文件夹下

$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata

6 修改hadoop配置文件

须要修改6个文件，文件位于/usr/local/bigdata/hadoop-2.7.1/etc/hadoop/下

6.1 slave 文件

将文件中原来的 localhost 删除，添加内容：

Slave01
Slave02

6.2 core-site.xml 文件

内容修改成：

<configuration>
        <!-- 指定HADOOP所使用的文件系统schema（URI）-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
        </property>

         <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/bigdata/hadoop-2.7.1/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

6.3 hdfs-site.xml文件

Hadoop的分布式文件系统HDFS通常采用冗余存储，一份文件一般保存3份副本，因此dfs.replication的值仍是设置为3。
具体内容以下：

<configuration>
        <property>
                <!-- 指定SecondaryNamenode所在地址 -->
                <name>dfs.namenode.secondary.http-address</name>
                <value>Master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data</value>
        </property>
</configuration>

6.4 mapred-site.xml 文件

修改内容以下：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>Master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
        </property>
</configuration>

6.5 yarn-site.xml文件

内容以下：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6.6 hadoop-env.sh 文件

修改以下内容：

export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211

# 能够不用
export HADOOP_HOME=/usr/local/hadoop-2.7.1

7 设置hadoop环境变量

每一个节点都要设置
在~/.bashrc文件中添加以下内容，并$ source ~/.bashrc使其生效

export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin

8 slave节点配置

slave节点只需将master节点上/usr/local/下的bigdata文件夹和~/.bashrc文件，放到slave节点便可
注意切换到对应机器执行$ source ~/.bashrc使环境变量生效。

后续的软件都可使用此方式配置。

在master节点：

$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp     # 删除 Hadoop 临时文件，若是以前有启动过
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/*   # 删除日志文件，若是以前有启动过
$ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先压缩再复制
$ scp ~/bigdata.tar.gz Slave01:/home/hadoop
$ scp ~/bigdata.tar.gz Slave02:/home/hadoop
$ scp ~/bashrc Slave01:/home/hadoop
$ scp ~/bashrc Slave02:/home/hadoop

在各个slave节点上

$ sudo mkdir /usr/local/bigdata
$ sudo chown -R hadoop：hadoop /usr/local/bigdata
$ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata
$ sudo source ~/.bashrc

9 启动Hadoop集群

在Master上执行
首次运行须要，执行

$ hdfs namenode -format

格式化名称节点，而后就能够启动hadoop了。

启动hadoop：

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

使用jps查看启动的各个节点，缺乏任何进程，都表示出错。

$ jps
3585 JobHistoryServer
2938 NameNode
3148 SecondaryNameNode
3308 ResourceManager
3629 Jps

浏览器查看：http://192.168.233.200:50070/

查看相关信息：$ hdfs dfsadmin -report

关闭hadoop：

$ stop-yarn.sh
$ stop-dfs.sh
$ mr-jobhistory-daemon.sh stop historyserver

若是有问题，重复以下命令：

$ stop-dfs.sh   # 关闭
$ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp     # 删除 tmp 文件，注意这会删除 HDFS中原有的全部数据
$ hdfs namenode -format   # 从新格式化名称节点
$ start-dfs.sh  # 重启