hadoop集群环境搭建

时间  2020-11-16 标签 java node linux 算法 ubuntu vim 服务器 网络 app ssh

1 介绍

1.1 系统版本介绍

此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。java

1.2 软件版本介绍

软件 版本
jdk jdk-8u181-linux-x64.tar.gz
hadoop hadoop-2.7.7.tar.gz

1.3 ubuntu集群服务器

主机名 IP地址 服务
Master 10.168.1.216 ResourceManager、SecondaryNameNode、NameNode
slave01 10.168.1.217 NodeManager、DataNode
slave02 10.168.1.218 NodeManager、DataNode
slave03 10.168.1.219 NodeManager、DataNode

1.4 说明

本文档安装jdk和ssh略过。node

2 安装hadoop集群

2.1 全局配置

2.1.1 解压hadoop

建立一个hadoop的文件夹，用户存放hadoop文件linux

mkdir /usr/local/hadoop

经过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。 解压：算法

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解压完成：ubuntu

1.png

移动hadoop-2.7.7文件下的文件到当前的目录vim

mv ./hadoop-2.7.7/* ./

删除hadoop-2.7.7文件夹服务器

rm -rf ./hadoop-2.7.7

查看文件夹的全部者以及用户组，最重要的是拥有者是不是当前用户网络

2.png

若是拥有者不是当前用户，则修改成当前用户：app

chown -R 当前用户名 ./hadoop

2.1.2 配置hadoop

设置环境变量：ssh

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

从新加载环境变量的配置文件：

source /etc/profile

检测：

hadoop version

3.png

2.1.3 修改配置文件

在core-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

4.png

在 hdfs-site.xml 中添加

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
  <!--副本的数量-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

5.png

在 hadoop-env.sh 中更改 JAVA_HOME

注释掉：

export JAVA_HOME=${JAVA_HOME}

添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

修改slaves文件，添加以下信息：

vim /usr/local/Hadoop/etc/Hadoop/slaves

6.png

1.2 特殊配置

2.2.1 复制三台主机

7.png

2.2.2 设置静态ip地址

前言

Ubuntu 18.04再也不使用ifupdown配置网络，而改用netplan。在/etc/network/interfaces配置固定IP是无效的，重启网络的命令services network restrart或/etc/init.d/networking restart也是无效的。

使用ifupdown配置网络

若是要使用以前的方式配置网络，须要从新安装ifupdown:

apt install ifupdown

修改配置文件/etc/network/interfaces:

vim /etc/network/interfaces

配置文件修改以下：

iface ens160 inet static
address 210.72.92.25
gateway 210.72.92.254
netmask 255.255.255.0
dns-nameservers 8.8.8.8

重启网络服务使配置生效

services network restrart

使用netplan配置网络

Ubuntu 18.04使用netplan配置网络，其配置文件是yaml格式的。安装好Ubuntu 18.04以后，在/etc/netplan/目录下默认的配置文件名是50-cloud-init.yaml，咱们经过VIM修改它：

vim /etc/netplan/50-cloud-init.yaml

配置文件修改以下：

network:
  ethernets:
    ens160:
      addresses: [10.168.1.216/24]
      dhcp4: false
      gateway4: 10.168.1.254
  version: 2

不管是ifupdown仍是netplan，配置的思路都是一致的，在配置文件里面按照规则填入IP、掩码、网关、DNS等信息。注意yaml是层次结构，须要缩进，冒号(:)表示字典，连字符(-)表示列表。

重启网络服务使配置生效：

netplan apply

8.png

2.2.3 配置hosts文件

vim /etc/hosts

添加master和slaves信息：

9.png

2.2.4 本地主机名配置

首先修改

vim /etc/cloud/cloud.cfg

将disable_root:false修改成true：

10.png

修改主机名：

vim /etc/hostname

将10.168.1.216主机名修改成master。

11.png

将其余机器也修改成对应的名称，重启全部服务器。

2.2.5 多服务器ssh免密码登录

因为Hadoop启动之后，namenode是经过SSH（Secure Shell）来启动和中止各个节点上的各类守护进程的，这就须要在节点之间执行指令的时候是不须要输入密码的方式，故咱们须要配置SSH使用无密码公钥认证的方式**（安装ssh，配置ssh远程链接过程略过。）**。

全部服务器使用rsa算法生成秘钥和公钥对：

ssh-keygen -t rsa

12.png

而后把master服务器中公钥加入到受权中：

cat ./id_rsa.pub >> ./authorized_keys

使用ssh localhost验证是否无密码登录。

把slave服务器中的id_rsa.pub复制到master中：

scp .ssh/id_rsa.pub root@master:/

13.png

查看公钥是否复制成功：

14.png

将公钥添加到master的受权文件中：

cat /id_rsa.pub >> ~/.ssh/authorized_keys

重复上面步骤，直到全部的slave公钥都添加到了受权文件中。

15.png

将受权文件分发到每台服务器上：

scp ~/.ssh/authorized_keys username@hostname: ~/.ssh/authorized_keys

测试经过ssh相互之间登陆：

ssh hostname
username：服务器用户名。
hostname：服务器主机名。

测试完毕重启服务器。

2.2.6 启动hadoop

在master服务器上格式化namenode节点：

hadoop namenode -format

16.png

启动hdfs

start-all.sh

17.png

查看相应的进程：

jps

master：

18.png

肯定3个进程所有启动。

slave：

19.png

肯定2个进程所有启动。

访问测试：

10.168.1.216:50070

20.png

21.png

22.png

1.3 添加datanode节点

配置一台新的slave机器，根据前面的步骤配置网络IP。

启动datanode服务：

hadoop-daemon.sh start datanode

启动nodemanager服务：

yarn-daemon.sh start nodemanager

23.png

若是须要在name节点启动的时候，同时也启动这台新加的data节点，那么须要根据特殊配置的步骤，修改hosts文件、服务器主机名、以及ssh免密登陆等，才能经过name来启动data节点。

1.4 删除datanode节点

首先须要在hdfs-site.xml添加：

<property>
  <name>dfs.hosts.exclude</name>
  <value>/usr/local/hadoop/etc/hadoop/excludes</value>
</property>

24.png

而后在对应位置建立文件：

vim /usr/local/hadoop/etc/hadoop/excludes

在文件中加入要删除的节点名称：

27.png

例如要删除的节点是slave03

25.png

在NameNode上刷新全部DataNode：

hdfs dfsadmin -refreshNodes    #刷新节点信息
start-balancer.sh              #同步节点的数据

26.png

以下图：表示与该节点已经断开了链接（由于hadoop心跳检测是10分钟，因此若是是data节点宕机，就会一直检测，直到超时）。

接下来就能够关闭data节点了：

关闭datanode服务：

hadoop-daemon.sh stop datanode

关闭nodemanager服务：

yarn-daemon.sh stop nodemanager
联系我们 沪ICP备13005482号-10