Hadoop HA高可用集群模式搭建指南

时间  2019-11-08
标签 hadoop 可用 集群 模式 搭建 指南 栏目 Hadoop 繁體版
原文   原文链接

简述

hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。 HA模式的集群里面会部署两台NN（最多也只能两台），以造成主备NN节点，达到高可用的目的。两台NN之间同步数据有两种方法：QJM和NFC。本文选择QJM方式，下文中出现的 journalnode 即为QJM模式下的进程。 另外还能够配置两台ResourceManager，造成主备RM节点，从而达到yarn集群的高可用。 该模式下的集群配置是在彻底分布式模式的基础上作了部分调整。html

全部四种模式的部署指南见：java

Hadoop 伪分布式搭建指南node

Hadoop 彻底分布式搭建指南linux

Hadoop HA高可用集群模式搭建指南web

Hadoop HA+Federation（联邦）模式搭建指南shell

搭建过程

系统环境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟三台主机，内存都为2Gapache

节点角色
IP 主机名 角色描述
192.168.100.201 h01.vm.com 主节点 NameNode, job-history-server
192.168.100.202 h02.vm.com 主节点 NameNode, (yarn)ResourceManager
192.168.100.203 h03.vm.com -

另，以上全部节点都同时是 zookeeper、zkfc、journalnode 和 datanode。运行Namenode和ResourceManager的节点即为主节点。bootstrap

更新软件源索引
  • 分别在 h01 h02 h03 操做
sudo apt-get update
安装基础软件
  • 分别在 h01 h02 h03 操做
sudo apt-get install ssh
sudo apt-get install rsync
配置主机域名
  • 分别在 h01 h02 h03 操做
sudo vim /etc/hostname # centos系统可能没有该文件，建立便可
h01.vm.com # 该节点主机名

将该文件内容修改成对应的主机名，例如 h01.vm.comubuntu

域名解析
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系统，须删掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must removevim

否则可能会引发 hadoop、zookeeper 节点间通讯的问题

时间同步（可选）

在内网中搭建 ntp 服务器，可阅读vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

准备jdk、hadoop和zookeeper软件包
  • 须到官方网站下载stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz zookeeper-3.4.8.tar.gz
  • 全部的软件包都统一解压到 /home/vagrant/VMBigData 目录下，其中 vagrant 是linux系统的用户名，因为我是使用 vagrant 虚拟的主机，因此默认是 vagrant
  • 在 h01 操做
# 先在其中一台机子操做，后面会使用 scp 命令或者其余方法同步到其余主机
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置软链接，方便之后升级版本
  • 在 h01 操做，后面经过 scp 同步到其余主机
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置环境变量
  • 分别在 h01 h02 h03 操做
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile
配置免密码ssh登陆

hadoop主节点须要能远程登录集群内的全部节点（包括本身），以执行命令。因此须要配置免密码的ssh登录。可选的ssh秘钥对生成方式有rsa和dsa两种，这里选择rsa。

  • 分别在 h01 h02 ，即两个主节点上操做
ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下来的命令行交互中，直接按回车跳过输入密码
  • 如下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中（默认位于 ~/.ssh/）
ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h02.vm.com # vagrant是远程主机用户名
ssh-copy-id vagrant@h03.vm.com
  • 在 h01 h02 上测试无密码 ssh 登陆到 h01 h02 h03
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密钥对时，不要轻易覆盖原来已有的，肯定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点，将自动运行datanode服务

  • 在 h01 操做，后面经过 scp 同步到其余主机
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com
创建存储数据的相应目录
  • 在 h01 操做，后面经过 scp 同步到其余主机
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop参数

在 h01 操做，后面经过 scp 同步到其余主机

  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice为h01，需与dfs.nameservices一致 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://ns1</value> 
  </property>  
  <!-- 指定hadoop数据存储目录 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property>  
  <!-- 指定zookeeper地址 -->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 单机版的通常设为1，如果集群，通常设为3 -->  
    <value>2</value> 
  </property>  
  <!-- 如下3个 property 的配置，是非HA模式下的，即一个集群只有一个 namenode，在这里不可以使用 -->  
  <!-- 配置Secondary NameNode在另一个节点上，该节点也将做为主节点之一 -->  
  <!-- <property>
<name>dfs.http.address</name>
<value>h01.vm.com:50070</value>
<description>Secondary get fsimage and edits via dfs.http.address</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>h02.vm.com:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/home/vagrant/VMBigData/hadoop/data/namesecondary</value>
</property> -->  
  <!-- 如下 property 配置，是haddop的HA即高可用模式，一个集群能够配置最多2个namenode -->  
  <!-- 命名空间的逻辑名称 -->  
  <property> 
    <name>dfs.nameservices</name>  
    <value>ns1</value> 
  </property>  
  <!-- 命名空间中全部NameNode的惟一标示。该标识指示DataNode集群中有哪些NameNode。目前最多只能配置两个NameNode -->  
  <property> 
    <name>dfs.ha.namenodes.ns1</name>  
    <value>nn1,nn2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn1</name>  
    <value>h01.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn1</name>  
    <value>h01.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn2</name>  
    <value>h02.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn2</name>  
    <value>h02.vm.com:50070</value> 
  </property>  
  <!-- JournalNode URLs，ActiveNameNode 会将 Edit Log 写入这些 JournalNode 所配置的本地目录即 dfs.journalnode.edits.dir -->  
  <property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://h01.vm.com:8485;h02.vm.com:8485;h03.vm.com:8485/ns1</value> 
  </property>  
  <!-- JournalNode 用于存放 editlog 和其余状态信息的目录 -->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/journal</value> 
  </property>  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property>  
  <property> 
    <name>dfs.client.failover.proxy.provider.ns1</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!-- 一种关于 NameNode 的隔离机制(fencing) -->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence shell(/bin/true)</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/vagrant/.ssh/id_rsa</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
  </property>  
  <!-- HA模式配置结束 -->  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 建立的namenode文件夹位置，若有多个用逗号隔开。配置多个的话，每个目录下数据都是相同的，达到数据冗余备份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 建立的datanode文件夹位置，多个用逗号隔开，实际不存在的目录会被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打开日志聚合功能，这样才能从web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最长保留时间 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager总的可用内存，这个要根据实际状况合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce做业时，每一个task最少可申请内存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce做业时，每一个task最多可申请内存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申请使用的虚拟内存，相对于实际使用内存大小的倍数。实际生产环境中可设置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中间结果存放位置。注意，这个参数一般会配置多个目录，已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意，这个参数一般会配置多个目录，已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默认值为 1536,可根据须要调整，调小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每一个map task申请的内存，每一次都会实际申请这么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每一个map task中的child jvm启动时参数，须要比 mapreduce.map.memory.mb 设置的小一些 -->  
    <!-- 注意：map任务里不必定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默认值为 -Xmx200m，生产环境能够设大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任务内部排序缓冲区大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map计算彻底后的merge阶段，一次merge时最多可有多少个输入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle阶段并行传输数据的数量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>
安装配置zookeeper
  • 在 h01 操做，后面经过 scp 同步到其余主机
cd /home/vagrant/VMBigData/zookeeper/default/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 对该文件作出如下修改
dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
# 若是没法启动zookeeper，可将如下代码对应的行改成 0.0.0.0:2888:3888
# 注意zookeeper解析该文件很死板，不要输入多余的空格和空行
server.1=h01.vm.com:2888:3888
server.2=h02.vm.com:2888:3888
server.3=h03.vm.com:2888:3888
mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
# 在此文件中输入节点编号，好比h01节点就输入1，h02节点就输入2
将hadoop所需文件同步到其余主机
  • 在 h01 上操做
scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意：default 软链接须要重建 !!!

  • 修改各节点的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件，内容为各节点编号，本例中为 1,2,3
启动zookeeper
  • 在 h01 h02 h03 操做
cd /home/vagrant/VMBigData/zookeeper/default
bin/zkServer.sh start
启动JournalNode
  • 在任一配置了journalnode的节点操做
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh start journalnode
格式化namenode
  • 在 h01 namenode 上执行
hdfs namenode -format

!!! 注意仅在首次启动时执行，由于此命令会删除hadoop集群全部的数据 !!!

同步两个namenode数据（方法一：推荐）
  • 在 h01 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode
  • 在 h02 执行同步
cd /home/vagrant/VMBigData/hadoop/default
bin/hdfs namenode -bootstrapStandby
  • 在 h02 启动 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode
同步两个namenode数据（方法二：不推荐，可能引发复制后的文件的权限问题）
  • 在 h01 操做
scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
格式化zkfc
  • 在 h01 或 h02 (任一namenode) 上操做
hdfs zkfc -formatZK

!!! 注意仅在首次启动时执行 !!!

启动zkfc
  • 在 h01 h02 h03 等计划运行zkfc的节点上操做
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start zkfc
# sbin/hadoop-daemon.sh stop zkfc #  中止
启动hadoop集群：

启动hdfs

  • 可在任意主节点执行
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 中止

启动Yarn

  • 在 h02 ResourceManager 上操做
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh# 中止

启动 job history server（可选）

  • 在 h01 上操做
cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 中止
浏览服务启动状况

NameNode1 http://192.168.100.201:50070

NameNode2 http://192.168.100.202:50070

ResourceManager http://192.168.100.202:8088

MapReduce JobHistory Server http://192.168.100.201:19888

Datanode http://192.168.100.201:50075 http://192.168.100.202:50075 http://192.168.100.203:50075

zookeeper bin/zkServer.sh status

zookeeper命令行 zkCli.sh -server 127.0.0.1:2181

集群状态 bin/hdfs dfsadmin -report

hadoop进程 jps

参考连接

HDFS High Availability Using the Quorum Journal Manager

HDFS High Availability

ResourceManager High Availability

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程