Hadoop彻底分布式集群搭建

时间  2019-11-06
标签 hadoop 彻底 分布式 集群 搭建 栏目 Hadoop 繁體版
原文   原文链接

Hadoop彻底分布式集群搭建

1、介绍

    Hadoop2.0中，2个NameNode的数据实际上是实时共享的。新HDFS采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者Nnetwork File System（NFS）进行共享。NFS是操做系统层面的，JournalNode是hadoop层面的，咱们这里使用JournalNode集群进行数据共享（这也是主流的作法）。以下图所示，即是JournalNode的架构图。java

    两个NameNode为了数据同步，会经过一组称做JournalNodes的独立进程进行相互通讯。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变动信息，而且一直监控edit log的变化，把变化应用于本身的命名空间。standby能够确保在集群出错时，命名空间状态已经彻底同步了。node

    对于HA集群而言，确保同一时刻只有一个NameNode处于active状态是相当重要的。不然，两个NameNode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，这就须要利用使用ZooKeeper了。首先HDFS集群中的两个NameNode都在ZooKeeper中注册，当active状态的NameNode出故障时，ZooKeeper能检测到这种状况，它就会自动把standby状态的NameNode切换为active状态。web

2、配置

一、准备环境

    这里搭建一个5台服务器的集群，固然最低三台也能够搭建。shell

    Zookeeper版本：3.4.7apache

    Hadoop版本：2.7.1bootstrap

1．主机角色分配

    如下为每台服务器的角色分配，能够根据本身的服务器数量进行调整。vim

1>hadoop01

    Zookeeper、NameNode、DFSZKFailoverController、ResourceManager。bash

2>hadoop02

    Zookeeper、NameNode二、DFSZKFailoverController。服务器

3>hadoop03

    Zookeeper、DataNode、NodeManager、JournalNode。架构

4>hadoop04

    Zookeeper、DataNode、NodeManager、JournalNode。

5>hadoop05

    Zookeeper、DataNode、NodeManager、JournalNode。

2．关闭防火墙

    通常的生产环境不须要系统自带的防火墙，若是没有外置的防火墙也能够开启，可是要将通讯的端口等在防火墙中容许经过。这里为了实验的简单，就直接将防火墙关闭。

service iptables status #查看防火墙状态
service iptables start #当即开启防火墙，可是重启后失效。
service iptables stop #当即关闭防火墙，可是重启后失效。

#重启后生效

chkconfig iptables on #开启防火墙，重启后生效。
chkconfig iptables off #关闭防火墙，重启后生效。

  

3．配置主机名

    修改文件 /etc/sysconfig/network

vim /etc/sysconfig/network

    !!!!!注意安装hadoop的集群主机名不能有下划线!!否则会找不到主机!没法启动!

source /etc/sysconfig/network

    通过上面的修改，主机名称不会立刻改变，必须重启才能生效。因此可使用以下命令进行当即更改：

hostname

4．配置hosts

    修改文件 /etc/hosts

vim /etc/hosts

    填入如下内容

127.0.0.1 hadoop01
其余主机和ip对应信息。。。

    以上两部操做是为了实现ip的解耦，若是你在多个框架服务里所有填写的是ip那么，一旦你服务器的ip发生改变，那么每一个服务框架都须要修改ip，若是你设置的是主机名，那么当你的服务器ip发生改变，只须要修改hosts文件中，主机名和ip的映射关系便可。

5．配置免密登陆

    集群中全部主机都要互相进行免密登陆。

    生成密钥：

ssh-keygen

发送公钥：

ssh-copy-id root@hadoop01

    此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息，当再次访问的时候就不须要输入密码了。

ssh hadoop01

    经过此命令远程链接，检验是否能够不需密码链接。

    这里须要注意的是必定要给本机也发送一下。

6．安装jdk

1>解压安装

    经过fz将jdk安装包上传、解压安装包，命令以下：

​​​​​​​tar -zxvf [jdk安装包位置]

2>配置环境变量

    修改/etc/profile。

    这个文件是每一个用户登陆时都会运行的环境变量设置，当用户第一次登陆时，该文件被执行。并从/etc/profile.d目录的配置文件中搜集shell的设置。

vim /etc/profile

    在文件行尾加入如下内容后保存退出。

export JAVA_HOME=/home/app/jdk1.7.0_45/
export PATH=$PATH:$JAVA_HOME/bin

3>从新加载

    从新加载profile使配置生效。

source /etc/profile

    环境变量配置完成，测试环境变量是否生效。

echo $JAVA_HOME
java -version

7．搭建Zookeeper集群

    参见：ZooKepper集群搭建。

二、配置hadoop

1．解压

    将安装包上传到服务器，进行解压。

tar -zxvf hadoop-2.7.1_64bit.tar.gz

2．修改配置

    如下文件均为Hadoop彻底分布式须要配置的文件。此配置按照上述的5台服务器组件的集群。

1>hadoop-env.sh

    在此文件中，将java的环境变量改成和/etc/profile文件中的java环境变量值一致便可。

JAVA_HOME=/home/app/jdk1.7.0_45/

2>core-site.xml

    如下为此文件的配置模版。

<configuration>
<!-- 指定hdfs的nameservice为ns -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/work/hadoop-2.7.1/tmp</value>
</property>
<!--指定hdfs操做数据的缓冲区大小 能够不配-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>
</configuration>

3>hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为ns，须要和core-site.xml中的保持一致 --> <property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!-- nn1的http通讯地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!-- nn2的RPC通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!-- nn2的http通讯地址 -->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop03:8485;hadoop04:8485;hadoop05:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/journal</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔离机制时须要ssh免登录 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- namenode存储位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/name</value>
</property>    
<!-- dataode存储位置 -->
<property>    
<name>dfs.datanode.data.dir</name>
<value>/root/work/hadoop-2.7.1/tmp/data</value>
</property>
<!-- 副本数量根据本身的需求配置，这里配置2个 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

4>mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5>yarn-site.xml

<configuration>
<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
<property>    
<name>yarn.nodemanager.aux-services</name>    
<value>mapreduce_shuffle</value>    
</property>  
<!-- 指定resourcemanager地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
</configuration>

6>slaves

    这里咱们将hadoop0三、hadoop0四、hadoop05配置为存储数据的节点。

vim slaves
hadoop03
hadoop04
hadoop05

3．环境变量

    配置文件/etc/profile：

vim /etc/profile

在其末尾追加以下内容：

export HADOOP_HOME=[hadoop的安装路径]
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4．其余服务器

    使用scp命令将配置文件拷贝到其余服务器上。

    这里要注意，若是其余服务器的jdk，Zookeeper等配置和当前这台服务器的配置是同样的话，直接拷贝过去不用修改。

3、启动

    启动彻底分布式hadoop：

一、启动zk集群 

./zkServer.sh start

二、启动jn集群

sbin/hadoop-daemons.sh start journalnode

1．格式化zkfc

    第一次启动要格式化

hdfs zkfc -formatZK

2．格式化hdfs

    第一次启动要格式化

hadoop namenode -format

三、启动NameNode

在hadoop01上：

hadoop-daemon.sh start namenode

在hadoop02上：

hdfs namenode -bootstrapStandby #把NameNode的数据同步到hadoop02上
hadoop-daemon.sh start namenode #启动备用的namenode

 

四、启动DataNode

hadoop-daemons.sh start datanode

五、启动yarn

start-yarn.sh

六、启动ZKFC

    在hadoop01

hadoop-daemon.sh start zkfc

    在hadoop02

hadoop-daemon.sh start zkfc

 

七、启动以后

    启动完成以后，使用jps命令查看各台服务器，进程以下：

    hadoop01:

10877 QuorumPeerMain
11351 NameNode
11871 DFSZKFailoverController
11570 ResourceManager

    hadoop02: 

16019 QuorumPeerMain
16214 NameNode
16344 DFSZKFailoverController

    hadoop03:

16548 QuorumPeerMain
16783 DataNode
16893 NodeManager
16701 JournalNode

    hadoop04:

16565 QuorumPeerMain
16798 DataNode
16908 NodeManager
16716 JournalNode

    hadoop05:

16562 QuorumPeerMain
16809 DataNode
16919 NodeManager
16727 JournalNode

    至此整个集群搭建完成，能够正常使用！

 

上一篇：Hadoop伪分布式模式搭建

下一篇：Hadoop-HDFS基础原理与操做

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程