Hadoop学习--HA配置(不含zookeeper)--day05

1.HA配置

(1).high availability,高可用

       持续服务的能力

       多台主机之间进行集群配置

(2).failover,容灾

(3).namenode  , 2nn

    secondary namenode解决的可靠性问题

(4).single point of failure(SPOF),单点故障

    nn1+nn2

(5).NFS(Network file System,共享存储设备EMC)  +QJM

(6).HA架构

   两台主机,一台active,另一台standby,active nn复制客户端全部操做.

   standby维护足够多的状态,随时提供容灾服务.

   Journal是单独的进程,用于active nn和standby nn之间的同步信息.

   active nn的ns修改动做写入到jns,standby nn从jn读取edit,须要不断观察log的变化

   一旦log发生变化，standby就会同步到本身的namespace.

   datanode同时向两个nn发送块列表信息以及心跳.

   同一时刻只能有一个active nn,若是两个都是active的namenode，叫作“脑裂”.

2.部署HA配置解析

    一共有8台机器

    hadoop01  192.168.0.11  namenode  jouralnode resourcemanager

    hadoop02  192.168.0.12  datanode  nodemanager

    hadoop03  192.168.0.13  datanode  nodemanager

    hadoop04  192.168.0.14  datanode  nodemanager

    hadoop05  192.168.0.15  datanode  nodemanager

    hadoop06  192.168.0.16  datanode  nodemanager

    hadoop07  192.168.0.17  secondarynamenode jouralnode 

    hadoop08  192.168.0.18  namenode  jouralnode

(1).在hdfs-site.xml中配置名称服务:dfs.nameservices

           名称服务的逻辑名

    <property>

      <name>dfs.nameservices</name>

      <value>mycluster</value>

    </property>       

(2).配置nameservice中每一个namenode

    dfs.ha.namenodes.[nameservice  ID]

    <property>

      <name>dfs.ha.namenodes.mycluster</name>

      <value>nn1,nn2</value>

    </property>

       注意：目前的hadoop2.7.2最多只能配置2个namenode

(3).配置每一个namenode的rpc地址

    <property>

      <name>dfs.namenode.rpc-address.mycluster.nn1</name>

      <value>s100:8020</value>

    </property>

    <property>

      <name>dfs.namenode.rpc-address.mycluster.nn2</name>

      <value>s800:8020</value>

    </property>

(4).配置每一个namenode的webui地址

    <property>

      <name>dfs.namenode.http-address.mycluster.nn1</name>

      <value>machine1.example.com:50070</value>

    </property>

    <property>

      <name>dfs.namenode.http-address.mycluster.nn2</name>

      <value>machine2.example.com:50070</value>

    </property>    

(5).配置namenode的共享edit log目录，实际上这是个逻辑目录

    <property>

      <name>dfs.namenode.shared.edits.dir</name>

      <value>qjournal://s100:8485;s700:8485;s800:8485/mycluster</value>

    </property>

(6).配置客户端容灾代理供应商类

         供客户端用来检测哪一个是namenode是活页节点

   <property>

     <name>dfs.client.failover.proxy.provider.mycluster</name>

     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

   </property>

(7).可选：配置HA防御方法名集合

    QJM防止脑裂发生，不存在两个active node

            能够配置sshfence或者shell脚本

(8).在core-site.xml中配置hdfs的文件系统

   <property>

     <name>fs.defaultFS</name>

     <value>hdfs://mycluster</value>

   </property>

(9).配置JN的本地存放数据(edit log)的目录

   <property>

     <name>dfs.journalnode.edit.dir</name>

     <value>/home/ubuntu/hadoop/journal</value>

   </property>

3.配置过程

(1).首先将配置好的hdfs-site.xml和core-site.xml文件发送到全部的节点

(2).在JN节点上启动journalnode进程

    $hadoop-daemon.sh start journalnode

(3).启动完成JN以后,须要在disk上完成两个nn的元数据同步工做

  若是正在构建新的hdfs群集,须要先在一台 namenode上进行format工做

  若已经格式化文件系统或者在non-ha的群集之上启用ha功能,须要复制现有的nn的目录(~/hadoop/dfs/name)到另一台的nn的相同目录下,在未格式化的nn上执行命令:hdfs namnode -bootstrapStandby,该命令保证jn有足够多的edit来启动两个nn

  若是正在将non-ha namenode转换成ha,执行命令hdfs namenode -initializeShareEdits,会从local的namenode编辑日志目录数据初始化到jns中.启动两个nn经过webui查看每一个nn的状态

  http://hadoop01:50070/

  http://hadoop08:50070/

(4).在s100上启动hdfs namenode -initializeShareEdits会有报错,关闭namenode解锁

    s100$hadoop-daemon.sh stop namenode

    而后再次执行:

    s100$hdfs namenode -initializeSharedEdits

(5).而后启动两个nn

    s100$hadoop-daemon.sh start namenode

    s800$hadoop-daemon.sh start namenode

(6).启动全部的数据节点

    s100$hadoop-daemons.sh start datanode

(7).切换活动的节点

    s100$hdfs haadmin -transitionToActive nn1

    这个时候s800将不能容许读了

4.机架感知

(1).保证在交换机故障或者集群内部事件问题出现时,数据任然可用的,经过两种方式来实现配置机架感知

  A:一种是经过配置一个脚原本进行映射

   在core-site.xml中的topology.script.file.name参数指定脚本文件的位置

   具体脚本见rack.sh和topology.data,把原来topology.data文件内容改了下,把hostname也添加进去了,这样保证正确性.由于JobTracker是经过hostname进行映射的.

  B:另一种是经过实现DNSToSwtichMapping接口的resolve()方法来完成网络位置的映射dnsToSwitchMapping的值是由"core-site.xml"配置文件中"topology.node.switch.mapping.impl"参数指定,默认值是ScriptBaseMapping,也就是经过读提早写好的脚本文件来进行网络位置映射的,但若是这个脚本没有配置的话,那就使用默认值

    "default-rack"做为全部节点的网络位置。自定义了一个MyResolveNetworkTopology类放在了core包的org.apache.hadoop.net目录下,

    在“core-site.xml”文件中的配置以下:

      <property>

      <name>topology.node.switch.mapping.impl</name>

      <value>org.apache.hadoop.net.MyResolveNetworkTopology</value>

      <description> The default implementation of the DNSToSwitchMapping. It

         invokes a script specified in topology.script.file.name to resolve

         node names. If the value for topology.script.file.name is not set, the

         default value of DEFAULT_RACK is returned for all node names.

      </description>

      </property>

      

(2).编写一个脚本或者实现接口org.apache.hadoop.net.DNSToSwitchMapping

   返回数据格式如：'/myrack/myhost'

(3).将自定义的机架感知类打成jar包,分发到全部节点的${hadoop_home}/share/hadoop/common/lib/

(4).配置类，指定自定义的类名

    topology.node.switch.mapping.impl

    具体格式参照以上信息

(5).删除全部节点的日志,启动namenode

    $bin/hadoop dfsadmin -printTopology来查看机架感知的位置信息

    

5.distcp集群间数据的拷贝

(1).经过hadoop mr技术实现并行复制,递归复制文件夹.性能较高,能够实现跨集群复制

(2).使用方法

    $hadoop distcp hdfs://s100:8020/user/hadoop/data hdfs://X.X.X.X:8020/user/hadoop/new

14.归档

(1).java    jar  //jar archieve

(2).hadoop  har  //hadoop archieve

$hadoop archive -archiveName new.har -p /user/hadoop/new  /user/hadoop

(3).删除垃圾箱

    $hadoop fs -rm -R -f /user/hadoop/.Trash

(4).查看归档文件的内容

    $hadoop fs -lsr har:///user/hadoop/new.har

6.数据完整性

(1).校验和

    Checksum

(2).CRC-32

    cycle redundent check-32

(3).指定校验的字节数组长度

    io.bytes.per.checksum

(4).$hdfs dfs -get -crc /user/hadoop/demo.txt ./downloads

    会在指定的文件夹下出现一个叫.demo.txt.crc的文件

(5).$cat .demo.txt.crc