hadoop架构详解一

hadoop架构组成

hadoop有两部分组成：分布式文件系统HDFS，统一的资源管理器YARN

hdfs架构

 

Client：切分文件；访问或经过命令行管理HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。
NameNode：Master节点，只有一个，管理HDFS的名称空间和数据块映射信息；配置副本策略；处理客户端请求。
DataNode：Slave节点，存储实际的数据；执行数据块的读写；汇报存储信息给NameNode。
Secondary NameNode：辅助NameNode，分担其工做量；按期合并fsimage和fsedits，推送给NameNode；紧急状况下，可辅助恢复NameNode，但Secondary NameNode并不是NameNode的热备。

fsimage和fsedits

NameNode中两个很重要的文件，
fsimage是元数据镜像文件（保存文件系统的目录树）。
edits是元数据操做日志(记录每次保存fsimage以后到下次保存之间的全部hdfs操做)。

fsimage文件实际上是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的全部目录和文件idnode的序列化信息；
edits文件存放的是Hadoop文件系统的全部更新操做的路径，文件系统客户端执行的因此写操做首先会被记录到edits文件中。

内存中保存了最新的元数据信息（fsimage和edits）。

edits过大会致使NameNode重启速度慢，Secondary NameNode负责按期合并它们。

合并流程图

数据块的映射关系
1)包括两种：文件与数据块映射关系，DataNode与数据块映射关系；
2)NameNode启动的时候，可经过心跳信息重构映射信息，DataNode运行过程当中定时汇报当前block信息；映射关系保存在NameNode内存中。
3）NameNode重启速度慢（须要加载经过合并fsimage与edits文件生成的最新目录树以及DataNode的块信息）
数据块(block)
1）在HDFS中，文件被切分红固定大小的数据块，默认大小为64MB，也可本身配置。
2）为什么数据块如此大，由于数据传输时间超过寻道时间（高吞吐率）。
3）文件的存储方式：按大小被切分红若干个block，存储到不一样节点上，默认状况下每一个block有三个副本。
HDFS的默认副本存放策略
Hadoop 0.17 以后：副本1-同Client的节点上；副本2-不一样机架中的节点上；副本3-同第二个副本的机架中的另外一个节点上；其余副本:随机挑选。以下图示例：

 

HDFS可靠性机制
常见错误状况：文件损坏；网络或者机器失效；NameNode挂掉；
文件的完整性：经过CRC32校验，若是有损坏，用其余副本替代损坏文件；
Heartbeat：DataNode按期向NameNode发送eartbeat；
元数据信息：FsImage、Editlog进行多份备份，当NameNode宕机后，可手动还原。

HDFS 数据备份

       HDFS被设计成一个能够在大集群中、跨机器、可靠的存储海量数据的框架。它将全部文件存储成block块组成的序列，除了最后一个block块，全部的block块大小都是同样的。文件的全部block块都会由于容错而被复制。每一个文件的block块大小和容错复制份数都是可配置的。容错复制份数能够在文件建立时配置，后期也能够修改。HDFS中的文件默认规则是write one（一次写、屡次读）的，而且严格要求在任什么时候候只有一个writer。NameNode负责管理block块的复制，它周期性地接收集群中全部DataNode的心跳数据包和Blockreport。心跳包表示DataNode正常工做，Blockreport描述了该DataNode上全部的block组成的列表。

备份数据的存放：

       备份数据的存放是HDFS可靠性和性能的关键。HDFS采用一种称为rack-aware的策略来决定备份数据的存放。经过一个称为Rack Awareness的过程，NameNode决定每一个DataNode所属rack id。缺省状况下，一个block块会有三个备份，一个在NameNode指定的DataNode上，一个在指定DataNode非同一rack的DataNode上，一个在指定DataNode同一rack的DataNode上。这种策略综合考虑了同一rack失效、以及不一样rack之间数据复制性能问题。

副本的选择：

       为了下降总体的带宽消耗和读取延时，HDFS会尽可能读取最近的副本。若是在同一个rack上有一个副本，那么就读该副本。若是一个HDFS集群跨越多个数据中心，那么将首先尝试读本地数据中心的副本。

安全模式：

       系统启动后先进入安全模式，此时系统中的内容不容许修改和删除，直到安全模式结束。安全模式主要是为了启动检查各个DataNode上数据块的安全性。

HDFS的读写流程

HDFS文件读取：

1. 首先调用FileSystem对象的open方法，实际上是一个DistributedFileSystem的实例

2. DistributedFileSystem经过rpc得到文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.

3. 前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream能够方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode并链接。

4. 数据从datanode源源不断的流向客户端。

5. 若是第一块的数据读完了，就会关闭指向第一块的datanode链接，接着读取下一块。这些操做对客户端来讲是透明的，客户端的角度看来只是读一个持续不断的流。

6. 若是第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，而后继续读，若是全部的块都读完，这时就会关闭掉全部的流。

    

7. package test;
   import java.io.IOException;
   import java.net.URI;
   import org.apache.hadoop.conf.Configuration;
   import org.apache.hadoop.fs.FileSystem;
   import org.apache.hadoop.fs.Path; 
   import org.apache.hadoop.fs.FSDataInputStream;
   import org.apache.hadoop.fs.FSDataOutputStream;;
   public class Test {
    
    public void WriteFile(String hdfs) throws IOException {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(hdfs),conf);
     FSDataOutputStream hdfsOutStream = fs.create(new Path(hdfs));
     hdfsOutStream.writeChars("hello");
     hdfsOutStream.close();
     fs.close();  
    }
    
    public void ReadFile(String hdfs) throws IOException {
     Configuration conf = new Configuration();
     FileSystem fs = FileSystem.get(URI.create(hdfs),conf);
     FSDataInputStream hdfsInStream = fs.open(new Path(hdfs));
     
     byte[] ioBuffer = new byte[1024];
     int readLen = hdfsInStream.read(ioBuffer);
     while(readLen!=-1)
     {
      System.out.write(ioBuffer, 0, readLen);
      readLen = hdfsInStream.read(ioBuffer);
     }
     hdfsInStream.close();
     fs.close(); 
    }
     
    public static void main(String[] args) throws IOException {  
     String hdfs = "hdfs://192.168.56.112:9000/test/hello.txt";
     Test t = new Test();  
     t.WriteFile(hdfs);
     t.ReadFile(hdfs);
     }
   }

 HDFS读取发生异常处理
       若是在读数据的时候，DFSInputStream和datanode的通信发生异常，就会尝试正在读的block的排第二近的datanode,而且会记录哪一个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。DFSInputStream也会检查block数据校验和，若是发现一个坏的block,就会先报告到namenode节点，而后DFSInputStream在其余的datanode上读该block的镜像
HDFS读操做设计思考
       客户端直接链接datanode来检索数据而且namenode来负责为每个block提供最优的datanode，namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs经过datanode集群能够承受大量客户端的并发访问。

HDFS文件写入

1. 客户端经过调用DistributedFileSystem的create方法建立新文件

2. DistributedFileSystem经过RPC调用namenode去建立一个没有blocks关联的新文件，建立前，namenode会作各类校验，好比文件是否存在，客户端有无权限去建立等。若是校验经过，namenode就会记录下新文件，不然就会抛出IO异常.

3. 前两步结束后会返回FSDataOutputStream的对象，和读文件的时候类似，FSDataOutputStream被封装成DFSOutputStream，DFSOutputStream能够协调namenode和datanode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，而后排成队列data quene。

4. DataStreamer会去处理接受data quene，他先问询namenode这个新的block最适合存储的在哪几个datanode里，好比重复数是3，那么就找到3个最适合的datanode，把他们排成一个pipeline.DataStreamer把packet按队列输出到管道的第一个datanode中，第一个datanode又把packet输出到第二个datanode中，以此类推。

5. DFSOutputStream还有一个对列叫ack quene，也是有packet组成，等待datanode的收到响应，当pipeline中的全部datanode都表示已经收到的时候，这时akc quene才会把对应的packet包移除掉。

6. 客户端完成写数据后调用close方法关闭写入流

7. DataStreamer把剩余得包都刷到pipeline里而后等待ack信息，收到最后一个ack后，通知datanode把文件标示为已完成。
   HDFS文件写入失败       若是在写的过程当中某个datanode发生错误，会采起如下几步：       1.pipeline被关闭       2.为了防止防止丢包ack quene里的packet会同步到data quene       3.把产生错误的datanode上当前在写但未完成的block删       4.block剩下的部分被写到剩下的两个正常的datanode       5.namenode找到另外的datanode去建立这个块的复       这些操做对客户端来讲是无感知的。       (客户端执行write操做后，写完得block才是可见的，正在写的block对客户端是不可见的，只有调用sync方法，客户端才确保该文件被写操做已经所有完成，当客户端调用close方法时会默认调用sync方法。是否须要手动调用取决你根据程序须要在数据健壮性和吞吐率之间的权衡。)