深刻理解HDFS的架构和原理

HDFS主要是用于作什么的？ 

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，能够运行于廉价的商用服务器上。

它所具备的高容错、高可靠性、高可扩展性、高得到性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了不少便利。

HDFS的优缺点比较

优势

1. 高容错性
   （1）数据自动保存多个副本。它经过增长副本的形式，提升容错性
   （2）某一个副本丢失之后，它能够自动恢复，这是由 HDFS 内部机制实现的，咱们没必要关心
2. 适合批处理
   （1）它是经过移动计算而不是移动数据
   （2）它会把数据位置暴露给计算框架
3. 适合大数据处理
   （1）处理数据达到 GB、TB、甚至PB级别的数据
   （2）可以处理百万规模以上的文件数量，数量至关之大
   （3）可以处理10K节点的规模
4. 流式文件访问
   （1）一次写入，屡次读取。文件一旦写入不能修改，只能追加
   （2）它能保证数据的一致性
5. 可构建在廉价机器上
   （1）它经过多副本机制，提升可靠性
   （2）它提供了容错和恢复机制。好比某一个副本丢失，能够经过其它副原本恢复

缺点

1. 低延时数据访问
   （1）好比毫秒级的来存储数据，这是不行的，它作不到
   （2）它适合高吞吐率的场景，就是在某一时间内写入大量的数据。可是它在低延时的状况下是不行的，好比毫秒级之内读取数据，这样它是很难作到的
2. 小文件存储
   （1）存储大量小文件的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，由于NameNode的内存老是有限的
   （2）小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标
3. 并发写入、文件随机修改
   （1）一个文件只能有一个写，不容许多个线程同时写
   （2）仅支持数据 append（追加），不支持文件的随机修改

HDFS 如何存储数据？

HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面咱们分别介绍这四个组成部分。

Client：就是客户端

1. 文件切分。文件上传 HDFS 的时候，Client 将文件切分红 一个一个的Block，而后进行存储
2. 与 NameNode 交互，获取文件的位置信息
3. 与 DataNode 交互，读取或者写入数据
4. Client 提供一些命令来管理 HDFS，好比启动或者关闭HDFS
5. Client 能够经过一些命令来访问 HDFS

NameNode：就是 master，它是一个主管、管理者

1. 管理 HDFS 的名称空间
2. 管理数据块（Block）映射信息
3. 配置副本策略
4. 处理客户端读写请求

DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操做

1. 存储实际的数据块
2. 执行数据块的读/写操做
3. 按期向NameNode发送心跳消息

Secondary NameNode：并不是 NameNode 的热备。当NameNode 挂掉的时候，它并不能立刻替换 NameNode 并提供服务

1. 辅助 NameNode，分担其工做量
2. 按期合并 fsimage和fsedits，并推送给NameNode
3. 在紧急状况下，可辅助恢复 NameNode

HDFS 如何读取文件？

1. 首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。
2. DistributedFileSystem经过RPC(远程过程调用)得到文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。
3. 前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream能够方便的管理datanode和namenode数据流。客户端调用read方 法，DFSInputStream就会找出离客户端最近的datanode并链接datanode。
4. 数据从datanode源源不断的流向客户端。
5. 若是第一个block块的数据读完了，就会关闭指向第一个block块的datanode链接，接着读取下一个block块。这些操做对客户端来讲是透明的，从客户端的角度来看只是读一个持续不断的流。
6. 若是第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，而后继续读，若是全部的block块都读完，这时就会关闭掉全部的流。

HDFS 如何写入文件？ 

1. 客户端经过调用 DistributedFileSystem 的create方法，建立一个新的文件。
2. DistributedFileSystem 经过 RPC（远程过程调用）调用 NameNode，去建立一个没有blocks关联的新文件。建立前，NameNode 会作各类校验，好比文件是否存在，客户端有无权限去建立等。若是校验经过，NameNode 就会记录下新文件，不然就会抛出IO异常。
3. 前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候类似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 能够协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，而后排成队列 data queue。
4. DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，好比重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。
5. DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的全部DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
6. 客户端完成写数据后，调用close方法关闭写入流。
7. DataStreamer 把剩余的包都刷到 pipeline 里，而后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成。

数据管理策略

1. 数据块副本，数据分布在不一样DataNode和不一样机架上，提升容错率

2. 心跳检测

3. 二级NameNode