云计算分布式大数据实战技术Hadoop：剖析NameNode和Secondary NameNode的工做机制和流程

本讲主要剖析SecondaryNameNode。

 

云计算分布式大数据实战技术Hadoop交流群：312494188，天天都会在群中发布云计算实战性资料，欢迎你们加入！

 

Hadoop在启动的时候，会启动SecondaryNameNode，咱们使用JPS命令查看一下查看一下Hadoop启动时启动了那些进程：

 

在咱们讲解SecondaryNameNode的具体做用以前，咱们先看一看NameNode的工做特色和具体做用：

1，在Hadoop的集群中，有NameNode和DataNode之分，在运行时DataNode能够有不少个，但NameNode只有一个；

2，NameNode保存的是Hadoop集群的metadata，即文件系统的元数据，包含整个文件系统的目录结构，每个目录有哪些文件，每一个文件有哪些分块，每一个分块保存在哪个DataNode上面；

3，NameNode在内存中保存metadata，这样能够快速的处理客户端对数据的“读请求”；

4，可是内存中的数据是容易丢失的，例如掉电时，因此咱们必须在磁盘上有metadata的副本；

5，当有“写请求”到来时，即要改变Hadoop的文件系统时，NameNode会首先写editlog并主动同步到磁盘，成功后才会修改内存中的metadata，而且返回给客户端，客户端在收到成功返回的信息后才会写数据到具体的DataNode上去；

6，Hadoop会在磁盘上维护一个fsimage的文件，该文件是NameNode中metedata的镜像；

7，fsimage不会随时与NameNode中的metedata保持一致，而是每隔一段时间经过合并editlog中的内容来更新；

8，合并的过程是比较消耗内存和CPU的操做，因此Hadoop就是用SecondaryNameNode专门用于更新fsimage文件；

 

下面咱们看看SecondaryNameNode的工做流程：

1，SecondaryNameNode通知PrimaryNameNode切换editlog；

2，SecondaryNameNode经过HTTP协议从PrimaryNameNode得到fsimage和editlog；

3，SecondaryNameNode将fsimage载入内存，而后开始合并editlog的操做；

4，SecondaryNameNode将合并后的新的fsimage发给PrimaryNameNode；

5，PrimaryNameNode收到SecondaryNameNode发过来的新的fsimage后会用新的fsimage替换旧的fsimage；

SecondaryNameNode合适触发上述的工做流程呢？或者说checkpoint是什么呢？知足如下的任何条件都会触发SecondaryNameNode的工做流程：

1，fs.checkpoint.period 指定两次checkpoint之间最大时间间隔，默认时间为3600秒，即一个小时；

2，fs.checkpoint.size规定editlog文件的最大值，该文件的默认大小是64M，一旦超过这个值则强制触发SecondaryNameNode的工做流程；

 

从Hadoop 2.X开始推出了Active-Backup NameNode的模式，即同时具备两个NameNode：Active NameNode和Backup NameNode，当Acitive NameNode不可以正常提供服务是时候，Backup NameNode就能够接替Acitive NameNode继续为客户端提供服务，这样就会更有力的保证Hadoop服务不会中断。

你们能够看出在Hadoop 1.X的版本时，整个Hadoop的正常工做极端的依赖于单一的Primary NameNode，当Primary NameNode出现问题的时候，整个Hadoop的文件系统就没法给客户端提供服务了，这对一些很是关键的应用是难以接受的，因此运行NameNode节点的机器的硬件须要很是好，例如磁盘的IO速度要很是快；