NameNode && Secondary NameNode工做机制

NameNode && Secondary NameNode工做机制

1）工做流程

2)  fsimage和edits

NameNode是HDFS的大脑,它维护着整个文件系统的目录树,以及目录树里全部的文件和目录,这些信息以俩种文件存储在文件系统:一种是命名空间镜像(也称为文件系统镜像,File System Image,fsimage),即HDFS元数据的完整快照,每次NameNode启动的时候,默认会加载最新的命名空间镜像,另外一种是命令空间镜像的编辑日志(Edit log)。

fsimage文件实际上是文件系统元数据的一个永久性检查点,但并不是每个写操做都会更新这个文件,由于FSImage是一个大型文件,若是频繁地执行写操做,会使系统运行极为缓慢。解决方案是NameNode只将改动内容预写日志,即写入命名空间镜像的编辑日志.随着时间的推移,编辑日志会变得愈来愈大,那么一旦发生故障,将会话费很是多的时间来回滚操做,因此就像传统的关系数据库同样,须要按期地合并fsimage和编辑日志。若是由NameNode来作合并操做,那么NameNode在为集群提供服务时可能没法提供足够的资源,为了完全解决这一问题,Secondary NameNode应允而生。

3）第一阶段：NameNode 启动

• （1）第一次启动 NameNode 格式化后，建立 fsimage 和 edits 文件。若是不是第一次启动，直接加载编辑日志和镜像文件到内存。
• （2）客户端对元数据进行增删改的请求。
• （3）NameNode 记录操做日志，更新滚动日志。
• （4）NameNode 在内存中对数据进行增删改查。

4）第二阶段：Secondary NameNode 工做

• （1）Secondary NameNode询问NameNode是否须要checkpoint。
• （2）Secondary NameNode请求执行checkpoint。
• （3）NameNode滚动正在写的edits日志。
• （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
• （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
• （6）生成新的镜像文件fsimage.chkpoint。
• （7）拷贝fsimage.chkpoint到NameNode。
• （8）NameNode将fsimage.chkpoint从新命名成fsimage。

默认状况下,该过程每小时发生一次,或者当NameNode的编辑日志文件到达默认的64MB也会触发。