Hadoop集群管理 fsimage和edits工做机制内幕

1、node

fsiamges文件一般是整个集群的元数据信息。每次对它的修改很好内存,io。post

因此引入了edits内存

文件。存放每次对元数据修改的记录,并经过Secondary Namenode按期的合并。get

2、过程it

1.Secondary Namenode请求edits和fsimage合并。io

2.Namenode中止对edits文件的修改,并生成edits.new文件,存储在合并期间出现的对元数据的修改集群

3.Secondary Namenode经过http get方式获取edits文件和fsimages文件请求

4.Secondary Namenode把请求到的fsimages文件导入内存中,并按照edits文件逐一操做,生成fsimags.ckpt文件im

5.Secondary Namenode经过http post方式把fsimages.ckpt文件发送给Namenode数据

6.Namenode接受到fsimages.ckpt文件后,替换原有的fsimages文件,并把edits.new文件改成edits文件,这样就获得了新的合并后的fsimages文件和较小的edits文件

相关文章
相关标签/搜索