Hadoop文件系统元数据管理机制

edits log 默认是 64MB,当写满的时候或者到必定周期的时候,Namanode就会进行 CheckPoint。Checkpoint是一个内部事件,这个事件激活之后会触发数据库写进程(DBWR)将数据缓冲(DATABUFFER CACHE)中的脏数据块写出到数据文件中。node

这里仅仅是以一份副原本描述,实际上默认是切片后每个切片的数据块都有三份副本,保存在不一样的Datanode中,假设有多个不一样的机架,每一个机架有多台主机,意味着有多个机架上面的Datanode,每一台主机做为一个Datanode,数据块的副本保存顺序是:数据库

  • 一、先在本机架上面找寻最近的一台主机保存第一份副本;
  • 二、而后到其余机架上面随机选择一台主机保存第二份副本;
  • 三、最后再在本机架上面除第一份副本的主机外随机选择另外一台主机保存第三份副本。
如果Namenode宕机了,还可否恢复数据?重启集群以后还能提供服务么?

能够恢复数据,经过FSimage恢复数据;Namenode宕机了提供不了查询数据和保存数据的功能,所以不能提供服务。 可使用 多个Namenode副本,副本namenode与namenode的数据保持一致,这里是HA高可用机制,一个namenode宕机了,由另外一个namenode顶替继续提供服务。code

相关文章
相关标签/搜索