HDFS 的安全模式

参考:https://www.cnblogs.com/wangwang6/p/8335478.htmlhtml

做用:node

安全模式是 HDFS 的保护机制,用于保证集群中的数据块的安全性。安全

当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设咱们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-default.xml中定义了一个最小的副本的副本率0.999,咱们的副本率0.6明显小于0.99,所以系统会自动的复制副本到其余的dataNode,使得副本率不小于0.999.若是系统中有8个副本,超过咱们设定的5个副本,那么系统也会删除多余的3个副本。oop

 

安全模式是HDFS的一种工做状态,处于安全模式的状态下,只向客户端提供文件的只读视图,不接受对命名空间的修改;同时NameNode节点也不会进行数据块的复制或者删除,如:副本的数量小于正常水平。日志

 NameNode启动时,首先fsimage载入内存,并执行编辑日志中的操做。一旦文件系统元数据创建成功,便会建立一个空的编辑日志。此时,NameNode开始监听RPC和Http请求。可是此时NameNode处于安全模式,只接受客户端的读请求。xml

 在安全模式下,各个DataNode会向NameNode发送自身的数据块列表,当NameNode有足够的数据块信息后,便在30秒后退出安全模式,若NameNode发现数据节点过少会启动数据块复制过程(基本不会)htm

 当hadoop的NameNode节点启动时,会进入安全模式阶段。在此阶段,DataNode会向NameNode上传他们数据块的列表,让NameNode获得数据块的位置信息,并对每一个文件对应的数据块副本进行统计。当最小副本条件知足时,即:必定比例的数据块都到达最小副本数,系统会退出安全模式。而这须要必定的延迟时间。当最小的副本条件未达到要求时,就会对副本数不足的数据块安排DataNode进行复制,直到达到最小的副本数。而在安全模式下,系统会处于只读装态,NameNode不会处理任何数据块的复制和删除命令。blog

 在启动一个刚刚格式化的HDFS时系统不会进入安全模式,由于没有数据块。内存

相关文章
相关标签/搜索