【Hadoop】- HDFS文件系统介绍

HDFS: Hadoop Distributed File System

特色：hadoop分布式的文件系统，具有高容错、部署方便的特色，master/slave架构

组件：NameNode和DataNode

• NameNode:名称节点，记录HDFS文件所在的Block的大小、部署位置等信息，相似文件索引信息的概念，充当master的角色，整个HDFS文件系统只有一个NamNode节点，为了保证Hadoop的高容错的特色，能够设置secondNameNode，对主NameNode进行数据备份，防止NameNode的单点故障形成HDFS文件系统的崩溃

• DataNode:HDFS文件具体存储数据的信息，相似数据仓库的概念，HDFS集群能够由多个DataNode组成，实现存储容量的动态扩容

---

工做流程

1. 客户端访问HDFS文件系统时，首先经过TCP协议发送数据给NameNode,NameNode根据内部维持的文件信息，将文件存储的相关信息反馈给客户端，客户端根据NameNode的响应信息，直接对该文件所在的DataNode节点进行读写操做

---

高容错的保障措施：

1. secondNameNode对NameNode进行数据备份，避免单点故障
2. DataNode与NameNode经过心跳信号进行通信，确保DataNode出现故障以后可以进行相应的处理
3. 能够为每一个数据块设置备份数，避免DataNode单节点故障形成数据丢失
4. HDFS提供一种Block动态分配的机制，若是DataNode存储的文件过多，HDFS会平衡各类因素，将重负荷的DataNode的数据进行其余DataNode的数据存储，避免单点DataNode负载过大，形成性能的下降