上一章为你们分享了hadoop入门的基础知识,本章博主将带领你们一块儿升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。node
1、本节目的服务器
HDFS工做机制的学习主要是为了加深你们对这个分布式文件系统的了解,以及加强遇到各类问题时的应对能力,而且让你们再学习完后能有必定的集群运维能力。框架
2、概述运维
1.普通的HDFS集群主要分为两大角色:NameNode(包含Secondary Namenode)、DataNode。分布式
2.NameNode:负责管理整个文件系统的元数据,如:文件名,文件位置,文件大小,所在主机地址等等。oop
3.DataNode:负责管理用户的文件数据块(大文件上传到HDFS集群后,会被切分红块放在不一样的DataNode上,对外提供统一的视图、访问)。学习
4.文件会按照固定的大小(blocksize,默认为128m)切成若干块分布式存储在如干台datanode节点上。大数据
5.每一个文件块能够有多个副本(可配置,默认大小为3个),并存放在不一样的datanode上blog
6.Datanode会按期向Namenode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量hadoop
7.HDFS的内部工做机制对客户端保持透明,客户端请求访问HDFS都是经过向namenode申请来进行
3、客户端向HDFS写数据流程分析
最后寄语,以上是博主本次文章的所有内容,若是你们以为博主的文章还不错,请点赞;若是您对博主其它服务器大数据技术或者博主本人感兴趣,请关注博主博客,而且欢迎随时跟博主沟通交流。