大数据教程(7.1)客户端向HDFS写数据流程分析

           上一章为你们分享了hadoop入门的基础知识,本章博主将带领你们一块儿升入了解hadoop的HDFS底层原理以及hadoop内部rpc框架的原理和使用。node

    1、本节目的服务器

           HDFS工做机制的学习主要是为了加深你们对这个分布式文件系统的了解,以及加强遇到各类问题时的应对能力,而且让你们再学习完后能有必定的集群运维能力。框架

    2、概述运维

           1.普通的HDFS集群主要分为两大角色:NameNode(包含Secondary Namenode)、DataNode。分布式

           2.NameNode:负责管理整个文件系统的元数据,如:文件名,文件位置,文件大小,所在主机地址等等。oop

           3.DataNode:负责管理用户的文件数据块(大文件上传到HDFS集群后,会被切分红块放在不一样的DataNode上,对外提供统一的视图、访问)。学习

           4.文件会按照固定的大小(blocksize,默认为128m)切成若干块分布式存储在如干台datanode节点上。大数据

           5.每一个文件块能够有多个副本(可配置,默认大小为3个),并存放在不一样的datanode上blog

           6.Datanode会按期向Namenode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量hadoop

           7.HDFS的内部工做机制对客户端保持透明,客户端请求访问HDFS都是经过向namenode申请来进行

    3、客户端向HDFS写数据流程分析

        最后寄语,以上是博主本次文章的所有内容,若是你们以为博主的文章还不错,请点赞;若是您对博主其它服务器大数据技术或者博主本人感兴趣,请关注博主博客,而且欢迎随时跟博主沟通交流。

相关文章
相关标签/搜索