分布式文件系统比较出名的有HDFS 和 GFS

分布式文件系统比较出名的有HDFS  和 GFS,其中HDFS比较简单一点。本文是一篇描述很是简洁易懂的漫画形式讲解HDFS的原理。比通常PPT要通俗易懂不少。不可贵的学习资料。html

一、三个部分: 客户端、nameserver(可理解为主控和文件索引,相似Linux的inode)、datanode(存放实际数据)node

 

在这里,client的形式我所了解的有两种,经过Hadoop提供的api所编写的程序能够和hdfs进行交互,另一种就是安装了hadoop的datanode其也能够经过命令行与hdfs系统进行交互,如在datanode上上传则使用以下命令行:bin/hadoop fs -put example1 user/chunk/linux

二、如何写数据过程api


 

 

三、读取数据过程微信

--------------------------------
1.翻译经典 HDFS 原理讲解漫画 之二----读数据和容错 - hudiefenmu的专栏 - CSDN博客


== 以上 2017/7/8 下午12:40:15

四、容错:第一部分:故障类型及其检测方法(nodeserver 故障,和网络故障,和脏数据问题)网络

五、容错第二部分:读写容错分布式

--------------------------------
1.翻译经典 HDFS 原理讲解漫画 之三---容错和副本布局策略 - hudiefenmu的专栏 - CSDN博客

== 以上 2017/7/8 下午12:41:57


六、容错第三部分:dataNode 失效oop

七、备份规则布局

八、结束语post




参考:

--------------------------------
1.【转】【漫画解读】HDFS存储原理 - Bodi - 博客园

== 以上 2017/7/8 下午12:44:07
相关文章
相关标签/搜索