分布式文件系统----基础

文件系统

 

 

　　计算机的每个磁盘就是由一个文件系统管理

 

 

 

分布式文件系统

　　分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不必定直接链接在本地节点上，而是经过计算机网络与节点相连。分布式文件系统的设计基于客户机服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性容许一些系统扮演客户机和服务器的双重角色。例如，用户能够“发表”一个容许其余客户机访问的目录，一旦被访问，这个目录对客户机来讲就像使用本地驱动器同样，下面是三个基本的分布式文件系统。

NFS（网络文件系统）

　　NFS（Network File System）即网络文件系统，是FreeBSD支持的文件系统中的一种，它容许网络中的计算机之间经过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用能够透明地读写位于远端NFS服务器上的文件，就像访问本地文件同样。

               

 

使用

• 在客户端上映射NFS服务器的驱动器。
• 客户端经过网络访问NFS服务器的硬盘彻底透明。 

GFS（googleFs）

　　GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，能够提供容错功能。它能够给大量的用户提供整体性能较高的服务。

• 1）GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver组成。
• 2）master存储了数据文件的元数据，一个文件被分红了若干块存储在多个chunkserver中。
• 3）用户从master中获取数据元信息，从chunkserver存储数据。

HDSF

　　Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件（commodity hardware）上的分布式文件系统。它和现有的分布式文件系统有不少共同点。但同时，它和其余的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，很是适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是做为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

                     

 

 

• 1）HDFS采用主从结构，一个HDFS集群由一个名称结点和若干数据结点组成。名称结点存储数据的元信息，一个完整的数据文件分红若干块存储在数据结点。
• 2）客户端从名称结点获取数据的元信息及数据分块的信息，获得信息客户端便可从数据块来存取数据。

 

分布式文件服务提供商

一、阿里的OSS
二、七牛云存储
三、百度云存储