GlusterFS集群文件系统研究

https://blog.csdn.net/liuaigui/article/details/6284551

1.      GlusterFS概述
GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具备强大的横向扩展能力，经过扩展可以支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源汇集在一块儿，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各类不一样的数据负载提供优异的性能。

 

图1 GlusterFS统一的挂载点

GlusterFS支持运行在任何标准IP网络上标准应用程序的标准客户端，如图2所示，用户能够在全局统一的命名空间中使用NFS/CIFS等标准协议来访问应用数据。GlusterFS使得用户可摆脱原有的独立、高成本的封闭存储系统，可以利用普通廉价的存储设备来部署可集中管理、横向扩展、虚拟化的存储池，存储容量可扩展至TB/PB级。GlusterFS主要特征以下：

l  扩展性和高性能

GlusterFS利用双重特性来提供几TB至数PB的高扩展存储解决方案。Scale-Out架构容许经过简单地增长资源来提升存储容量和性能，磁盘、计算和I/O资源均可以独立增长，支持10GbE和InfiniBand等高速网络互联。Gluster弹性哈希（Elastic Hash）解除了GlusterFS对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。

l  高可用性

GlusterFS能够对文件进行自动复制，如镜像或屡次复制，从而确保数据老是能够访问，甚至是在硬件故障的状况下也能正常访问。自我修复功能可以把数据恢复到正确的状态，并且修复是以增量的方式在后台执行，几乎不会产生性能负载。GlusterFS没有设计本身的私有数据文件格式，而是采用操做系统中主流标准的磁盘文件系统（如EXT三、ZFS）来存储文件，所以数据可使用各类标准工具进行复制和访问。

l  全局统一命名空间

全局统一命名空间将磁盘和内存资源汇集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源能够根据须要在虚拟存储池中进行弹性扩展，好比扩容或收缩。当存储虚拟机映像时，存储的虚拟映像文件没有数量限制，成千虚拟机均经过单一挂载点进行数据共享。虚拟机I/O可在命名空间内的全部服务器上自动进行负载均衡，消除了SAN环境中常常发生的访问热点和性能瓶颈问题。

l  弹性哈希算法

GlusterFS采用弹性哈希算法在存储池中定位数据，而不是采用集中式或分布式元数据服务器索引。在其余的Scale-Out存储系统中，元数据服务器一般会致使I/O性能瓶颈和单点故障问题。GlusterFS中，全部在Scale-Out存储配置中的存储系统均可以智能地定位任意数据分片，不须要查看索引或者向其余服务器查询。这种设计机制彻底并行化了数据访问，实现了真正的线性性能扩展。

l  弹性卷管理

数据储存在逻辑卷中，逻辑卷能够从虚拟化的物理存储池进行独立逻辑划分而获得。存储服务器能够在线进行增长和移除，不会致使应用中断。逻辑卷能够在全部配置服务器中增加和缩减，能够在不一样服务器迁移进行容量均衡，或者增长和移除系统，这些操做均可在线进行。文件系统配置更改也能够实时在线进行并应用，从而能够适应工做负载条件变化或在线性能调优。

l  基于标准协议

Gluster存储服务支持NFS, CIFS, HTTP, FTP以及Gluster原生协议，彻底与POSIX标准兼容。现有应用程序不须要做任何修改或使用专用API，就能够对Gluster中的数据进行访问。这在公有云环境中部署Gluster时很是有用，Gluster对云服务提供商专用API进行抽象，而后提供标准POSIX接口。

2.      设计目标
GlusterFS的设计思想显著区别有现有并行/集群/分布式文件系统。若是GlusterFS在设计上没有本质性的突破，难以在与Lustre、PVFS二、Ceph等的竞争中占据优点，更别提与GPFS、StorNext、ISILON、IBRIX等具备多年技术沉淀和市场积累的商用文件系统竞争。其核心设计目标包括以下三个：

l  弹性存储系统（Elasticity）

存储系统具备弹性能力，意味着企业能够根据业务须要灵活地增长或缩减数据存储以及增删存储池中的资源，而不须要中断系统运行。GlusterFS设计目标之一就是弹性，容许动态增删数据卷、扩展或缩减数据卷、增删存储服务器等，不影响系统正常运行和业务服务。GlusterFS早期版本中弹性不足，部分管理工做须要中断服务，目前最新的3.1.X版本已经弹性十足，可以知足对存储系统弹性要求高的应用需求，尤为是对云存储服务系统而言意义更大。GlusterFS主要经过存储虚拟化技术和逻辑卷管理来实现这一设计目标。

l  线性横向扩展（Linear Scale-Out）

线性扩展对于存储系统而言是很是难以实现的，一般系统规模扩展与性能提高之间是LOG对数曲线关系，由于同时会产生相应负载而消耗了部分性能的提高。如今的不少并行/集群/分布式文件系统都具很高的扩展能力，Luster存储节点能够达到1000个以上，客户端数量可以达到25000以上，这个扩展能力是很是强大的，可是Lustre也不是线性扩展的。

纵向扩展（Scale-Up）旨在提升单个节点的存储容量或性能，每每存在理论上或物理上的各类限制，而没法知足存储需求。横向扩展（Scale-Out）经过增长存储节点来提高整个系统的容量或性能，这一扩展机制是目前的存储技术热点，能有效应对容量、性能等存储需求。目前的并行/集群/分布式文件系统大多都具有横向扩展能力。

GlusterFS是线性横向扩展架构，它经过横向扩展存储节点便可以得到线性的存储容量和性能的提高。所以，结合纵向扩展GlusterFS能够得到多维扩展能力，增长每一个节点的磁盘可增长存储容量，增长存储节点能够提升性能，从而将更多磁盘、内存、I/O资源汇集成更大容量、更高性能的虚拟存储池。GlusterFS利用三种基本技术来得到线性横向扩展能力：

1)        消除元数据服务

2)        高效数据分布，得到扩展性和可靠性

3)        经过彻底分布式架构的并行化得到性能的最大化

l  高可靠性（Reliability）

与GFS（Google File System）相似，GlusterFS能够构建在普通的服务器和存储设备之上，所以可靠性显得尤其关键。GlusterFS从设计之初就将可靠性归入核心设计，采用了多种技术来实现这一设计目标。首先，它假设故障是正常事件，包括硬件、磁盘、网络故障以及管理员误操做形成的数据损坏等。GlusterFS设计支持自动复制和自动修复功能来保证数据可靠性，不须要管理员的干预。其次，GlusterFS利用了底层EXT3/ZFS等磁盘文件系统的日志功能来提供必定的数据可靠性，而没有本身从新发明轮子。再次，GlusterFS是无元数据服务器设计，不须要元数据的同步或者一致性维护，很大程度上下降了系统复杂性，不只提升了性能，还大大提升了系统可靠性。

3.      技术特色
GlusterFS在技术实现上与传统存储系统或现有其余分布式文件系统有显著不一样之处，主要体如今以下几个方面。

l  彻底软件实现（Software Only）

GlusterFS认为存储是软件问题，不可以把用户局限于使用特定的供应商或硬件配置来解决。GlusterFS采用开放式设计，普遍支持工业标准的存储、网络和计算机设备，而非与定制化的专用硬件设备捆绑。对于商业客户，GlusterFS能够以虚拟装置的形式交付，也能够与虚拟机容器打包，或者是公有云中部署的映像。开源社区中，GlusterFS被大量部署在基于廉价闲置硬件的各类操做系统上，构成集中统一的虚拟存储资源池。简而言之，GlusterFS是开放的全软件实现，彻底独立于硬件和操做系统。

l  完整的存储操做系统栈（Complete Storage Operating System Stack）

GlusterFS不只提供了一个分布式文件系统，并且还提供了许多其余重要的分布式功能，好比分布式内存管理、I/O调度、软RAID和自我修复等。GlusterFS汲取了微内核架构的经验教训，借鉴了GNU/Hurd操做系统的设计思想，在用户空间实现了完整的存储操做系统栈。

l  用户空间实现（User Space）

与传统的文件系统不一样，GlusterFS在用户空间实现，这使得其安装和升级特别简便。另外，这也极大下降了普通用户基于源码修改GlusterFS的门槛，仅仅须要通用的C程序设计技能，而不须要特别的内核编程经验。

l  模块化堆栈式架构（Modular Stackable Architecture）

GlusterFS采用模块化、堆栈式的架构，可经过灵活的配置支持高度定制化的应用环境，好比大文件存储、海量小文件存储、云存储、多传输协议应用等。每一个功能以模块形式实现，而后以积木方式进行简单的组合，便可实现复杂的功能。好比，Replicate模块可实现RAID1，Stripe模块可实现RAID0，经过二者的组合可实现RAID10和RAID01，同时得到高性能和高可靠性。

l  原始数据格式存储（Data Stored in Native Formats）

GlusterFS以原始数据格式（如EXT三、EXT四、XFS、ZFS）储存数据，并实现多种数据自动修复机制。所以，系统极具弹性，即便离线情形下文件也能够经过其余标准工具进行访问。若是用户须要从GlusterFS中迁移数据，不须要做任何修改仍然能够彻底使用这些数据。

l  无元数据服务设计（No Metadata with the Elastic Hash Algorithm）

对Scale-Out存储系统而言，最大的挑战之一就是记录数据逻辑与物理位置的映像关系，即数据元数据，可能还包括诸如属性和访问权限等信息。传统分布式存储系统使用集中式或分布式元数据服务来维护元数据，集中式元数据服务会致使单点故障和性能瓶颈问题，而分布式元数据服务存在性能负载和元数据同步一致性问题。特别是对于海量小文件的应用，元数据问题是个很是大的挑战。

GlusterFS独特意采用无元数据服务的设计，取而代之使用算法来定位文件，元数据和数据没有分离而是一块儿存储。集群中的全部存储系统服务器均可以智能地对文件数据分片进行定位，仅仅根据文件名和路径并运用算法便可，而不须要查询索引或者其余服务器。这使得数据访问彻底并行化，从而实现真正的线性性能扩展。无元数据服务器极大提升了GlusterFS的性能、可靠性和稳定性。

4.      整体架构与设计
 

 

图2 GlusterFS架构和组成

GlusterFS整体架构与组成部分如图2所示，它主要由存储服务器（Brick Server）、客户端以及NFS/Samba存储网关组成。不难发现，GlusterFS架构中没有元数据服务器组件，这是其最大的设计这点，对于提高整个系统的性能、可靠性和稳定性都有着决定性的意义。GlusterFS支持TCP/IP和InfiniBand RDMA高速网络互联，客户端可经过原生Glusterfs协议访问数据，其余没有运行GlusterFS客户端的终端可经过NFS/CIFS标准协议经过存储网关访问数据。

存储服务器主要提供基本的数据存储功能，最终的文件数据经过统一的调度策略分布在不一样的存储服务器上。它们上面运行着Glusterfsd进行，负责处理来自其余组件的数据服务请求。如前所述，数据以原始格式直接存储在服务器的本地文件系统上，如EXT三、EXT四、XFS、ZFS等，运行服务时指定数据存储路径。多个存储服务器能够经过客户端或存储网关上的卷管理器组成集群，如Stripe（RAID0）、Replicate（RAID1）和DHT（分布式Hash）存储集群，也可利用嵌套组合构成更加复杂的集群，如RAID10。

因为没有了元数据服务器，客户端承担了更多的功能，包括数据卷管理、I/O调度、文件定位、数据缓存等功能。客户端上运行Glusterfs进程，它实际是Glusterfsd的符号连接，利用FUSE（File system in User Space）模块将GlusterFS挂载到本地文件系统之上，实现POSIX兼容的方式来访问系统数据。在最新的3.1.X版本中，客户端再也不须要独立维护卷配置信息，改为自动从运行在网关上的glusterd弹性卷管理服务进行获取和更新，极大简化了卷管理。GlusterFS客户端负载相对传统分布式文件系统要高，包括CPU占用率和内存占用。

GlusterFS存储网关提供弹性卷管理和NFS/CIFS访问代理功能，其上运行Glusterd和Glusterfs进程，二者都是Glusterfsd符号连接。卷管理器负责逻辑卷的建立、删除、容量扩展与缩减、容量平滑等功能，并负责向客户端提供逻辑卷信息及主动更新通知功能等。GlusterFS 3.1.X实现了逻辑卷的弹性和自动化管理，不须要中断数据服务或上层应用业务。对于Windows客户端或没有安装GlusterFS的客户端，须要经过NFS/CIFS代理网关来访问，这时网关被配置成NFS或Samba服务器。相对原生客户端，网关在性能上要受到NFS/Samba的制约。

 

 

图3 GlusterFS模块化堆栈式设计

   GlusterFS是模块化堆栈式的架构设计，如图3所示。模块称为Translator，是GlusterFS提供的一种强大机制，借助这种良好定义的接口能够高效简便地扩展文件系统的功能。服务端与客户端模块接口是兼容的，同一个translator可同时在两边加载。每一个translator都是SO动态库，运行时根据配置动态加载。每一个模块实现特定基本功能，GlusterFS中全部的功能都是经过translator实现，好比Cluster, Storage, Performance, Protocol, Features等，基本简单的模块能够经过堆栈式的组合来实现复杂的功能。这一设计思想借鉴了GNU/Hurd微内核的虚拟文件系统设计，能够把对外部系统的访问转换成目标系统的适当调用。大部分模块都运行在客户端，好比合成器、I/O调度器和性能优化等，服务端相对简单许多。客户端和存储服务器均有本身的存储栈，构成了一棵Translator功能树，应用了若干模块。模块化和堆栈式的架构设计，极大下降了系统设计复杂性，简化了系统的实现、升级以及系统维护。

5.      弹性哈希算法
对于分布式系统而言，元数据处理是决定系统扩展性、性能以及稳定性的关键。GlusterFS另辟蹊径，完全摒弃了元数据服务，使用弹性哈希算法代替传统分布式文件系统中的集中或分布式元数据服务。这根本性解决了元数据这一难题，从而得到了接近线性的高扩展性，同时也提升了系统性能和可靠性。GlusterFS使用算法进行数据定位，集群中的任何服务器和客户端只需根据路径和文件名就能够对数据进行定位和读写访问。换句话说，GlusterFS不须要将元数据与数据进行分离，由于文件定位可独立并行化进行。GlusterFS中数据访问流程以下：

一、计算hash值，输入参数为文件路径和文件名；

二、根据hash值在集群中选择子卷（存储服务器），进行文件定位；

三、对所选择的子卷进行数据访问。

GlusterFS目前使用Davies-Meyer算法计算文件名hash值，得到一个32位整数。Davies-Meyer算法具备很是好的hash分布性，计算效率很高。假设逻辑卷中的存储服务器有N个，则32位整数空间被平均划分为N个连续子空间，每一个空间分别映射到一个存储服务器。这样，计算获得的32位hash值就会被投射到一个存储服务器，即咱们要选择的子卷。难道真是如此简单？如今让咱们来考虑一下存储节点加入和删除、文件更名等状况，GlusterFS如何解决这些问题而具有弹性的呢？

逻辑卷中加入一个新存储节点，若是不做其余任何处理，hash值映射空间将会发生变化，现有的文件目录可能会被从新定位到其余的存储服务器上，从而致使定位失败。解决问题的方法是对文件目录进行从新分布，把文件移动到正确的存储服务器上去，但这大大加剧了系统负载，尤为是对于已经存储大量的数据的海量存储系统来讲显然是不可行的。另外一种方法是使用一致性哈希算法，修改新增节点及相邻节点的hash映射空间，仅须要移动相邻节点上的部分数据至新增节点，影响相对小了不少。然而，这又带来另一个问题，即系统总体负载不均衡。GlusterFS没有采用上述两种方法，而是设计了更为弹性的算法。GlusterFS的哈希分布是以目录为基本单位的，文件的父目录利用扩展属性记录了子卷映射信息，其下面子文件目录在父目录所属存储服务器中进行分布。因为文件目录事先保存了分布信息，所以新增节点不会影响现有文件存储分布，它将今后后的新建立目录开始参与存储分布调度。这种设计，新增节点不须要移动任何文件，可是负载均衡没有平滑处理，老节点负载较重。GlusterFS在设计中考虑了这一问题，在新建文件时会优先考虑容量负载最轻的节点，在目标存储节点上建立文件连接直向真正存储文件的节点。另外，GlusterFS弹性卷管理工具能够在后台以人工方式来执行负载平滑，将进行文件移动和从新分布，此后全部存储服务器都会均会被调度。

GlusterFS目前对存储节点删除支持有限，还没法作到彻底无人干预的程度。若是直接删除节点，那么所在存储服务器上的文件将没法浏览和访问，建立文件目录也会失败。当前人工解决方法有两个，一是将节点上的数据从新复制到GlusterFS中，二是使用新的节点来替换删除节点并保持原有数据。

若是一个文件被更名，显然hash算法将产生不一样的值，很是可能会发生文件被定位到不一样的存储服务器上，从而致使文件访问失败。采用数据移动的方法，对于大文件是很难在实时完成的。为了避免影响性能和服务中断，GlusterFS采用了文件连接来解决文件重命名问题，在目标存储服务器上建立一个连接指向实际的存储服务器，访问时由系统解析并进行重定向。另外，后台同时进行文件迁移，成功后文件连接将被自动删除。对于文件移动也做相似处理，好处是前台操做可实时处理，物理数据迁移置于后台选择适当时机执行。

 

 

图4 GlusterFS弹性卷管理

   弹性哈希算法为文件分配逻辑卷，那么GlusterFS如何为逻辑卷分配物理卷呢？GlusterFS3.1.X实现了真正的弹性卷管理，如图4所示。存储卷是对底层硬件的抽象，能够根据须要进行扩容和缩减，以及在不一样物理系统之间进行迁移。存储服务器能够在线增长和移除，并能在集群之间自动进行数据负载平衡，数据老是在线可用，没有应用中断。文件系统配置更新也能够在线执行，所做配置变更可以快速动态地在集群中传播，从而自动适应负载波动和性能调优。

    弹性哈希算法自己并无提供数据容错功能，GlusterFS使用镜像或复制来保证数据可用性，推荐使用镜像或3路复制。复制模式下，存储服务器使用同步写复制到其余的存储服务器，单个服务器故障彻底对客户端透明。此外，GlusterFS没有对复制数量进行限制，读被分散到全部的镜像存储节点，能够提升读性能。弹性哈希算法分配文件到惟一的逻辑卷，而复制能够保证数据至少保存在两个不一样存储节点，二者结合使得GlusterFS具有更高的弹性。

6.      Translators
如前所述，Translators是GlusterFS提供的一种强大文件系统功能扩展机制，这一设计思想借鉴于GNU/Hurd微内核操做系统。GlusterFS中全部的功能都经过Translator机制实现，运行时以动态库方式进行加载，服务端和客户端相互兼容。GlusterFS 3.1.X中，主要包括如下几类Translator：

（1）  Cluster：存储集群分布，目前有AFR, DHT, Stripe三种方式

（2）  Debug：跟踪GlusterFS内部函数和系统调用

（3）  Encryption：简单的数据加密实现

（4）  Features：访问控制、锁、Mac兼容、静默、配额、只读、回收站等

（5）  Mgmt：弹性卷管理

（6）  Mount：FUSE接口实现

（7）  Nfs：内部NFS服务器

（8）  Performance：io-cache, io-threads, quick-read, read-ahead, stat-prefetch, sysmlink-cache, write-behind等性能优化

（9）  Protocol：服务器和客户端协议实现

（10）Storage：底层文件系统POSIX接口实现

这里咱们重点介绍一下Cluster Translators，它是实现GlusterFS集群存储的核心，它包括AFR（Automatic File Replication）、DHT（Distributed Hash Table）和Stripe三种类型。

AFR至关于RAID1，同一文件在多个存储节点上保留多份，主要用于实现高可用性以及数据自动修复。AFR全部子卷上具备相同的名字空间，查找文件时从第一个节点开始，直到搜索成功或最后节点搜索完毕。读数据时，AFR会把全部请求调度到全部存储节点，进行负载均衡以提升系统性能。写数据时，首先须要在全部锁服务器上对文件加锁，默认第一个节点为锁服务器，能够指定多个。而后，AFR以日志事件方式对全部服务器进行写数据操做，成功后删除日志并解锁。AFR会自动检测并修复同一文件的数据不一致性，它使用更改日志来肯定好的数据副本。自动修复在文件目录首次访问时触发，若是是目录将在全部子卷上复制正确数据，若是文件不存则建立，文件信息不匹配则修复，日志指示更新则进行更新。

DHT即上面所介绍的弹性哈希算法，它采用hash方式进行数据分布，名字空间分布在全部节点上。查找文件时，经过弹性哈希算法进行，不依赖名字空间。但遍历文件目录时，则实现较为复杂和低效，须要搜索全部的存储节点。单一文件只会调度到惟一的存储节点，一旦文件被定位后，读写模式相对简单。DHT不具有容错能力，须要借助AFR实现高可用性, 如图5所示应用案例。

Stripe至关于RAID0，即分片存储，文件被划分红固定长度的数据分片以Round-Robin轮转方式存储在全部存储节点。Stripe全部存储节点组成完整的名字空间，查找文件时须要询问全部节点，这点很是低效。读写数据时，Stripe涉及所有分片存储节点，操做能够在多个节点之间并发执行，性能很是高。Stripe一般与AFR组合使用，构成RAID10/RAID01，同时得到高性能和高可用性，固然存储利用率会低于50%。

 

图5　GlusterFS应用案例：AFR+DHT

7.      设计讨论
GlusterFS是一个具备高扩展性、高性能、高可用性、可横向扩展的弹性分布式文件系统，在架构设计上很是有特色，好比无元数据服务器设计、堆栈式架构等。然而，存储应用问题是很复杂的，GlusterFS也不可能知足全部的存储需求，设计实现上也必定有考虑不足之处，下面咱们做简要分析。

l  无元数据服务器 vs 元数据服务器

无元数据服务器设计的好处是没有单点故障和性能瓶颈问题，可提升系统扩展性、性能、可靠性和稳定性。对于海量小文件应用，这种设计可以有效解决元数据的难点问题。它的负面影响是，数据一致问题更加复杂，文件目录遍历操做效率低下，缺少全局监控管理功能。同时也致使客户端承担了更多的职能，好比文件定位、名字空间缓存、逻辑卷视图维护等等，这些都增长了客户端的负载，占用至关的CPU和内存。

l  用户空间 vs 内核空间

用户空间实现起来相对要简单许多，对开发者技能要求较低，运行相对安全。用户空间效率低，数据须要屡次与内核空间交换，另外GlusterFS借助FUSE来实现标准文件系统接口，性能上又有所损耗。内核空间实现能够得到很高的数据吞吐量，缺点是实现和调试很是困难，程序出错常常会致使系统崩溃，安全性低。纵向扩展上，内核空间要优于用户空间，GlusterFS有横向扩展能力来弥补。

l  堆栈式 vs 非堆栈式

这有点像操做系统的微内核设计与单一内核设计之争。GlusterFS堆栈式设计思想源自GNU/Hurd微内核操做系统，具备很强的系统扩展能力，系统设计实现复杂性下降不少，基本功能模块的堆栈式组合就能够实现强大的功能。查看GlusterFS卷配置文件咱们能够发现，translator功能树一般深达10层以上，一层一层进行调用，效率可见一斑。非堆栈式设计可当作相似Linux的单一内核设计，系统调用经过中断实现，很是高效。后者的问题是系统核心臃肿，实现和扩展复杂，出现问题调试困难。

l  原始存储格式 vs 私有存储格式

GlusterFS使用原始格式存储文件或数据分片，能够直接使用各类标准的工具进行访问，数据互操做性好，迁移和数据管理很是方便。然而，数据安全成了问题，由于数据是以平凡的方式保存的，接触数据的人能够直接复制和查看。这对不少应用显然是不能接受的，好比云存储系统，用户特别关心数据安全，这也是影响公有云存储发展的一个重要缘由。私有存储格式能够保证数据的安全性，即便泄露也是不可知的。GlusterFS要实现本身的私有格式，在设计实现和数据管理上相对复杂一些，也会对性能产生必定影响。

l  大文件 vs 小文件

GlusterFS适合大文件仍是小文件存储？弹性哈希算法和Stripe数据分布策略，移除了元数据依赖，优化了数据分布，提升数据访问并行性，可以大幅提升大文件存储的性能。对于小文件，无元数据服务设计解决了元数据的问题。但GlusterFS并无在I/O方面做优化，在存储服务器底层文件系统上仍然是大量小文件，本地文件系统元数据访问是一个瓶颈，数据分布和并行性也没法充分发挥做用。所以，GlusterFS适合存储大文件，小文件性能较差，还存在很大优化空间。

l  可用性 vs 存储利用率

GlusterFS使用复制技术来提供数据高可用性，复制数量没有限制，自动修复功能基于复制来实现。可用性与存储利用率是一个矛盾体，可用性高存储利用率就低，反之亦然。采用复制技术，存储利用率为1/复制数，镜像是50%，三路复制则只有33%。其实，能够有方法来同时提升可用性和存储利用率，好比RAID5的利用率是(n-1)/n，RAID6是(n-2)/n，而纠删码技术能够提供更高的存储利用率。可是，鱼和熊掌不可得兼，它们都会对性能产生较大影响。

另外，GlusterFS目前的代码实现不够好，系统不够稳定，BUGS数量相对还比较多。从其官方网站的部署状况来看，测试用户很是多，可是真正在生产环境中的应用较少，存储部署容量几TB－几十TB的占很大比率，数百TB－PB级案例很是少。这也能够从另外一个方面说明，GlusterFS目前还不够稳定，须要更长的时间来检验。然而不能否认，GlusterFS是一个有着光明前景的集群文件系统，线性横向扩展能力使它具备天生的优点，尤为是对于云存储系统。

8.      参考文献
[1] Gluster: http://www.gluster.com/products/gluster-file-system-architecture-white-paper/

[2] Gluster: http://www.gluster.com/products/performance-in-a-gluster-system-white-paper/

[3] Gluster: http://gluster.com/community/documentation/index.php/Main_Page

[4] GlusterFS-Design: http://edwyseguru.wordpress.com/2010/06/11/glusterfs-design/

[5] GlusterFS users: http://www.gluster.org/gluster-users/