IBM GPFS并行文件系统

原文地址：http://www.hqschina.com/Show.aspx?info_lb=283&info_id=751&flag=103

        IBM GPFS文件系统是一种专门为群集环境设计的高性能、可扩展的并行文件系统。GPFS能够在群集中的多个节点间实现对共享文件系统中文件的快速存取操做，并提供稳定的故障恢复和容错机制。

被业界超大规模高性能计算机系统所普遍使用

       GPFS文件系统被普遍应用于世界上超大规模的高性能计算机系统中，包括运行速度最快的IBM Blue Gene系统。在当前TOP500计算机排名中的232套IBM计算机系统几乎都采用了GPFS并行文件系统方案。在中国规模最大的5个高性能计算机系统中也无一例外地使用GPFS做为并行文件系统，这其中包括运行关键业务的生物信息和超级计算中心。这些项目成功实施和顺利运行充分证实了GPFS彻底能够胜任用来构建超大规模的计算机系统。

高可扩展性

GPFS具备无可比拟的扩展性，以下表所示：

项目	最大限制	Linux集群中通过验证的值
单个文件系统容量	299Byte	2PB
集群中并行文件系统个数	256	32
单个文件系统中文件个数	2,147,483,648	N/A
单个文件系统能用到的逻辑卷个数（LUN数）	268 million	N/A
I/O带宽	取决于系统硬件配置	134GB/s

 

高性能

       IBM GPFS并行文件系统软件在设计上不存在任何性能瓶颈，所以GPFS并行文件系统能够充分发挥硬件系统的性能。换句话说，GPFS并行文件系统的性能彻底取决于硬件配置的好坏，而文件系统软件自己对性能的影响微乎其微。

       IBM GPFS并行文件系统与其它并行文件系统之间最大的区别在于GPFS不须要专用的元数据（Meta Data）管理服务器，全部元数据分散在磁盘阵列中，并能够由任何I/O节点管理。这样的设计避免了并行文件系统中最可能产生性能瓶颈的因素——Meta Data Server。

       大规模高性能计算机系统的设计都会采用专用的I/O节点。I/O节点配置光纤通道卡链接外部磁盘阵列，而计算节点及登陆节点对磁盘阵列的访问则是利用网络与I/O节点进行数据通信。在系统规模很是大的时候，用来交换数据的网络一般会成为性能的瓶颈。IBM GPFS文件系统能够充分利用高速网络的特性，提高计算节点与I/O节点间的数据通信性能，同时最大程度地下降因I/O处理带来的对CPU资源的消耗。

       在Linux集群系统中，当使用了InfiniBand做为高速网络时，GPFS并行文件系统能够充分利用InfinBand网络的RDMA（Remote Direct Memory Access）特性进行数据通信。与TCP socket协议不一样，RDMA能够实现计算节点与I/O节点间内存的直接通信，而最小化CPU的参与。这样在提高I/O带宽性能的同时，下降计算节点CPU资源的消耗，从而保证计算节点内的资源能够更专一于数据计算。

       IBM GPFS的先进设计保证了GPFS是目前性能最高的并行文件系统，保持着在实际测试中获得的带宽134GB/s世界纪录。

高可用性

       IBM GPFS文件系统自己提供了丰富的高可用性功能，全部的GPFS相关的管理服务器都能作到冗余配置，并能够由I/O节点中的任意节点担任。具体从GPFS集群（节点）、逻辑卷（磁盘）及文件系统的管理与维护三个层面得以体现。

       能够将全部服务器划到一个GPFS集群（GPFS集群是并行文件系统的专用概念，是全部要访问并行文件系统的服务器的集合）中，或分红多个GPFS集群。每一个GPFS集群设置主、备2个管理服务器，能够选择I/O节点中的任何服务器承担。GPFS集群管理服务器负责管理和维护集群配置信息，如增长或减小节点、改变集群中服务器的属性等。同时，在一个GPFS集群中还能够指定若干个服务器做为“仲裁委员会”的成员（quorum node），只要该仲裁委员会中一半以上的成员正常运行，就能够保证GPFS正常使用。

       在磁盘阵列划分好逻辑卷（LUN）并映射到相应服务器后，GPFS将每一个LUN转换成网络共享磁盘（NSD），同时为每一个NSD指定多个（最多8个）管理服务器，能够由任何I/O节点承担。这样能够充分保证任何I/O节点宕机都不会致使逻辑卷的不可用。

       在文件系统层面，每一个GPFS集群中能够建立最多256个文件系统，每一个文件系统都对应多个管理服务器（能够由任何I/O节点承担）。当任何一个文件系统管理服务器宕机时，都会有另一个服务器自动接替其工做，保证并行文件系统的高可用性。

       另外，GPFS支持分布式的元数据服务器，支持元数据自动日志功能，实现用户数据和元数据的备份和自动恢复，当一台服务器宕机时，其管理功能能够有另外的服务器接管，不存在单点故障。GPFS支持多路径磁盘访问，一条路径访问失败，GPFS能够自动尝试其它路径，并同时支持节点和磁盘两级故障切换，对上层应用透明，确保应用的继续执行。GPFS支持分布式的块级锁管理，经过令牌机制来避免并发读写冲突。GPFS还支持rolling update功能，能够在线升级文件系统。

丰富的功能

       GPFS还具备其它丰富的功能，如信息生命周期管理（ILM）、多集群间交叉mount、集群化NFS（CNFS）、磁盘限额管理、NFS和SAMBA客户端支持等。这些功能保证了GPFS配置和使用的灵活性，能够针对用户业务特色对GPFS进行设计与配置，知足用户业务对并行文件系统的复杂需求。