软件定义存储SDS-分布式存储Ceph实践与设计

    近两年“软件定义”已经被业界不少商业公司与技术咖所青睐；“软件定义一切”具备技术改革与实际价值，在虚拟化管理平台软件定义一直性体如今三大方面：软件定义计算（SDC)，软件定义网络(SDN)，软件定义存储（SDS）；

    软件定义存储（SDS）是众多中小企业在IT架构基础建设中比较重要的一项，存储是每一个程序与应用必不可少的组成部分，存储TCO也是你们所关注的重点，权衡在性能（Performance）、容量（Capability）、TCO（总拥有成本）三方面，根据这三方面考虑Ceph分布式存储特点具备很好的实际使用价值与灵活的结构，让中小企业在RBD、OD等存储方式有了更好的选择；Ceph具备开源与社区活跃优点，同时与主流IaaS架构Openstack结合密切等，Ceph生态系统也是有不少IT公司协同开发，现在用户群体包含国内外知名厂商，最新版本更新到2016.3 Jewel.

    Ceph基础架构

     

Ceph提供RBD、FS等存储方式支持，Ceph分布式针对于大规模PB级环境部署，技术特性体如今Cluster可靠性与扩展行，Data Replace、Interface统一性；Ceph去中心的设计思想可以让计算能力获得了充分发挥，Crush算法可保证各OSD与Monitor Node提供HA ENV；对于Openstack架构的后端存储，侧重在Ceph RBD存储，RBD是基于LIBRADOS之上，经过QEMU/KVM Attach至VM上.

     OpenStack架构后端存储核心在于VM、Volume、Images三方面，Ceph RBD可无缝支持这三项存储，通过几个项目的实践，Ceph RBD存储方式稳定性仍是很是好，Ceph自身Journal优化特性可提升硬盘存储读写性能；利用Ceph在设计OpenStack后端存储解决方案时，建议合理规划硬件资源与评估存储需求，这样才能在PCT三方Balance；

    根据公司业务存储场景，可提供High Performance Pools与Common Pools，根据Openstack配置与对接方式，将Compute Pools进行整合，进行对应的存储Pools对接；

    Ceph存储自身规划

    一、硬件选型：CPU、Mem、Disk按照OSD Process（2C、1G）与Monitor（2C、2G）合理规划

    二、版本选型以及系统文件：Ceph目前稳定版本Jewel V10.0.0(社区推荐)，系统文件格式Ext4

    三、网络：建议生产环境采用10G网络，Ceph Public Net与Client Net进行物理隔离，提供稳定与数据高保证性；可经过网络调优引入巨型帧来提升网络传输

    四、硬盘：Journal盘与Data盘建议1:6，匹配方式SSD（J）-SAS，PCIE（J）-SSD

    五、Ceph调优：硬件层面（BIOS、磁盘IOPS）、System层面（Cgroup、Kernel）、网络层面（巨型帧、硬件加速）、Ceph（合理设置PG-PGS、副本数、对接存储位置等）

    六、扩展：尽可能减小纵向扩展、根据Crush Map进行Object物理Host存储，随着业务发展及时进行横向扩展

    七、监控：对OSD Perf项进行监控，防止主副节点影响存储速度；对集群Health网络、硬件状态等实时监控、及时处理故障问题

    八、测试：初次搭建进行全面IOPS与网络吞吐量测试、以及故障经过测试排除问题

    Ceph效率提高：增长并行度与下降服务时间

    Ceph实际生产环境中，可支持多类型存储，对象存储、文件存储、块存储等，Openstack匹配完美的则是Ceph RBD方式存储，灵活地配置方式以及全面的driver支持，Ceph稳定与高可用灵活架构以及Crush算法让Ceph分布式存储解决方案成为Openstack最重要的存储伙伴；随着Openstack高速发展，Ceph也是以6个月一个新版本进行迭代,开源虚拟化以及存储虚拟化是将来最具备商业价值与研究的热点.