Ceph分布式存储在各类运维场景下PoC性能测试

1. 概况

1.1.  测试目标

1.1.1. 测试在RBD方案和libvirt方案下使用CEPH的性能表现状况

1.1.2. 比较两种方案，哪一种方案更加适合现阶段的使用

1.1.3. 测试多种运维场景下的性能表现，对后期线上运维工做作预期

1.2. 测试内容

1.2.1. 在基准测试范畴，osd数量正常状况，分别经过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.2. 在基准测试范畴，osd异常状况下，分别经过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.3. 在基准测试范畴，在调整crushmap的状况下，分别经过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.4. 在基准测试范畴，monitor异常的状况下，分别经过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.5. 增长OSD的状况下，分别经过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.3. 测试要求

1.3.1 保证测试数据真实性、完整性与准确性

1.3.1 保证测试环境一致性，需标明可能致使性能差别的各类因素

1.3.3 测试人员必须提供原始数据备查

1.3.4 测试人员必须遵照保密条款

2. 测试工具

1) fio-2.0.9

 

3. 测试方法与过程

3.1 测试的指标维度包括连续读写和随机读写

3.2 测试的场景

 基准状况（6个OSD所有正常）

 OSD异常状况

 crushmap刷新remap过程

 monitor异常

 增长OSD

3.3 测试的方案

 Libvirt方案

 RBD方案

4. 测试数据

4.1 基准状况数据

基准状况，OSD正常状况下，RBD模式和libvirt模式对比

-> 若是不开启kvm缓存的状况下，libvirt方案的性能和RBD方案的性能基本至关。

-> 在开启kvm缓存的状况下，libvirt方案的性能只是RBD方案的性能的20%左右。（如今怀疑libvirt方案下，kvm缓存开启没生效）

-> RBD方案下，kvm缓存开启跟关闭状况比较，读性能提高4倍（是后者的5倍），写性能提高3倍（是后者的四倍）

-> 两种方案读性能是写性能的四倍。

-> libvirt方案下，kvm缓存和ceph缓存感受没生效，数据都没什么变化。

4.2 OSD异常状况

OSD异常状况下对比分析

-> osd被标记为down，可是还没被标记为out时，libvirt方案的性能为rbd方案的性能还稍微好点，同时二者跟正常状况的性能相比基本至关。

-> 当osd被标记为out，集群remap过程当中，不管是RBD方案仍是libvirt方案，性能都比以前降低不少。

4.3 Remap过程性能分析

Remap过程性能分析

-> 调整crushmap带来集群remap时，集群的读写性能都出现严重降低，只为以前集群的读写性能的10%

-> 调crushmap时，libvirt方案的读写性能比RBD方案表现要好些。

4.4 Monitor异常性能分析

Moniter异常性能分析，对比分析：

-> 对集群的读写性能没影响

4.5 OSD增长

在增长OSD的状况下对比分析：

-> 随着OSD的增长，集群相应的读写性能也增长。osd从6个增长到8个，读写性能10%,OSD从6个增长到10个，读写性能分别增长20%左右。

-> 读写性能增长的比例通常低于增长OSD的比例。

5. 测试分析结果

5.1 推荐RBD方案。

5.2 基准测试分析

 在KVM缓存关闭的状况下，从总体测试数据来看，libvirt方案和RBD方案的性能基本至关。

 在KVM缓存开启的状况下，libvirt方案的性能只是RDB方案的性能的20%左右。（如今怀疑livbirt方案下，kvm缓存开启没有成功，由于开启缓存和没开启缓存，libvirt的测试结果没什么变化）。

 RBD方案下，kvm缓存开启跟关闭状况比较，读性能提高4倍（是后者的5倍），写性能提高3倍（是后者的四倍）。 两种方案，读性能基本是写性能的四倍。

5.3 monitor异常对读写性能几乎没影响。

5.4 集群remap过程，读写性能降低较多，livbirt方案下，读写性能不足以前的30%。RBD方案暂时没数据。