ceph存储集群测试方案

--测试目的

测试ceph集群的读写性能，根据测试数据了解整个ceph集群的性能状况。

--测试环境

1、8节点ceph集群环境，1台虚拟机（cpu 8核，内存8G），8k的块大小，时长2小时

2、8节点ceph集群环境，5台虚拟机（cpu 8核，内存8G），8k的块大小，时长2小时

--测试情景

一、Ceph集群无端障的性能指标

二、Ceph集群移除节点的性能指标

 

[ceph集群无端障状态测试]

 

--测试方法：

一、从ceph集群中建立一个1T的块设备空间，将分出的磁盘空间挂载到虚拟机。

A、利用fio工具测试挂载设备的读写速度

B、利用zabbix监控获得虚拟机的系统使用状况（CPU、内存等）

C、利用ceph服务器的ceph命令获得SSD盘和SATA盘的使用状况，利用ceph集群监控页面查看集群的CPU、内存等使用状况

 

l fio测试

fio --name=test --output=8krw --thread --rw=randwrite --bs=8k --ioengine=libaio --iodepth=64 --numjobs=1 --filename=/dev/sdb1 --direct=1 --time_based --runtime=7200  --allow_mounted_write=1  --group_reporting

[块设备随机写操做]

	bw（MB/s）	Iops(每秒的读写速度)
randwrite	74.25	9503

 

[块设备随机读操做]

	bw（MB/s）	Iops(每秒的读写速度)
randread	107.83	13802

 

客户端的系统使用状况

[CPU使用状况（idle）]

随机写：

 

随机读：

 

[内存使用状况]

随机写：

 

随机读：

 

测试结果分析：业务服务器的cpu消耗在10%到25%之间，内存最大达到7G（内存8G）左右，网络最大达到35Kbps（几乎对客户端网络影响不大）

l 服务端的系统使用状况

[固态盘使用状况]

初始ssd的使用率7%，随机写的过程当中17%，随机写操做完成ssd使用率降低到10%

[SATA盘的使用状况]

初始使用率是28.61%，随机写操做完成以后使用率是28.61%

[CPU变化状况]

ceph服务器CPU变化图（随机写）：

 

随机读:

 

[内存利用率]

ceph服务器内存变化图（随机写）：

 

随机读：

 

测试结果分析：ssd在整个磁盘中只是作缓存，数据不是永久在上面，最终的数据都会写到SATA盘中。服务端的CPU消耗对于网关服务器来讲最高达到80%左右，其余服务器最大达到70%左右。服务端的内存基本没消耗。

二、从ceph集群中建立5个1T的块设备空间，将分出的磁盘空间挂载到5个不一样物理机建立的虚拟机

A、利用fio工具测试挂载设备的读写速度

B、利用zabbix监控获得虚拟机的系统使用状况（CPU、内存等）

C、利用ceph服务器的ceph命令获得SSD盘和SATA盘的使用状况，利用ceph集群监控页面查看集群的CPU、内存等使用状况

--对照组：1台虚拟机和5台虚拟机性能对照

--读写方式：随机IO

 

l fio测试

[块设备随机写操做]

	bw（MB/s）	Iops(每秒的读写速度)
randwrite	35.96	4602

 

[块设备随机读操做]

	bw（MB/s）	Iops(每秒的读写速度)
randread	102.33	13098

 

测试结论分析：

l 客户端的系统使用状况

[CPU使用状况]

随机写

 

[内存使用状况]

随机写

 

测试结论分析：五台客户端服务器的cpu消耗最大达到50%；内存最大达到7.5G左右；网络最大达60Kbps左右。

l 服务端的系统使用状况

[固态盘使用状况]

2%-74%

[SATA盘的使用状况]

28.61%-31.48%

[CPU变化状况]

网关服务器会比其余服务器的cpu使用率更高

 

[内存利用率]

 

测试结果分析：ssd在整个磁盘中只是作缓存，数据不是永久在上面，最终的数据都会写到SATA盘中。服务端的CPU消耗对于网关服务器来讲最高达到80%左右，其余服务器最大达到70%左右。服务端的内存基本没消耗。

 

[ceph集群移除节点状态测试]

 

--测试方法：

一、从ceph集群中建立一个1T的块设备，将该设备挂载到虚拟机，移除集群中的一个节点（移除04节点）

A、利用fio工具测试挂载设备的读写速度

B、利用zabbix监控获得虚拟机的系统使用状况（CPU、内存等）

C、 利用ceph服务器的ceph命令获得SSD盘和SATA盘的使用状况，利用ceph集群监控页面查看集群的CPU、内存等使用状况

 

l fio测试

[块设备随机写操做]

	bw（MB/s）	Iops(每秒的读写速度)
randwrite	38.35	4909

 

[块设备随机读操做]

	bw（MB/s）	Iops(每秒的读写速度)
randread	91	11648

测试结论分析：一个节点移除，随机写性能会降低50%左右，随机读性能降低16左右。

l 客户端的系统使用状况

[CPU使用状况]

 

[内存使用状况]

 

测试结论分析：客户端CPU最高达到17%；内存会在瞬间上升，以后恢复到以前的低消耗；客户端的网络几乎没什么消耗。

l 服务端的系统使用状况

[固态盘使用状况]

52%

[SATA盘的使用状况]

32.01%

[CPU变化状况]

 

[内存利用率]

 

测试结论分析：服务端的CPU利用率最高到达52.96%，内存利用率几乎没什么消耗。