ceph jewel手动编译安装的一些优化

1、手动安装ceph。

    根据http://my.oschina.net/linuxhunter/blog/682013，手动安装jewel版本ceph到硬件服务器。

2、测试ceph集群的方法。

    使用ceph自带的rados bench命令简单测试手动搭建ceph集群的性能，查看系统性能的工具使用perf命令。因为默认安装的ubuntu环境没有安装perf工具及其依赖，全部要手动安装perf工具。#apt-get install perf linux-tools-4.4.0-21-generic。安装完成后启用两个终端分别运行#perf top命令和#rados banch -p test_rbd 60 write --no-cleanup命令。

3、发现的问题。

    在运行#perf top命令的终端上发现ceph-osd在调用ceph_crc32_sctp这个函数上占用了35%的CPU时间，而此时集群的压力并不大，所以决定从源代码上找找ceph_crc32_sctp为何占用那么多的CPU时间。

    ceph_crc32_sctp这个函数位于src/common/sctp_crc32.c这个文件中，只有ceph_choose_crc32函数调用ceph_crc32_sctp函数。分析ceph_choose_crc32这个函数不难发现，该函数根据当前CPU的架构来选择计算crc32的方法。若CPU是intel的CPU且支持sse4指令集，则使用硬件计算crc32值(调用ceph_crc32_intel_fast函数)，不然使用软件计算crc32值(调用ceph_crc32_sctp函数)。咱们使用的CPU是intel Xeon 2560 v2，固然支持sse4指令集。

4、解决问题的方法。

    要想让ceph支持硬件计算crc32值，就的在编译ceph的时候安装yasm工具包，使得ceph能够正确经过汇编语句访问硬件。所以须要手动安装yasm工具包，即：#apt-get install yasm。以后按照http://my.oschina.net/linuxhunter/blog/682013从新手动编译并安装ceph。

5、优化结果。

    基于yasm工具包编译后的ceph，再通过rados bench测试后发如今perf top中ceph-osd进程中crc32_iscsi_00函数占用8%左右的CPU时间，而crc32_iscsi_00函数正是被ceph_crc32_intel_fast函数所调用。所以基于yasm编译后的ceph会充分利用硬件CPU特性来计算crc32的值，所以cpu占用率会降低不少，从35%降低到8%。