[数据库]000 - 🍳Sysbench 数据库压力测试工具

000 - 🍳Sysbench 数据库压力测试工具

  • sysbench 是一个开源的、模块化的、跨平台的多线程性能测试工具,能够用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQLOraclePostgreSQL。如下操做都将以支持MySQL数据库为例进行。

1. Linux 上安装 sysbench 工具

  • 安装方式有两种,一种是经过 yum/apt 等来安装,另外一种本身下载源码包来安装,笔者这里采用的是centos ,采用yum 安装
  • sysbench 的源码包下载地址: http://sourceforge.net/projects/sysbench ,采用源码安装的可转这里
  • 经过 yum 安装以下:mysql

    • 设置 yum repo 仓库
curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash
  • 安装
sudo yum -y install sysbench
  • 安装完检查是否成功
sysbench --version

image.png

2. 数据库测试用例准备

  • 咱们这里测试的是 MySQL ,首先咱们在数据库建立一个专门用来测试的库 test_db

image.png

  • 经过sysbench 建立20个测试表,每一个表中建立100万数据,再经过10个线程对测试库发起访问,持续5分钟,对其进行压测

3. sysbench 构建表与数据

  • 执行下面命令准备数据
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare
  • 上面命令的参数说明:sql

    • --db-driver=mysql : 表示数据库的驱动类型,咱们使用的是 MySQL 因此填mysql ,若是使用 Oracle 则填写相应的oracle
    • --time=300 : 这个参数表示持续访问的时间 300秒
    • --threads=10 : 表示使用10个线程模拟并发访问
    • --report-interval=1 : 表示每隔一秒输出以此压测状况
    • --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root : 这一块的配置,就是基本的数据库连接信息,指定数据库IP ,端口,帐号密码
    • --mysql-db=test_db --tables=20 --table_size=1000000 : 这三个参数设置,表示指定测试的库为test_db , 同时在这个库中构建20个表,而且每一个表中构建出 100万条测试数据,表的名字会相似 sbtest1,sbtest2 这种格式
    • oltp_read_write : 表示执行oltp 数据库的读写测试
    • --db-ps-mode=disable : 禁止 ps 模式
    • prepare : 表示按照命令设置去构建出咱们的数据,也就是对前面全部命令的执行方案

4. 全方位测试

1. 综合读写测试
  • 测试数据库的综合读写TPS ,使用 oltp_read_write 模式
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run
注意:命令最后再也不是 以前的 prepare,这里是 run ,表示运行压测,前面的是准备数据
  • 效果

image.png

  • 上面是直接输出到控制台,咱们也能够将其所有记录在文件中,经过管道,| tee /tmp/mysysbench.log 整个命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run | tee /tmp/mysysbench.log
2. 只读性能测试
  • 测试数据库的只读性能,使用 oltp_read_only 模式,命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run
  • 结果:

image.png

  • 若是要输出到文件如上
3. 删除性能测试
  • 测试数据库的删除性能,使用模式:oltp_delete ,命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run
4. 更新索引字段测试
  • 测试数据库的更新索引字段的性能,使用模式:oltp_update_index , 命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run
5. 更新非索引字段测试
  • 测试数据库中更新非索引字段的性能,使用模式:oltp_update_non_index, 命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run
6. 插入性能测试
  • 测试数据库的数据插入性能,使用模式:oltp_insert,命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run
7. 写入性能测试
  • 测试数据库的写入性能,使用模式:oltp_write_only, 命令以下:
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run
8. 清理数据
  • 前面命令进行了各类测试,在测试完以后咱们能够经过下面的 cleanup 命令来清除构建的测试数据
sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

9. 压测结果分析

  • 经过上面的命令咱们能够全方位的获得测试的结果,咱们直接每一个一秒输出一次结果,在控制台会输出相似下面的东西:
[ 31s ] thds: 10 tps: 350.35 qps: 5575.50 (r/w/o: 4874.81/0.00/700.69) lat (ms,95%): 36.89 err/s: 0.00 reconn/s: 0.00
  • 咱们来解释一下其中的含义,首先[31s] 表示这是在第31秒的时候输出的一段压测统计结果,其余字段以下:数据库

    • thds:10 : 表示当前有10个线程正在压测
    • tps:350.35 : 表示当前每秒执行了 350.35 个事务
    • qps:5575.50: 表示当前每秒能够执行 5575.50 个请求
    • (r/w/o: 4874.81/0.00/700.69) : 表示在每秒 5575.50 个请求中,有 4874.81 个读请求,0.00 个写请求,700.69 个其余请求,其实就是对 qps 的细化
    • lat (ms,95%): 36.89:表示 95% 的请求的延迟都在36.89 毫秒如下
    • err/s: 0.00 reconn/s: 0.00:表示有0个请求失败,发生了0次的网络重连
  • 在压测结束后会输出一个总的压测结果,以下:

image.png

  • 其中的参数的解释:

image.png

10. 经常使用监控命令

  • 在压测过程当中咱们要时刻关注服务器的 CPU 、磁盘I/O 、网络负载等信息,一旦发现任何一个超出必定负荷,则不适合再继续加大线程数来压测了
  • 必定要注意,压测的过程是要保证机器各项指标在正常范围内的最大负载,而不是咱们不断的增大 sysbench 的线程数,不关系其余指标,这样即便机器每秒抗住了很高的qps ,可是这时候的机器已是满负荷运行了,内存,cpu,网络带宽等都几乎被打满,这种状况机器随时可能挂掉,这时候的测压就没有什么表明性了,由于你不可能在生产者让它达到这样的负荷
观察 CPU 的的负荷
  • Linux下最多见的命令就是top 命令,能够输出详细的状况,以下:

image.png

  • 对于上面的输出,咱们详细来分析一下,首先看第一行的输出
top - 16:24:21 up 13:41, 4 users, load average: 0.11, 3.10, 3.72
    • 16:24:21 : 表示当前的时间
    • up 13:41:表示已经运行了多长时间
    • 4 users:当前机器有几个用户在使用
    • load average: 0.11, 3.10, 3.72:这是核心。表示 CPU 在 一分钟、五分钟、十五分钟 内的平均负载状况,简单解释一下,假设咱们是一个四核的CPU ,此时若是咱们的CPU 负载是 0.15 ,那么表示这四个核心中连一个核心都没使用满,代表总体比较空闲;若是整个负载是1,则表示四个核中有一个已经使用的比较繁忙了,可是其余三个仍是比较空闲的;若是负载是4,则说明当前四个核心都处于跑满的状态,若是负载大于四,假设6,那说明四核的CPU 被超负荷使用也没法处理完当前的任务,有不少线程与要等待CPU 资源
    • 后面有内存的使用状况,
    KiB Mem : 498684 total, 6216 free, 366620 used, 125848 buff/cache
    • 498684 total : 总的内存,差很少 490M
    • 6216 free:当前可用内存,6M
    • 366620 used:已使用内存
    • 125848 buff/cache:用于IO 缓冲的内存
    磁盘IO检测
    • 在检测CPU 和内存使用的同时,咱们还须要检测磁盘的使用情况,包括IO 吞吐量,IOPS 等信息
    • 主要经过 dstat 命令来查看,若是系统没有装能够经过 yum install dstat 进行安装
    • 执行 dstat -d 命令,能够看到以下:

    image.png

    上面显示的内存能够看到存储的IO吞吐量的详细数据,每秒读 19M数据,每秒写 6521K的数据,这个吞吐量并非很高,通常普通的机械硬盘能够到达上百 MB的读写量
    • 使用命令 dstat -r 来查看IOPS 的状况,以下:

    image.png

    如上面结果能够看到,读写分别的 IOPS 的值, 也就是说随即磁盘读取/写入每秒多少次,一般来讲磁盘的读写每秒在两三百次是可接受的
    网卡流量检测
    • 一样咱们能够经过 dstat -n 来查看网卡的具体流量状况,以下:

    image.png

    能够看到上面所示,网卡每秒接收和发送的数据量。一般来讲若是咱们电脑是千兆网卡,那么每秒钟网卡的总流量也就在 100M 左右,甚至更低

    本文由AnonyStar 发布,可转载但需声明原文出处。
    欢迎关注微信公帐号 :云栖简码 获取更多优质文章
    更多文章关注笔者博客 : 云栖简码 i-code.online
    相关文章
    相关标签/搜索