Python Locust性能测试框架实践

[本文出自天外归云的博客园]

Locust的介绍

Locust是一个python的性能测试工具，你能够经过写python脚本的方式来对web接口进行负载测试。

Locust的安装

首先你要安装python2.6以上版本，并且有pip工具。以后打开命令行，分别安装locustio和pyzmq（命令以下）：

pip install locustio
pip install pyzmq

以后咱们就能够写性能测试脚本了。

PS：若是是python3，不能使用pip安装目前。须要在github上下载locust项目包到本地，而后在包路径下执行命令安装：

python setup.py install

Locust脚本编写

接下来咱们拿两个接口作一下测试，编写脚本以下（每一步都有注释）。我来解释一下，首先咱们要import进来三个类，分别是HttpLocust（用来模拟发请求的类）、TaskSet（顾名思义，任务集）、task（任务类）。额外的，为了方便观察接口测试的执行结果，我引入了json类用来解析web接口的返回值。我还引入了subprocess类用来执行一下shell命令，自启动Locust。这里有三个类，一个是UserBehavior（名字随便起，但传入TaskSet参数，说明这是一个包含了任务集的类），里面on_start函数无关紧要，他会先于全部task函数运行。剩下被@task装饰器装饰的方法都是任务方法，里面包含了待请求的接口等信息，传入的参数表明了权重，以下所示两个被@task装饰的方法分别传入1和2，这意味着每3我的里有两我的会有1个模拟用户执行list_header方法，2个模拟用户执行list_goods方法。这个参数你也能够不传入，那就意味着模拟用户会随机访问全部被@task装饰的方法。这里面我对于每一个接口的返回值都作了一下判断，首先将返回的字符串转成json格式并获取返回字段result的值，若是不是100就用Locust自带的报错方法打印出错信息；另两个类是HttpLocust类（仍然是名字随便起但传入参数必须得是HttpLocust），是用来模拟用户的类，包含了一些模拟用户信息，其中task_set变量的值用来指定模拟用户所对应要完成的TaskSet类中包含的请求，min_wait和max_wait（最小等待时间和最大等待时间用来模拟用户每两步操做之间的间隔时间，这里也就是模拟用户每执行两个请求之间所间隔的时间）。对Locust类咱们能够指定权重，对weight变量的值进行指定。以下所示，两个Locust类的权重分别为1和3，这意味着两个Locust类的模拟用户人数为1:3的关系。最后我加了一个main函数用来执行shell命令，这个shell命令也能够再也不本文件中执行，若是写在脚本中的话，直接在命令行中调用该python文件便可，若是不写在脚本中（注释掉最后两行），则须要在命令行终端里对Locust项目进行启动。

from locust import HttpLocust,TaskSet,task
import subprocess
import json

#This is the TaskSet class.
class UserBehavior(TaskSet):
    #Execute before any task.
    def on_start(self):
        pass

    #the @task takes an optional weight argument.
    @task(1)
    def list_header(self):
        r = self.client.get("/homepage/list_header.html")
        if json.loads((r.content))["result"] != 100:
            r.failure("Got wrong response:"+r.content)

    @task(2)
    def list_goods(self):
        r = self.client.get("/homepage/list_goods.html")
        if json.loads((r.content))["result"] != 100:
            r.failure("Got wrong response:"+r.content)

#This is one HttpLocust class.
class WebUserLocust(HttpLocust):
    #Speicify the weight of the locust.
    weight = 1
    #The taskset class name is the value of the task_set.
    task_set = UserBehavior
    #Wait time between the execution of tasks.
    min_wait = 5000
    max_wait = 15000

#This is another HttpLocust class.
class MobileUserLocust(HttpLocust):
    weight = 3
    task_set = UserBehavior
    min_wait = 3000
    max_wait = 6000

#if __name__ == '__main__':
#    subprocess.Popen('locust -f .\locust_test_1.py --host=http://api.g.caipiao.163.com', shell=True)

Locust的启动

对Locust项目的启动，咱们能够在命令行终端中执行如下命令：

locust -f .\locust_test_1.py --host=http://api.g.caipiao.163.com

这里的“-f”指定了要执行的python文件路径，“--host”指定了模拟用户请求接口的host名。执行该命令，Locust项目就启动了。若是遇到下面的错误，注意[Errorno 10048]那行，能够看出端口8089被占用致使Locust项目启动失败，这里咱们须要找到对应占用了8089端口的进程并杀掉：

为了检测占用端口的进程我写了一个PowerShell小脚本：

function checkPid($result,$port){
    $port = $port.split(":")[1]
    if(($result.split())[6].split(":")[($result.split())[6].split(":").Count-1] -eq $port){
        $tPid = ($result.split())[($result.split()).count-1]
        if($tPid -ne "0"){
            Write-Host "您查询的端口被如下程序占用：" -ForegroundColor Red
            $target = tasklist|findstr $tPid
            Write-Host $target
            $sig = $true
        }else{
            $sig = $false
        } 
    }else{
        $sig = $false
    }
    $sig
}
function checkPort($port){
    $port = ":" + $port
    $results = netstat -ano|findstr $port
    if($results.count -gt 0){
        if($results.count -eq 1){
            $sig = checkPid $results $port
            if($sig -eq $false){
                Write-Host "您所查询的端口未被占用！" -ForegroundColor Green
            }
        }else{
            foreach($result in $results){
                if($result){
                   $sig = checkPid $result $port
                   if($sig -eq $true){
                       break
                   }
                }
            }
            if($sig -eq $false){
                Write-Host "您所查询的端口未被占用！" -ForegroundColor Green        
            }
        }
    }else{
        Write-Host "您所查询的端口未被占用！" -ForegroundColor Green
    }
}
$port = $null
while($port -ne "exit()"){
    $port = Read-Host "请输入要查询的端口号"
    if($port -eq "exit()"){
        break
    }
    checkPort $port
}

运行该脚本，输入端口号8089咱们能够看出python.exe进程占用了该端口号：

而后咱们在PowerShell中杀掉该进程，再启动Locust项目，就成功了（以下）：

接下来就能够在浏览器中访问咱们的locust页面来完成负载测试了，若是不想经过浏览器来设置完成负载测试，纯粹命令行模式也是支持的，输入如下命令：

locust -f .\locust_test_1.py --host='http://api.winyyg.com' --no-web -c 1000 -r 10 -n 1000

接下来负载测试就会自动执行，按“ctrl+c”结束负载测试：

对于命令行中的参数的解释：--no-web是用来选择无浏览器模式，-c后面接的是模拟用户数，-r后面接的每秒模拟用户并发数，-n后面接的是模拟请求数。

Locust负载测试

在浏览器中输入“http://localhost:8089/”访问，会看到以下页面：

这里咱们按提示输入要模拟的用户总数和每秒钟并发的用户数量，点击“Start swarming”就能够运行负载测试了：

点击“STOP”按钮中止负载测试，如今STATUS为“STOPPED”，点击“New test”能够进行一个新的测试：

从上图能够看出在Statistics标签下列出了一些性能相关的测试结果，好比总的请求数量、请求失败的个数、每秒钟的请求数、最小\最大响应时间、平均响应时间等。右上角显示了请求失败率和总的RPS（每秒钟请求数）。对应在Statistic右侧的Failures、Exceptions、Download Data标签下咱们分别能够查看失败的请求、捕获的异常以及下载测试结果。这里不作过多介绍了，能够实际应用看一下。若是想深刻的了解Locust性能测试框架，去官网上看看吧。