性能测试各性能指标

一.系统吞度量要素:数据库

  一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。服务器

单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。网络

系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间session

        QPS(TPS):每秒钟request/事务 数量架构

        并发数: 系统同时处理的request/事务数并发

        响应时间:  通常取平均响应时间数据库设计

(不少人常常会把并发数和TPS理解混淆)函数

理解了上面三个要素的意义以后,就能推算出它们之间的关系:性能

QPS(TPS)= 并发数/平均响应时间测试

        一个系统吞吐量一般由QPS(TPS)、并发数两个因素决定,每套系统这两个值都有一个相对极限值,在应用场景访问压力下,只要某一项达到系统最高值,系统的吞吐量就上不去了,若是压力继续增大,系统的吞吐量反而会降低,缘由是系统超负荷工做,上下文切换、内存等等其它消耗致使系统性能降低。

决定系统响应时间要素

咱们作项目要排计划,能够多人同时并发作多项任务,也能够一我的或者多我的串行工做,始终会有一条关键路径,这条路径就是项目的工期。

系统一次调用的响应时间跟项目计划同样,也有一条关键路径,这个关键路径是就是系统影响时间;

关键路径是有CPU运算、IO、外部系统响应等等组成。

二.系统吞吐量评估:

咱们在作系统设计的时候就须要考虑CPU运算、IO、外部系统响应因素形成的影响以及对系统性能的初步预估。

而一般境况下,咱们面对需求,咱们评估出来的出来QPS、并发数以外,还有另一个维度:日PV。

经过观察系统的访问日志发现,在用户量很大的状况下,各个时间周期内的同一时间段的访问流量几乎同样。好比工做日的天天早上。只要能拿到日流量图和QPS咱们就能够推算日流量。

一般的技术方法:

        1. 找出系统的最高TPS和日PV,这两个要素有相对比较稳定的关系(除了放假、季节性因素影响以外)

        2. 经过压力测试或者经验预估,得出最高TPS,而后跟进1的关系,计算出系统最高的日吞吐量。B2B中文和淘宝面对的客户群不同,这两个客户群的网络行为不该用,他们之间的TPS和PV关系比例也不同。

A)淘宝

淘宝流量图:

系统吞吐量评估方法

淘宝的TPS和PV之间的关系一般为  最高TPS:PV大约为 1 : 11*3600 (至关于按最高TPS访问11个小时,这个是商品详情的场景,不一样的应用场景会有一些不一样)

B) B2B中文站

B2B的TPS和PV之间的关系不一样的系统不一样的应用场景比例变化比较大,粗略估计在1 : 8个小时左右的关系(09年对offerdetail的流量分析数据)。旺铺和offerdetail这两个比例相差很大,多是由于爬虫暂的比例较高的缘由致使。

在淘宝环境下,假设咱们压力测试出的TPS为100,那么这个系统的日吞吐量=100*11*3600=396万

这个是在简单(单一url)的状况下,有些页面,一个页面有多个request,系统的实际吞吐量还要小。

不管有无思考时间(T_think),测试所得的TPS值和并发虚拟用户数(U_concurrent)、Loadrunner读取的交易响应时间(T_response)之间有如下关系(稳定运行状况下):
TPS=U_concurrent / (T_response+T_think)。

并发数、QPS、平均响应时间三者之间关系

系统吞吐量评估方法

来源:http://www.cnblogs.com/jackei/

软件性能测试的基本概念和计算公式

1、软件性能的关注点

对一个软件作性能测试时须要关注那些性能呢?

咱们想一想在软件设计、部署、使用、维护中一共有哪些角色的参与,而后再考虑这些角色各自关注的性能点是什么,做为一个软件性能测试工程师,咱们又该关注什么?

首先,开发软件的目的是为了让用户使用,咱们先站在用户的角度分析一下,用户须要关注哪些性能。

对于用户来讲,当点击一个按钮、连接或发出一条指令开始,到系统把结果已用户感知的形式展示出来为止,这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是咱们所说的响应时间,当相应时间较小时,用户体验是很好的,固然用户体验的响应时间包括我的主观因素和客观响应时间,在设计软件时,咱们就须要考虑到如何更好地结合这两部分达到用户最佳的体验。如:用户在大数据量查询时,咱们能够将先提取出来的数据展现给用户,在用户看的过程当中继续进行数据检索,这时用户并不知道咱们后台在作什么。

用户关注的是用户操做的相应时间。

其次,咱们站在管理员的角度考虑须要关注的性能点。

一、 相应时间
二、 服务器资源使用状况是否合理
三、 应用服务器和数据库资源使用是否合理
四、 系统可否实现扩展
五、 系统最多支持多少用户访问、系统最大业务处理量是多少
六、 系统性能可能存在的瓶颈在哪里
七、 更换那些设备能够提升性能
八、 系统可否支持7×24小时的业务访问

再次,站在开发(设计)人员角度去考虑。

一、 架构设计是否合理
二、 数据库设计是否合理
三、 代码是否存在性能方面的问题
四、 系统中是否有不合理的内存使用方式
五、 系统中是否存在不合理的线程同步方式
六、 系统中是否存在不合理的资源竞争

那么站在性能测试工程师的角度,咱们要关注什么呢?

一句话,咱们要关注以上全部的性能点。

2、软件性能的几个主要术语

一、响应时间:对请求做出响应所须要的时间

网络传输时间:N1+N2+N3+N4

应用服务器处理时间:A1+A3

数据库服务器处理时间:A2

响应时间=N1+N2+N3+N4+A1+A3+A2

二、并发用户数的计算公式

系统用户数:系统额定的用户数量,如一个OA系统,可能使用该系统的用户总数是5000个,那么这个数量,就是系统用户数。

同时在线用户数:在必定的时间范围内,最大的同时在线用户数量。
同时在线用户数=每秒请求数RPS(吞吐量)+并发链接数+平均用户思考时间

平均并发用户数的计算:C=nL / T

其中C是平均的并发用户数,n是平均天天访问用户数(login session),L是一天内用户从登陆到退出的平均时间(login session的平均时间),T是考察时间长度(一天内多长时间有用户使用系统)

并发用户数峰值计算:C^约等于C + 3*根号C

其中C^是并发用户峰值,C是平均并发用户数,该公式遵循泊松分布理论。

三、吞吐量的计算公式

指单位时间内系统处理用户的请求数

从业务角度看,吞吐量能够用:请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量

从网络角度看,吞吐量能够用:字节/秒来衡量

对于交互式应用来讲,吞吐量指标反映的是服务器承受的压力,他可以说明系统的负载能力

以不一样方式表达的吞吐量能够说明不一样层次的问题,例如,以字节数/秒方式能够表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈;已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。

当没有遇到性能瓶颈的时候,吞吐量与虚拟用户数之间存在必定的联系,能够采用如下公式计算:F=VU * R /

其中F为吞吐量,VU表示虚拟用户个数,R表示每一个虚拟用户发出的请求数,T表示性能测试所用的时间

四、性能计数器

是描述服务器或操做系统性能的一些数据指标,如使用内存数、进程时间,在性能测试中发挥着“监控和分析”的做用,尤为是在分析通通可扩展性、进行新能瓶颈定位时有着很是关键的做用。

资源利用率:指系统各类资源的使用状况,如cpu占用率为68%,内存占用率为55%,通常使用“资源实际使用/总的资源可用量”造成资源利用率。

五、思考时间的计算公式

Think Time,从业务角度来看,这个时间指用户进行操做时每一个请求之间的时间间隔,而在作新能测试时,为了模拟这样的时间间隔,引入了思考时间这个概念,来更加真实的模拟用户的操做。

在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每一个用户发出的请求数R和时间T的函数,而其中的R又能够用时间T和用户思考时间TS来计算:R = T / TS

下面给出一个计算思考时间的通常步骤:

A、首先计算出系统的并发用户数

C=nL / T F=R×C

B、统计出系统平均的吞吐量

F=VU * R / T R×C = VU * R / T

C、统计出平均每一个用户发出的请求数量

R=u*C*T/VU

D、根据公式计算出思考时间

TS=T/R