性能测试用例、策略和方法

1、测试用例算法

不管是功能测试仍是性能测试,执行用例时候都有优先级之分,对于性能测试来讲,优先级能够这样划分:数据库

①.重要的(业务场景中的核心)安全

②.重复的(用户使用频率最高的)服务器

③.重量级的(消耗大量系统资源的)网络

设计性能测试用例的简要过程:并发

一、具体的性能指标分为如下几类:工具

①.系统容量(数据容量、用户量、用户并发量)性能

②.系统并发度指标(注册用户、在线用户、并发用户)学习

③.响应度指标(正常压力下响应能力、峰值压力下响应能力、异常压力下的响应能力)测试

二、熟悉而且理解整个系统的业务逻辑、实现原理,而后进行需求拆分,获得性能测试需求点

三、多个渠道获得具体性能要求,分析评估风险,优先级,是否进行测试等

四、编写性能测试方案和用例,并进行评审经过,而后执行

PS:一些性能测试的测试点

a.查询 b.保存 c.统计 d.刷新 e.显示 f.传输 g.响应 h.下载

举个例子:打开网络上其余媒介的文件,在网络拥堵的状况下打开执行相关操做,主要测试点以下:

①.数据量小的时候主要执行查询统计刷新等功能点

②.数据量累计到必定程度时的查询统计刷新时间(必定程度:根据实际状况与需求来肯定范围)

 

2、常见的基础性能测试

一、安全可靠性测试

①.用户权限限制:对不一样用户权限的限制状况

②.用户和密码封闭性:对相应用户和密码进行次数限制

③.屏蔽用户操做错误:对用户常见操做错误的提示和屏蔽状况

④.错误提示的准确性:对用户的错误提示的准确度

⑤.错误是否致使系统异常退出:有无操做错误引发系统异常退出的状况

⑥.数据备份和恢复手段:系统是否提供备份及恢复功能,备份手段具体如何,是否对备份数据进行加密、压缩等

⑦.输入数据有效性检查:对录入系统的数据进行有效性检查

⑧.留痕功能:系统是否有操做日志,日志记录的操做状况的全面性和准确性,是否含有主要要素

⑨.异常状况的影响:程序运行过程当中进行掉电掉网等测试,考察数据和系统的受影响程度,若受损,是否有补救措施等

⑩.数据传输安全性:对有特殊要求的数据传输,对其进行必要的加密处理,使用的算法等

二、资源占用率测试

①.软件安装所占用的硬盘空间:检查软件安装所占用的硬盘空间

②.模块装载后内存占用量:检查模块装载后内存占用量(包括虚拟内存)

③.模块卸载后内存释放量:检查模块卸载后内存释放率(包括虚拟内存)

三、兼容性测试

①.软件兼容:测试软件安装运行的适用平台

②.硬件兼容:硬件平台的配置要求

四、易用性测试

①.易安装性:安装难易程度,是否符合当前流行的,易被接受的安装模式

②.用户界面友好性:界面的简洁程度等

③.易学性:相对用户使用者而言,学习使用的难度,对操做人员的要求等

④.易操做性:操做的难易程度

⑤.联机帮助丰富性:检查联机操做的准确性、全面性,以及关键操做时使用联机帮助的方便性

五、用户文档测试

①.用户手册的完整程度:用户手册内容的全面性、完整性

②.用户手册描述与软件实际功能的一致性:手册与软件实际功能的一直程度

③.用户手册的易理解程度:用户手册对重要操做

④.用户手册提供的学习操做示例:对主要功能和关键操做提供的应用实例有多少,实例的详细程度

六、效率测试

①.通讯效率:网络负载、吞吐率、利用率、响应时间、延迟等

②.设备效率:CPU占用率、内存占用率、磁盘占用率、输入输出效率等,包括软件不工做状态下对硬件资源的占用状况和进行业务处理过程当中对硬件资源的占用状况

③.执行效率:典型业务场景的执行效率,例如关键的查询、统计等响应时间等

七、可扩展性测试

①.与异种数据接口:有无与其余数据的接口

②.是否能扩展功能模块:可否根据用户要求扩展功能模块

 

3、常见的进阶性能测试

一、并发性能测试

并发测试的过程,是一个负载测试和压力测试的过程。即逐渐增长负载,直到系统的瓶颈或者不能接收的性能点,经过综合分析执行指标和资源监控指标来肯定系统并发性能的过程

测试案例:例如:中间件应能知足必定数量的客户端同时办公的须要

测试内容与监控指标:(负载压力测试;模拟不一样数量并发用户测试)

模拟不一样数量并发用户执行关键业务,测试至系统可以承受的最大并发用户数。

主要监控指标以下:

● 每分钟事务处理数(Transaction Rate):不一样负载下每分钟成功完成的事务处理数;

● 响应时间(Response Time):服务器对每一个应用请求  

● Mean:平均的服务器响应时间;

● Max:最大的服务器响应时间;

● StdDev:事务处理服务器响应的误差,值越大,误差越大;

● Median:中值响应时间;

● 90%:90%事务处理的服务器响应时间

● 虚拟并发用户数(Total Virtual Users):测试工具模拟的用户并发数量。

二、系统资源监控

在进行负载压力测试的同时,用测试工具对数据库服务器、Web服务器、应用服务器、认证及受权服务器上的操做系统、数据库以及中间件等资源进行监控。

监控系统资源指标,在测试中,根据测试需求以及测试环境的变化,选取有意义的数据进行分析。

三、大数据量

例如:考虑系统将来发展须要的存储空间,添加大数据量测试。

主要包括两方面内容:

①.单独的数据量测试;

②.与并发性能测试相结合的综合测试。

测试数据的准备借助于测试数据管理与生成工具,例如FileAid。

四、速度

例如:磁盘访问速度、备份速度以及网络办公系统运行速度等(人工测试)

五、疲劳测试

一般是采用系统稳定运行状况下可以支持的最大并发用户数,持续执行一段时间业务,经过综合分析执行指标和资源监控指标来肯定系统处理最大工做量强度性能的过程。

 

4、性能测试指标 

通常有2种形式描述:产品需求指标和系统的性能指标。

一、产品需求指标

①.给出产品性能的主要指标,如在100000记录中查询一个特定数据的时间为0.5秒;

②.以某个已发布的版本为基线,如比上一个版本的性能提升30-50%;

③.和竞争对手的同类产品比较。

二、系统的性能指标

①.CPU利用率;

②.内存占用率;

③.磁盘I/O ;

④.响应时间。

 

5、性能测试的策略

性能测试策略通常从需求设计阶段开始讨论制定,策略的内容决定着性能测试工做投入多少资源、什么时间开始实施等后继工做如何安排。制定性能测试的策略的因素:

一、预期的指标性能的因素

系统在需求分析、设计阶段和产品说明书等文档中明确的提出都性能指标,这些指标是性能测试要完成的工做。

二、独立业务性能测试的因素

独立业务主要是指软件产品的模块具备独立业务功能,在需求阶段就能够肯定,要单独测试其性能。

三、业务性能组合测试的因素

应用类软件系统一般不会使全部的用户只使用一个或者几个核心业务模块,多是对多个业务进行组合使用,对多个业务进行组合性能测试。因为组合业务测试是最能反映

用户使用系统状况,于是业务性能组合测试是测试的核心内容。

四、疲劳强度性能测试

疲劳强度测试是在系统稳定运行下模拟较大的用户数量、并长时间运行系统的测试,经过综合分析执行指标和资源监控来肯定系统处理最大业务量时的性能,主要目的是为了测试系统的稳定性。

五、大数据量性能测试的因素

大数据量测试是为了测试系统的业务处理能力进行的。第一种是针对某些系统存储、传输、统计查询等业务进行大数据量的测试,主要是测试数据增多时的性能状况;

第二种是极限状态下数据测试,主要指系统数据量达到必定程度时,经过性能测试来评估系统的响应状况,测试对象是某些核心业务或者平常经常使用的组合业务。

六、网络性能测试的因素

网络性能测试主要是为了准确展现带宽、延迟、吞吐量、负载、瓶颈和端口的变化是如何影响用户的响应时间的。重点测试吞吐量指标,由于80%的系统性能瓶颈由吞吐量形成。

 

6、性能测试的方法

性能测试方法主要有:能力验证、规划性能、性能调优、压力加载、性能降低曲线分析。

一、能力验证

 能力验证强调:系统具有的硬件设备、软件环境、网络条件、基础数据。能力验证使用到可靠性测试、压力测试、失效恢复测试 。

二、规划性能

 规划性能关心的是要求系统具备的性能,强调系统配置,使系统可以知足增加的用户数的须要等问题。规划性能使用到负载测试、配置测试、压力测试。

三、性能调优

性能调优关心的是要求系统肯定基准环境、基准负载和基准性能指标;调整系统运行环境和实现方法;记录测试结果、进行测试分析。

四、压力加载

压力加载强调:

①.稳定压力加载。一次性将负载加到某个水平,持续一段时间; 

②.逐渐加载或交替加载到某个负载水平; 

③.峰谷测试。肯定从系统高峰时间的负载转为几乎空闲、再攀升到高负载这样峰值交替状况下的系统性能状态/指标。

5. 性能降低曲线分析 

性能降低曲线分析关心的是性能随着用户数的增长而出现降低趋势的曲线分析、查看性能降低的环境点与上下文。肯定性能阀值。性能曲线经过单用户区域、

性能平坦区域、压力区域、性能拐点进行监控和分析。