性能测试之需求开发

如下内容大多来自jackei的博客，只是整理了下，增长了本身的理解。

一个实际的例子：

 某证券行业系统中某个业务的实际需求

        一、系统总容量达到日委托6000万笔，成交9000万笔

       二、 系统处理速度每秒7300笔，峰值处理能力达到每秒10000笔

        三、实际股东账号数3000万

 从上面例子中能够看出几个明确的需求：

        一、最佳并发用户数需求：每秒7300笔

        二、最大并发用户数需求：峰值处理能力达到每秒10000笔         

        三、基础数据容量：实际股东账号数3000万

        四、业务数据容量：日委托6000万笔，成交9000万笔——能够根据这个推算出每周、每个月、每一年系统容量的增加模型

 

什么是“有效的”性能需求？

要想得到有效的性能需求，就要先了解什么样的需求是“有效的”。有效的性能需求应该符合如下三个条件。

一、 明确的数字，而不是模糊的语句。

结合上面的例子来看，相信这个应该不难理解。可是有的时候有了数字未必就不模糊。例如常见的一种需求是“系统须要支持5000用户”，或者“最大在线用户数为8000”。这些有数字的需求仍然不够明确，由于还须要考虑区分系统中不一样业务模块的负载，以及区分在线用户和并发用户的区别。

二、有凭有据，合理，有实际意义。

       一般来讲，性能需求要么由客户提出，要么由开发方提出。对于第一种状况，要保证需求是合理的，有现实意义的，不能由着客户使劲往高处说，要让客户明白性能是有成本的。对于第二种状况，性能需求不能简单的来源于项目组成员、PM或者测试工程师的估计或者猜想，要保证性能需求的提出是有根据的，所使用的数据和计算公式是有出处的。

三、相关人员达成一致。

       若是相关人不能对性能需求达成一致，可能测了也白测——特别是在客户没有提出明确的性能需求而由开发方提出时。这里要注意“相关人员”的识别，一般项目型的项目的须要与客户方的项目经理或负责人进行确认，产品型的项目须要与直属领导或者市场部进行确认。若是实在不知道该找谁确认，那就把这个责任交给你的直属领导。

 

如何得到有效的性能需求：

一、 客户方提出

       这是最理想的一种方式，一般电信、金融、保险、证券以及一些其余运营商级系统的客户——特别是国外的客户都会提出比较明确的性能需求。

二、根据历史数据来分析

       根据客户以往的业务状况来分析客户的业务量以及每一年、每个月、每周、天天的峰值业务量。若是客户有旧的系统，能够根据已有系统的访问日志，数据库记录，业务报表来分析。要特别注意的是，不一样行业、不一样应用、不一样的业务是有各自的特色的。例如，购物网站在平时的负载主要集中在晚上，可是节假日时访问量和交易量会是平时的数倍；而地铁的售票系统面临的高峰除了周末，还有周一到周五的一早一夜下班时间。

三、参考历史项目的数据

      若是该产品已有其余客户使用，而且规模相似的，能够参考其余客户的需求。例如在线购物网站，或者超市管理系统，各行业的进销存系统。

四、参考其余同行相似项目的数据

      若是本企业没有作过相似的项目，那么能够参考其余同行企业的公布出来的数据——一般在企业公布的新闻或者成功解决方案中会提到，包括系统容量，系统所能承受的负载以及系统响应能力等。

五、参考其余相似行业应用的数据

       若是没法找打其余同行的数据，也能够参考相似的应用的需求。例如作IPTV或者DVB计费系统的测试，能够参考电信计费系统的需求——虽然不能彻底照搬数据，可是能够经过其余行业成熟的需求来了解须要测试的项目有哪些，应该考虑到的状况有哪些种。

六、参考新闻或其余资料中的数据

       最后的一招，特别是对于一些当前比较引人关注的行业，涉及到所谓的“政绩”的行业，一般能够经过各类新闻媒体找到一些可供参考的数据，可是须要耐心的寻找。例如咱们在IPTV和DVB系统的测试中，能够根据新闻中公布的各省、各市，以及国外各大运营商的用户发展状况和用户使用习惯来估算系统容量和系统各个模块的并发量。

 

性能测试点选取：

     发生频率很是高的（例如：某邮箱核心业务系统中的登陆、收发邮件等业务，它们在天天的业务总量中占到90%以上）

     关键程度很是高的（产品经理认为绝对不能出现问题的，如登陆等）

     资源占用很是严重的（致使磁盘I/O很是大的，例如某个业务进行结果提交时须要向数十个表存取数据，或者一个查询提交请求时会检索出大量的数据记录）

 

需求获取的小例子：

      去年整年处理“WEB登陆”交易约 100 万笔，考虑到 3 年后交易量递增到每一年 200万笔。

　　假设每一年交易量集中在 8 个月，每月 20 个工做日，每一个工做日 8 小时，试采用 80～20 原理估算系统服务器高峰期“WEB登陆”的交易吞吐量应达到怎样的一个处理能力　

　　200万/8=25万/月

　　25万/20=1.25万/日

　　1.25万*80%/(8*20%*3600)=1.74TPS

 

关于性能需求的一点补充：

       在软件开发过程当中，需求管理要远远简单于需求开发，CMMI中也体现了这一点，而且实际工做中也经常须要咱们为客户来开发这部分的性能需求。
还但愿你能考虑一下，如何根据客户的实际使用或粗线条的性能要求来开发知足客户须要的性能需求来。就拿例子来讲，客户告诉咱们“系统总容量达到日委托6000万笔，成交9000万笔；系统处理速度每秒7300笔，峰值处理能力达到每秒10000笔”，那咱们将客户的这个要求管理起来并实现了这一点，这叫需求管理；而若是咱们根据如下2个假设：
一、采用2/8比例，即80%的业务在20%的峰值时间内完成，20%的业务在80%的非峰值时间内完成，那么咱们能够获得峰值处理业务量1.5亿的80%为1.2亿，非峰值处理业务量1.5亿的20%为3000万；
二、1天系统运行时间为20小时，另4小时为非营业的后台处理时间，那么峰值时间20小时的20%为4小时，非峰值时间20小时的80%为16小时。

咱们能够计算到：三、平均峰值处理速度1.2亿/4*3600秒接近9000个/秒；四、平均非峰值处理速度3000万/16*3600秒约500个/秒；       考虑到特殊状况的发生，咱们建议实际峰值处理速度要能达到理论计算的平均峰值处理速度的1.5到2倍，因此最终肯定下来的建议峰值处理速度为9000个/ 秒*2=18000个/秒。咱们拿这个结果向客户说明，告诉他们原来的需求极可能在发生特殊状况时没法有效处理，客户最终接受了咱们的说法并调整了他们的需求。这叫需求开发，经过分析修正了客户的不合理需求，知足了他们最根本的须要“系统总容量达到日委托6000万笔，成交9000万笔”，而处理速度是他们根据本身的须要估算出来的，并不许确。       所谓需求开发，也就是根绝客户的核心需求，为客户设计完整的需求体系，甚至根据客户的业务发展须要，为客户设计核心需求和需求体系。