软件评测：软件系统对比测试分析模型

　　一、软件系统对比测试分析模型原理

　　软件系统对比测试分析模型采用单位元做为基准坐标系。单位圆指的是半径为1的圆。在三角学中，单位圆一般是指欧几里德平面直角坐标系中圆心为(0,0)、半径为 1 的圆。

　　假设在对比测试过程当中，考察了n个测试内容，那么就须要将单位圆平均分红n等分。以下图所示：

▲图1 对比分析模型示意图

　　在这个对比坐标系之上，能够对一款被测将进行详细的描述，设本次考察的被测件分别问S和R，而且在n个测试内容的评测结果分别为{s1,s2,…,sn}和{r1,r2,…rn}

　　评价S和R被测件的总体能力描述以下

　　经过S:R就能够比较出两个被测件的总体特性。单个测试内容i能够经过si:ri进行结果分析。可是有些测试内容是有固定的上限范围的，也就是说能够计算出其相对100%符合要求的百分比，例如SQL92标准符合性等测试。而大部分测试内容无上限要求，所以本对比分析模型引出了以下单位化转换方法。对于某个测试内容x，须要进行单位化转化后，在对比坐标系上描点。单位化公式以下：

　　Tsx=sx/Max(sx，rx)

　　通过单位化后的评测结果分别为{Ts1,Ts2,…,Tsn}和{Tr1,Tr2,…Trn}，所以能够得出最后单位化后的能描述方法以下：

　　所以能够得出经过TS:TR就能够比较出两个被测件的总体特性。单个测试内容i能够经过Tsi:Tri进行结果分析。

　　二、对比分析模型应用

　　2.1浏览器性能对比测试分析结果

　　2.1.1 浏览器性能对比测试内容

　　浏览器性能测试全部数据结果均来自中国软件评测中心国家科技专项测评服务项目，其中隐藏了关键信息。结合在浏览器

　　性能对比测试中通用方法和准则，总结概括出10项浏览器性能对比评价指标，以下表所示。

标号	种类	种类别名	性能测试评价指标性	性能测试评价指标别名
1	启动测试	R	冷启动时间特性	P1
2	热启动时间特性	P2
3	标准符合测试	S	Acid2	P3
4	Acid3	P4
5	标准符合测试	S	HTML5	P5
6	标准符合测试	S	avaScript1	P6
7	avaScript2	P7
8	标准符合测试	S	CSS渲染	P8
9	页面加载测试	P	标准页面加载速度测试	P9
10	硬件加速测试	H	硬件加速	P10

▲表1 浏览器性能对比测试评价指标

　　启动类测试中主要考察冷启动时间特性和热启动时间特性，而对启动过程当中资源(例如：内存、CPU等)的消耗，做为辅助考察项，被记录在测试结果中。这是由于目前硬件发展愈来愈快速，目前市场上浏览器对在启动测试时消耗相对于都很小，所以资源消耗并不在本次的具体评价标准中。

　　标准符合测试类主要考察浏览器对标准的支持，JavaScript的解释速度以及CSS的渲染速度。 JavaScript基准测试方面有两款公认的测试工具，分别是SunSpider和V8 JavaScript。

　　SunSpider：Mozilla公司开发的JavaScript引擎性能基准测试工具，屏蔽了浏览器类型和语言的差异，仅针对JavaScript进行测试，与Dom和浏览器接口均无关。SunSpider主要协助开发者解决现实世界的问题，拥有对象、函数调用、数学、递归等测试类型，共测试3d、access、bitops、controlflow、crypto、date、math、regexp、string九项内容，执行时间越短，表明浏览器的JavaScript解码速度越快。

　　V8 JavaScript：Google公司开发的JavaScript引擎性能基准测试工具，分别对Richards、DeltaBlue、Crypto、RayTrace和EarleyBoyer五项内容进行测试，running times/s值越高，代表浏览器的JavaScript解码速度越快，分值也相应越高。

　　这两款测试工具考察角度存在必定的差别，所以将JavaScript测试分红两部分Javascript，JavaScript1是应用SunSpider测试结果，JavaScript2是V8 JavaScript测试结果，这些都和普通用户使用浏览器的平常行为息息相关，既能考察浏览器是否可以为用户正常提供展现、交互等的能力，又能考察被测浏览器对脚本语言和样式表渲染的速度。

　　页面加载类测试是对标准页面Nontroppo访问的时间特性，访问标准页面可以分析出浏览器对目前互联网主流web技术的支持能力以及解析显示速度，也是从最终受众角度进行的测试。

　　硬件加速类测试主要是对浏览器的硬件加速功能进行的测试，该项技术在浏览器领域中愈来愈重要，可以加快浏览器在图像合成、图像缩放等方面的显示。

　　2.1.2被测浏览器性能测试结果

　　对某互联网公司自行开发的浏览器(因为被测浏览器目前处于内部测试阶段，还未正式产业化，为避免引发没必要要的纠纷，待测试的浏览器下文简称A)与主流的浏览器IE、Firefox和Chrome进行了性能对比(其中IE8.0、Firefox9.0.一、Chrome17.0.963.6和A浏览器1.4)。性能测试结果以下所示：

被测件\指标	P1	P2	P3	P4	P5	P6	P7	P8	P9	P10
IE	6.45	2.25	10	23	41	5685.9	131.6	345	1125	0
Firefox	12.03	4.53	10	100	299	283	4779	574	896	18
Chrome	10.36	5.76	10	100	329	228.7	7880	574	743	29
A	3.40	3.40	10	100	213	327	7617	558	98	30

▲表2 浏览器性能测试结果记录表

被测件\指标	P1	P2	P3	P4	P5	P6	P7	P8	P9	P10
IE	0.54	0.39	1.00	0.23	0.12	1.00	0.02	0.60	1.00	0.00
Firefox	1.00	0.79	1.00	1.00	0.91	0.50	0.61	1.00	0.80	0.60
Chrome	0.86	1.00	1.00	1.00	1.00	0.04	1.00	1.00	0.66	0.97
A	0.81	0.59	1.00	1.00	0.65	0.06	0.97	0.97	0.09	1.00

▲表3 单位化测试结果

　　以P1为例，单位化计算过程以下：

　　P1属性最大值为12.03

　　IE浏览器在P1单位化结果P1(EI)=P1(EI)/Max(P1)=6.45/12.03≈0.54

　　Firefox浏览器在P1单位化结果P1(Firefox)=P1(Firefox)/Max(P1)=1.00

　　Chrome浏览器在P1单位化结果P1(Chrome)=P1(Chrome)/Max(P1)≈0.86

　　A浏览器在P1单位化结果P1(A)=P1(A)/Max(P1)≈0.81

　　将各个被测浏览器单位化后性能测试结果在浏览器性能对比测试基准模型中，获得以下所示结果。

▲图2 四款浏览器总体性能测试对比结果

　　经过上述分析，应用浏览器性能对比测试模型计算得出IE综合性能为0.197，Firefox综合性能为0.79，Chrome综合性能为0.83，A浏览器综合性能为0.54。总体性能上Chrome浏览器目前优于其余产品，可是在应用数量方面IE占优，在标准符合性方面Firefox占优，国产浏览器产品A在目前总体评价排名第三，可是在标准符合性、标准页面载入等方面上还有必定的提高空间。

　　2.2国产数据库MPP对比测试分析结果

　　2.2.1国产数据库MPP对比测试内容

　　国产数据库MPP对比测试结果来自中国软件评测中心承担的“核高基”重大专项通用基础软件测试评估课题成果物，其中隐藏了对应厂商的关键信息，并对数据作了总体的比例转换。

　　MPP即大规模并行处理。在数据库非共享集群中，每一个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特色划分到各个节点上，每台数据节点经过高速专用网络或者商业通用网络互相链接，彼此协同计算，做为总体提供数据库服务。

　　TPC-H基准测试是由一系列商业查询组成，是依据真实的生产运行环境创建的OLAP模型，这使其能够评估一些其余测试所不能评估的关键性能参数。采用TPC-H模型，100GB数据量，应用其标准中的22条复杂查询进行测试并统计查询耗时。MPP中分别测试2节点、4节点和8节点的状况。

　　本次测试分别对3家国产数据库MPP测试，测试硬件环境、网络环境彻底相同(因为测试项目还处于保密期，如下测试结果分别以数据库A、数据库B和数据库C代替)。测试结果以下：

　　2.2.2被测国产数据库MPP对比测试内容

　　依据第一章的对比测试分析模型，得出了以下结果。

　　有图中能够看出，数据库C的MPP在全部查询耗时都比较长，数据库B次之，数据库A的表现最优，说明A厂商在MPP对SQL查询语句、标准函数的解析等方面的解释优化最的最优。