【星云测试】精准测试的软件产品质量效率变化分析

伴随着软件规模的扩大和软件快速迭代的双重业务加速要求，软件质量控制的压力也愈来愈明显。但黑盒测试的无力感和白盒测试的高复杂度，让软件测试工程师和管理者都很是郁闷，多样化的自动化测试工具也解决不了根本性的问题。
目前正在业内流行的精准测试技术，从企业级应用的反馈来看，它最为主要的三个技术特性，使企业在软件质量改进方面，突破了原有的天花板。
一、 测试用例与代码的双向追溯技术：使开发和测试过程可视化，达到软件与团队管理的数据化交流，再也不流于形式和口头交流；灰盒的透明运行模式，不改变传统企业流程，却可以将功能测试的数据映射到代码层面进行精准分析。
二、 延展测试数据的应用价值：精准测试在运行中会产生大量的数据，基于这些数据可让测试过程的价值拓展到整个研发体系，例如经过深度测试数据直接进行智能缺陷定位，经过逆向追溯帮助开发分析进行代码一致性修改等。
三、 经过智能算法全面支持敏捷：全自动的智能回归用例选取、用例聚类分析、测试漏洞分析，累计覆盖率等技术全面支持敏捷场景下的质量保证。

本文将重点分析精准测试在研发体系中应用后的总体运行效率和质量改进分析。另本文分析数据对应的标的产品是星云测试的ThreadingTest产品，目前也是精准功能最全面、商用化程度最高的精准测试产品（读者可提早阅读精准测试框架白皮书以及到体验精准测试产品，熟悉精准测试的总体功能）。
精准测试运行效率很高。它采用的技术路线为系统级灰盒技术范畴，所以精准测试的运行过程依然是黑盒，不直接改变用例的运行方法及团队成员构成，上手比较快。它的数据采集是基于软件测试示波器全自动采集，用于标记采集数据和用例的映射关系，对原有测试的运行效率干扰极小，实际运行分析额外附加工做量在2%如下。精准测试必要的插装过程无需人工干预，实施成本也是一次性的。

下图是精准测试的运行效率图：

1. 传统意义上的黑盒测试方法通常在覆盖率进入到40-50区间之后，会逐步开始产生较大运行瓶颈，测试专业上形象的称之为杀虫剂效应。而黑盒的瓶颈点又偏偏是精准测试的发力点。精准测试能够关联到代码看到语句块，分支，条件等的覆盖率，也能够根据精准测试提供的各类彩色分析视图肯定漏测点。所以无论被测系统有多复杂，精准测试的运行效率均呈线性45度角稳步上升。
   从上图能够看出，越过瓶颈点后的中等覆盖率水平，精准测试所使用的时间仅仅是传统黑盒测试的一半，所以成本投入也将是普通黑盒测试的一半。这一点对于企业来说不只仅是大幅度提高了测试的工做效率、加快了产品发布时间，同时节约了大量的人力成本投入。

2. 精准测试的核心技术要点是测试用例与代码的追溯技术。这项技术简单来讲就是当功能执行完成之后对应的总体代码执行状况就会当即产生，能够理解为一种强大的全景调试器，即当点击一个测试用例，就当即追踪到对应的代码和模块。若是你有一个足够大的屏幕，能够想象场景是多么的震撼…

3. 精准测试测试漏洞分析功能，适用于敏捷测试。它能够基于程序静态数据和动态运行数据，自动分析软件缺陷最高风险的位置，引导首先对于高风险的模块完成覆盖，在有限时间内完成最具备风险的模块的覆盖测试。基于智能缺陷定位技术，精准测试结果能够直接定位到缺陷的位置，所以精准测试让开发人员定位缺陷的效率能够至少提高2-3倍。

4. 企业最为头痛的回归测试维护，精准测试也给予了很好的方案。根据国际权威统计，平均每6行代码的修改，就会引入一个未知的难以直接预测的缺陷。从另外一个角度来看，回归测试会随着项目人员记忆模糊以及团队调整，使不可预知的缺陷比例逐步上升。而精准测试因为其内置算法的缘由，各类信息都极其完整的保存在了计算机里。咱们实际对比了5个用例集在1000个左右的系统的测试，其计算用例集可控制在20%左右。另外在从回归测试的风险角度上看，传统经过经验判断型方法，因为周期拉长后人员变更以及记忆模糊。致使发现迭代引发的未知关联的几率愈来愈低，上线后引入风险。而采用精准测试，因为每轮测试记录的数据愈来愈多，基础代码覆盖辐射面愈来愈广，其计算准确性亦在持续上升。通过必定量的版本迭代后，其发现关联缺陷的几率能够达到80%以上。
   
5. 精准测试的测试用例聚类分析功能，能够有效地发现“测试的错误”。好比一个用例执行步骤错误，它的聚类结果必然会发生变化，管理者经过系统分析的结果就能够发现并纠正这一类的错误，而以前可能须要在现场反复的确认。
6. 从管理角度看，传统架构下平均4-5个测试执行人员就须要一个管理者，管理成本极高。精准测试体系下，因为过程管理均由计算机自动记录，管理者只需看报表就能清楚获知项目进度状况及每位项目参与者的工做效率。经过日报、周报、月报等，轻松了解各项目情况。后续团队不管如何变动，均可以在被受权的状况下，经过平台清楚地了解到总体框架结构与细致追溯关系，达到快速接手、大量节省开发与维护成本的目的。根据上述分析，精准测试适合应用于研发、测试的成熟体系中，特色是引入成本低，提升企业研发、测试效率显著，软件风控成果卓越。正如网络上所说，精准测试正在快速成为主流技术。