天下大事必做于细,聊聊腾讯兼容测试的升级“打怪”历程

WeTest导读

互联网产品测试,测试的是产品质量,但也同时考验着测试者的质量。html


什么是兼容性测试?指的是设计程序与硬件、软件之间的兼容性的测试,考验的是程序,软件,硬件三者的能力,缺一不可。而什么是好的兼容测试?我我的理解是一个双向检验的过程:“测试产品质量的同时,也在考验测试者的质量”。只有当两个“质量”都达标的时候,才是真正的测试经过。天下大事必做于细,咱们从基础环节便严格要求,围绕质量高于一切的理念打造精品兼容服务。如下跟你们分享一下腾讯游戏兼容测试一步步走来的经历。框架

 

1、腾讯游戏兼容测试的源起

腾讯最先作兼容性测试实际上是在端游时代,目标是为了给腾讯产品创建一道专业的测试防线,保证产品兼容性方面的质量。兼容测试能够说是见证了英雄联盟、每天爱消除、王者荣耀这些里程碑式的游戏崛起,也在路上修炼了本身的功力。兼容测试根据服务对象和测试内容可分为2大类:PC端的兼容测试和移动端兼容测试。二者之间有着天壤之别,最大差异就是测试环境,PC端游的玩家环境相对简单集中,因此兼容性测试环境易搭建,流程简单而且覆盖面广,因此,在功能测试经过后,兼容性暴露出的问题每每并不严重。如下主要介绍下腾讯移动兼容性测试团队是如何运做的。测试

 

2、创建最有效的Top用户机型库

从2011年手游市场起步,手机用户数量增加,每一年超过1000款新机型的上市,安卓碎片化问题严重,移动游戏对兼容测试的服务需求愈来愈强。腾讯移动兼容性团队也随着不断调整和更新测试角度、方法和范围,投入专业测试人力,帮助产品发现和规避兼容性缺陷;大数据

 

为了保障兼容性测试的有效性,甄选最能表明市场的测试设备成为了团队面临的第一个问题。测试设备选择须要一个科学的范围,不少人以为测试设备越多越好,在不考虑其余成本的状况下这的确是一个无限接近正确的答案。而事实上这是一个不可能完成的任务,投入越多测试设备,测试成本的边际效应表现越明显。经过腾讯游戏大数据对机型和缺陷进行统计,咱们选择了TOP100的测试范围,这部分机型在市场占比接近60%,兼容性缺陷触发率在70%左右,硬件和品牌覆盖面完整,此外,这部分设备上发现的问题有必定表明性,也便于开发更有效地修复和解决问题,性价比综合评定下最高。在服务腾讯游戏的过程当中也得到了项目组的承认,最终被应用到腾讯游戏的测试标准中。网站

 

为了保障每次测试项目组均可以拿到有效的Top机型,咱们会定时采购来匹配动态变化中的Top机型库。除此之外,咱们还会有针对性地去采购新上市机型,以便知足游戏的特殊需求,同时根据经验来调整测试范围。spa

 

 

3、“质量>效率”的测试坚持

腾讯兼容性测试团队大部分使用人工测试,其实测试成本很是高。设计

 

因此在早期,由于团队人力紧张,排期有压力的时候,咱们也考虑过采购第三方自动化兼容测试服务。但实际用下来,效果上有几点比较难受:视频

1. 问题的准确性、完整性不足htm

咱们团队反馈问题必需要求验证必现性,>5次100%出现才会归类为必现,还需反馈信息完整而且会根据市场占比评估出当前缺陷影响的人数范围,提出建议性的优先处理等级;而第三方服务会提出很是多的问题,须要测试投入精力去甄选出真正有效的问题,反而增长了确认工做的人力成本消耗。对象

 

二、测试深度较浅,核心功能很难覆盖

第三方服务通常会测试到新手引导,但其实腾讯游戏对兼容测试的须要至少是覆盖核心功能和主要场景的。

 

三、没法实现复杂操做

专业测试人员对缺陷的敏感度高,对缺陷定位准确。能够实现复杂操做步骤,如动做类、竞速类或随机事件。对音效、重力感应、AR/VR、智能玩具测试上无可替代。

总体评估下来效率有提高,但服务效果会有比较大的下滑。为了保障游戏测试的品质,也响应公司精品游戏的战略,在效率和质量2者中,咱们最终选择了质量。咱们愿意花更多的时间和成本把效果作好。

虽然兼容测试以人工测试为主,但咱们始终也没有放弃对效率的追逐,团队其实也一直在研究自动化测试方案。其中,包括能够快速验证兼容的标准兼容测试,保障人工测试品质同时提升测试效率的多机同步助手;针对一些项目组提来的重度兼容需求,例如《王者荣耀》的5v5自动化测试,咱们还针对性研发了GAutomator框架,得到Unity官方推荐,也是目前腾讯unity游戏的标配框架,被应用在《火影忍者》、《龙之谷》等众多项目的各类测试场景中。

 

多机同步助手演示效果

多机同步助手演示效果视频地址:https://v.qq.com/x/page/s03936my587.html

 

 

GAutomator框架示意图

 

目前,腾讯移动兼容性测试团队除了负责腾讯全部游戏的兼容性质量,也经过WeTest平台向外部开发者开放了同品质的兼容性测试服务。

然而这却并非腾讯兼容团队和WeTest兼容服务努力的终点,咱们期待着将愈来愈智能的测试AI深度介入游戏测试的各个环节,让云端化的游戏测试成为一件能够随时触发的自动化流水工做。经过技术的力量解放开发者,专一体验作出更好的产品,最终实现“You Create,We Test”。


欢迎对兼容性测试一样精益求精的同行们来体验服务,共同交流。

点击连接便可使用专家兼容测试服务:http://wetest.qq.com/product/expert-compatibility-testing

亲爱的读者,为了可以提供更好的网站内容,但愿您填写咱们的问卷,咱们会随机抽取读者回馈20Q币以示感谢!问卷入口:https://wj.qq.com/s/1221194/26ad

相关文章
相关标签/搜索