做者:黄闻欣,腾讯高级测试工程师后端
其实这个话题对于身在BAT的我来讲,是个难题。由于BAT对测试自己的投入力度,在行业内是走在前面的。一直在这个环境成长,可能会不理解其余小团队的痛。可是我意识到,必须写一篇文章,一方面是由于最近确实接触了一些腾讯系公司,了解了他们的测试现状,我以为须要有所总结; 另外一方面是但愿本身透过这个文章有更进一步的思考,最终能给出一些能够真正帮助到测试行业内其余团队的意见。安全
心理篇markdown
我在《手Q专项测试最佳实践》中曾经提过,专项测试有资源类性能、交互类性能、稳定性、兼容性和安全性等等。但仔细想一想,对于一个小团队,一个创业或创业初成的团队须要管那么多吗?不用,只要心中有概念, 并有对应保底措施便可。对于小团队来讲,更重要的应该是打痛点,由于痛点是产品发展的最大障碍,具有极高的性价比。可是什么是痛点呢?表面上不少产品都知道本身的痛点,其实并不是如此。在不了解用户反馈的状况下,说本身明白用户的痛点,而且创造产品需求的比比皆是。因此对于专项测试而言,第一步无疑是找痛点。 网络
第一步是建设反馈系统,找痛点。这种反馈包括各类用户反馈的收集分析,各类专项数据的前段和后端的上报分析。有一些如听云、OneAPM,Bugly其实已经有一些这种监控上报的能力,只惋惜在用户反馈收集和分析上,暂时没见到对应的系统。因此在应用现有系统的基础上,可能还须要自建。那么,假若有了这些系统,帮助咱们知道有多少用户遇到卡死, 实际Crash率是多少,多少用户说耗费流量,实际终端耗费流量上报结果是多少。这时,痛点天然就一目了然,将来能达成的目标也清晰可见,老板也许会更加清楚地了解问题的严重性,从而下定决心改善。工具
第二步是找底线和目标。咱们有了反馈系统,知道了用户的实际状况,这时咱们就须要根据数据让团队自上而下地明确底线和目标,从而提高后续团队合做的效率。目标能够是,Crash率是多少不让发布,Crash率是多少能够不FIX, 切换界面底线是多少,百分之多少的用户的流畅度是多少,用户反馈的卡顿问题从TOP10问题剔除等等。性能
第三步是解决问题。有痛点有解决痛点的目标,咱们就要行动,为了达成目标,解决问题。咱们以及咱们的平台须要具有以下三个能力:测试
第四步是回到反馈系统,展现效果。开发,测试忙活了许久,达成了效果,却没有展现,那就是错失了开发与测试造成信任关系闭环的最佳时机。固然也缺失了进一步改进,作就精品的机会。就如咱们的上传图片,一开始的目标仅仅是提升成功率,而后就是让带宽好的传输速度更快,再后就是让网络差的也能在保证成功的基础上再快点,再想办法搭救更多的在演唱会时发送不出消息和图片的用户,一路上都是不断地看数据上报,分析,解决问题,展现效果,再分析,再解决,再展现效果,造成闭环。动画
工具篇图片
通常来讲,用户最痛苦的专项问题,一般是最表面和直观的问题,包括:
闪退:包括CRASH,系统强杀,ANR,直接影响用户的使用。
卡顿:包括丢帧,动画帧率低,相应用户操做速度慢,甚至是卡死,但却没有触发ANR或者watchdog timeout。这些给用户的感受就是用得不爽,尤为是有对比的时候。资源
流量大/速度慢:移动应用必然面对流量问题,咱们至此为止都会看到月末时候的流量效应,就知道这个的重要性。何况对于小公司来讲,更痛的可能仍是带宽,CDN的费用问题。
弱网络兼容差:用户面向的网络状况实际上是时好时坏的,可是用户期待业务能执行成功,哪怕多耗费一点时间。
待机时间短/手机发烫:自IPHONE开始,每一个手机都须要“吊盐水”(使用移动电源)。若是他发现你在耗电排行榜TOP1, 却一直在后台毫无建树,相信用户会好不犹豫地删掉。
业务专项问题:不一样的产品有不一样的业务专项问题,单独说出来是由于前面4个是通用的,请你们不要限制本身的思惟。根据业务特质还有一些专项的指标会产生,例如地图应用定位的准确性,广告能力推送的准确性,音乐软件播放的音质,图片应用图片的质量。
下面针对这些问题,咱们来看下咱们有什么工具能够帮助到咱们。没有像BAT这样的资源投入,可是问题还要解决。下面小V给你们推荐一些跟咱们内部的建设思路近似的外部开源工具来帮助你们解决问题。(PS: 我只推荐我认为落地成本低产出最高的工具给你们,因此有些工具我不是不知道,而是投入的问题。而且下面我再也不说专项指标,我会说是痛点,由于专项指标确定不仅有这些。下面的内容我尽可能客观,可是不排除有一些主观判断,毕竟我没有每一个都深刻使用。)
Android
IOS
通用
结局篇
跟不少不小不大的互联网公司都交流过,测试的人力投入是很是有限的。固然更不可能有成建制的专项测试团队。因此正如前面说起的,找业务的痛点很重要,不求大而全。既然是痛点,就容易得到至上而下的支持,若是没有支持,就给信息给数据来讲服,而后定底线定目标让事情持续有效。手Q的安装包就是个典型的案例,看到安装包一个版本就大10M,其实没有感受到任何的痛和担忧,咱们用数听说话,多少用户用3G下载,各个安装包大小的下载失败率是多少,最终让老大重视了起来,而且确立了安装包增量监控的工具和流程。另外很重要的是信任关系,而信任关系不可能一蹴而就,须要有产品痛点,沉淀正面和反面案例,老大重视,自身技术过硬,而且持续相互教育,以后的事情就会更加一路顺风了。最后,总的来讲,少点埋怨,调整心态,数听说话,坚持底线。