浅谈自动化测试

本文首发于 vivo互联网技术 微信公众号 
连接： https://mp.weixin.qq.com/s/ZsgstdmaiFUKkLItc6y-Lw
做者：何彦军

软件测试做为软件生命周期中不可缺乏的组成部分，对提升软件质量起着重要做用。随着软件测试的发展，自动化测试技术也获得了很大提升。

本文首先介绍了自动化测试的概念、分类和现状，并分别对不一样端上的自动化测试实现原理进行了详细地分析和阐述，经过对目前主流的一些自动化测试框架和工具的比较，指出了当前不一样端上实施自动化测试的痛点和困难。

最后经过由数据驱动的自动化测试向关键词驱动的自动化测试的探索，进而由传统模式下的自动化测试转向基于AI的自动化测试的摸索，对自动化测试的将来进行了展望。

1、自动化测试的概念

自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。

2、适用自动化测试的项目特征

3、软件测试的分类

• 按项目流程：单元测试、集成测试、系统测试、回归测试、验收测试

• 按技术：黑盒测试、白盒测试、灰盒测试

• 按功能：逻辑功能测试、界面测试、易用性测试、安装测试、兼容性测试

• 按性能：时间性能测试、空间性能测试

• 按自动化：功能自动化、性能自动化

项目流程 + 自动化 → 分层测试：unit测试（单元测试）、service测试（接口测试）、UI测试

4、自动化测试的现状

一、单元测试（极限编程-测试驱动开发），占比70%
（1）对软件中最小可测试单元进行检查和验证
（2）由开发人员编写，检验测试单元的语义是否正确
（3）通常在构建阶段执行自动化测试脚本
（4）表明工具：XUnit等

二、接口测试，占比20%
（1）测试系统组件间接口的测试
（2）主要是保证接口的正确和稳定
（3）表明工具：Jmeter、Postman等

三、UI测试，占比10%
（1）验证布局是否合理、风格是否一致等等
（2）确保UI功能内部的对象符合预期
（3）表明工具：selenium、robot framework等

四、小结
（1）单元测试借助对应语言的测试框架，能够作到在构建时执行测试脚本，难度较小
（2）接口测试经过定义好每一个用例的输入和输出，借助接口测试工具，也能够实现自动化，难度不大
（3）UI测试更可能是与界面渲染相关的，包括元素的位置、大小是否正确，元素内容是否正确等等，主要是对界面渲染后的结果进行测试

5、不一样端上的UI自动化测试

要判断渲染界面是否知足预期，首先就须要具有操控终端界面的能力，经过定位元素获取元素的信息与预期结果比较。

注意：这仅仅属于功能性测试的范畴，若是包括多媒体内容的话，还须要借助其余手段进行比较。

而操控终端界面的能力也随终端的不一样而不一样，这里主要是PC端和移动端的区别。

一、PC端：

每一个浏览器厂商都会提供相应的driver，它们都实现了Selenium定义的WebDriver's wire protocol，经过这个协议能够操控浏览器作任何事情！

这个driver会启动基于这个协议的web服务，实际上就是在一个端口上监听http请求，根据不一样的请求执行不一样的操做。

表明框架：

以Selinium为例，实现原理以下：

二、移动端：

与PC端上原理相似，但又有Android与IOS的区别

Android：主要基于UIAutomator和UIAutomator2，更早的能够追溯到instrumentation框架。
（1）instrumentation能够把测试包和目标测试app加载到同一个进程中运行，以此实现对app的控制。

以后封装造成Selendroid架构

（2）UIAutomator是Google在Android4.1版本发布时推出的基于Java编写的UI测试框架，与Bootstrap配合使用。
其特色是能够跨进程操做，能够获取屏幕上任意一个app的任意一个控件属性并对其操做。
但不足的是只能用Java编写，且测试脚本必须上传到设备上运行。

（3）UIAutomator2修复了原有版本的bug，还增长了不少新功能

• 设备和开发机能够脱离数据线，经过WiFi互联（基于atx-agent）

• 集成了openstf/minicap达到实时屏幕投频，以及实时截图

• 集成了openstf/minitouch达到精确实时控制设备

• 修复了xiaocong/uiautomator常常性退出的问题

• 代码进行了重构和精简，方便维护

• 实现了一个设备管理平台(也支持iOS) atxserver2

IOS：主要基于UIAutomation，Xcode 7以后引入UITesting

（1）经过UIAutomation操做app时，UIAutomation会给app发送WM_GETOBJECT的消息

若是app处理WM_GETOBJECT消息，实现了UIAutomation Provider，并调用了下面的函数，则该app支持UiaReturnRawElementProvider(HWND hwnd, WPARAM wparam, LPARAM lparam, IRawElementProviderSimple *el)IRawElementProviderSimple就是UIAutomation Provider，包含了控件的各类信息，如Name，ClassName，坐标等。

所以，app想要支持自动化，就必须实现UIAutomation Provider，详情请参看《UI Automation Client Programmer's Guide》

（2）UITesting是苹果公司推出，在Xcode 7引入的UI自动化测试框架，其原理利用了IOS的Accessibility

• Xcode 自带，不须要搭建环境

• 支持 OC、Swift，学习成本低

• 支持 WebView 测试

• 稳定性好

6、经常使用的移动端自动化测试框架

下图列举了一部分测试框架在一些指标上的表现，除了这些，还有Robot framework、阿里的macaca框架等也可考虑。

7、移动端自动化测试的具体实现

一千个嘴把式，不如lai个手把式！

下面这一段自动化测试脚本代码基于Appium实现了在app里截屏的功能：

固然，除了写好测试脚本之外，还有不少工做须要准备

1. usb要链接好设备，设备须要打开开发者模式

2. 安装好目标测试app的debug包

3. 检查chromeDriver的驱动版本是否与设备匹配

4. 可能遇到其余未知问题......

下面是基于Robot framework的自动化测试脚本片断

8、移动端自动化测试的探索

一、基于数据驱动的自动化测试 →  基于关键字驱动的自动化测试。

从以上具体实现中能够看出，要针对一个测试用例编写出对应的测试脚本，这须要的代码量不算少，而且还须要对每一个方法的定义和输入输出十分熟悉。

所以，要实现UI层面的自动化测试，成本很高，甚至超过了收益。

因此，若是可让测试脚本的编写变的简单，那么将大大改善现状。

二、探索

仔细观察上述具体实现，能够发现，一个测试脚本是能够由多个测试用例组成，而每个测试用例又能够是由多条语义清晰的指令构成的。

因而这就能够考虑对其进行抽象，这也是策略模式的一种具体应用，主要包括三个方面：

1. 界面元素名与测试内部对象名的分离。

   将界面上的全部元素映射成相对应的一个逻辑对象，测试针对这些逻辑对象进行，界面元素的改变只会影响映射表，而不会影响测试。

2. 测试描述与具体实现细节的分离，把测试描述和测试的具体实现细节分离开来。

   测试描述只说明软件测试要作什么以及期待什么样的结果，而无论怎样执行测试或怎样证明结果。

   这样作是由于测试的实现细节一般与特定的平台以及特定的测试执行工具备着密切的联系。

   这种分离使得测试描述对于应用实现细节是不敏感的，并且有利于测试在工具和平台间的移植。

3. 脚本与数据的分离。

   把测试执行过程当中所需的测试数据从脚本中提取出来，在运行时测试脚本再从数据存放处读取预先定制好的数据，这样脚本和数据能够独立维护

以下所示为一个基于关键字驱动的指令模型映射表

9、移动端UI自动化测试的展望

一个完整的移动端UI自动化流程应该是包括功能和视觉两部份内容的。

在功能方面，尽管利用一些主流框架能够实现自动化，但编写脚本的成本依然很大而且很复杂。

在视觉方面，更是须要依赖图像识别、图像类似度匹配、音频匹配等等技术手段。

因此，目前针对移动端UI的自动化测试仍是困难重重，并无一个成熟的解决方案。

传统测试技术 →  基于AI的测试技术

从AI在围棋界接连击败李世石、柯洁开始，AI技术逐步影响着人类社会的方方面面。

而自动化测试也慢慢朝AI的方向在发展，基于深度学习，经过迭代训练，让机器本身作出决策，最终完成操做。

比较具备表明性的AI自动化测试实践有爱奇艺团队的Aion测试框架、腾讯游戏QA团队的AI自动化测试系统。

相信在不久的未来，借助AI的力量，自动化测试将会变的愈来愈简单！

10、参考文献：

1. 什么样的项目适合自动化测试
2. python selenium自动化测试之路（1）--分层测试概念、selenium工具介绍
3. PC端WebUI自动化测试框架简介
4. selenium实现原理
5. 基于AI的移动端自动化测试框架的设计与实践
6. uiautomator2源码解析
7. 测开面试 | 自动化测试之工具篇