python自动化测试(3)- 自动化框架及工具

python自动化测试(3)

自动化框架及工具

1   概述

手续的关于测试的方法论,都是创建在以前的文章里面提到的观点:html

  • 功能测试不建议作自动化
  • 接口测试性价比最高
  • 接口测试能够作自动化

后面所谈到的 测试自动化 也将围绕着 接口自动化 来介绍。python

本系列选择的测试语言是 python 脚本语言。因为其官方文档已经对原理有了比较清楚的解释,本文就不作一些多余的翻译工做了。偏向于实战部分,并且为了偏向实战,也会结合 IDE 工具和项目组织来进行讲解。git

理由以下:github

  1. 脚本语言,开发和迭代的效率极高
  2. 第三方的扩展库极多,有很我现成的工具可使用

在正式进入到 自动化测试 的领域以前,先要创建这样的价值观。在Google内部工程师发布的软件测试的出版物里面提到:数据库

“软件的自动化测试是有成本的,并且成本不低,基本上至关于在原有的 功能开发工程 的基础上再创建一个平行的 测试开发工程 ”。编程

也就是说,若是你对自动化测试有你的指望值,那么就确定是要付出相应的代价和精力的。好的东西也是须要优秀的人花大量的时间去完成的。bash

 

本文已经收入合集:《基于python的互联网软件测试开发(自动化测试)-全集合》,欢迎访问的查看:框架

基于Python的互联网软件测试开发编程语言

 

2   PyUnit测试框架

使用 python 做为自动化编程语言,那么就天然的使用 pyunit 做为自动化测试框架了。ide

以下部分的内容主要来自于 pyunit 的官方文档,本文仅仅作了一些翻译和结构上的简单调整。这部分属于测试框架的基本原理和概念部分,在进行代码编写前,有必要进行了解。

python的单元测试框架 PyUnit,能够认为是 Java 语言下的单元测试框架 JUnit 的 Python 语言实现版本,甚至其做者之一 Kent Beck 就是 JUnit 的做者。

unittest要达到以下目标:

  • 支持自动化测试
  • 让全部的测试脚本共享 开启(setup) 和 关闭(shutdown) 的代码
  • 能够经过集合(collections)的方式来组织测试用例脚本
  • 将全部的测试脚本从测试报告框架中独立出来

为了达到以上目标,unittest支持以下几个重要概念:

  • 测试装置(test fixture)

    为一个或者多个测试用例作一些准备工做,例如:链接一个数据库,建立一个目录,或者开启一个进程

  • 测试用例(test case)

    测试用例是测试行为的最小单元,经过对一些输入输出值的对比来进行测试检查

  • 测试套件(test suite)

    将 测试用例 或者 测试用例集合 聚合组织起来的集合。能够批量执行一个测试套件内全部的测试用例

  • 测试执行器(test runner)

    组织安排测试脚本执行活动的组件。测试执行器经过一些图形界面,文本界面或者返回一些特殊的值来展现测试脚本的测试结果。主要用于生成测试报告

3   基本示例

以下示例也来自于官方文档 basic_demo.py

# coding:utf-8
"""
基本的自动化测试脚本 basic_demo.py
"""
__author__ = 'zheng'

import unittest


class TestStringMethods(unittest.TestCase):

    def setUp(self):
        print 'init by setUp...'

    def tearDown(self):
        print 'end by tearDown...'

    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())
        self.assertTrue('Foo'.isupper())

    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)


if __name__ == '__main__':
    unittest.main()

虽然官方文档里面介绍了几种组织测试用例脚本的方式:

  1. 独立测试函数
  2. 单用例测试类
  3. 多用例测试类

不一样的编写形态,会有不一样的组织方式,具体的能够看官方文档。本文做者研究过官方文档后,最喜欢第三种方式 多用例测试类,也就是上面基本示例的方式,这种方式具备以下特色:

  • 测试类 继承于 unittest.TestCase
  • 一个测试类能够管理多个 测试脚本函数
  • 测试脚本函数名称须要以 test_ 开头
  • 一个测试类里面的全部的测试函数共享 setUp和tearDown函数

在控制台中运行此程序:

➜  src git:(master) ✗ python basic_demo.py
init by setUp...
Fend by tearDown...
init by setUp...
end by tearDown...
.init by setUp...
end by tearDown...
.
======================================================================
FAIL: test_isupper (__main__.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "basic_demo.py", line 24, in test_isupper
    self.assertTrue('Foo'.isupper())
AssertionError: False is not true

----------------------------------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)
➜  src git:(master) ✗

前面的基本例子的 main 函数采用的最简单的方式,直接运行全部的测试用例,并生成默认的文本报告。其实只须要对调用函数作一些简单的修改,能够将这些测试用例进行合理组织,并获取其实有用的数据信息,以便和信息系统进行集成,造成较好的扩展。

if __name__ == '__main__':
    # unittest.main()
    # 装载测试用例
    test_cases = unittest.TestLoader().loadTestsFromTestCase(TestStringMethods)
    # 使用测试套件并打包测试用例
    test_suit = unittest.TestSuite()
    test_suit.addTests(test_cases)
    # 运行测试套件,并返回测试结果
    test_result = unittest.TextTestRunner(verbosity=2).run(test_suit)
    #生成测试报告
    print("testsRun:%s" % test_result.testsRun)
    print("failures:%s" % len(test_result.failures))
    print("errors:%s" % len(test_result.errors))
    print("skipped:%s" % len(test_result.skipped))

运行后生成的输出为:

➜  src git:(master) ✗ python basic_demo.py
test_isupper (__main__.TestStringMethods) ... init by setUp...
FAIL
end by tearDown...
test_split (__main__.TestStringMethods) ... init by setUp...
end by tearDown...
ok
test_upper (__main__.TestStringMethods) ... init by setUp...
end by tearDown...
ok

======================================================================
FAIL: test_isupper (__main__.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "basic_demo.py", line 23, in test_isupper
    self.assertTrue('Foo'.isupper())
AssertionError: False is not true

----------------------------------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)
testsRun:3
failures:1
errors:0
skipped:0

显然上面的输入结果已经将测试的结果进行了统计,这些数据都是一次测试活动中的重要指标,这些数据能够入库,和测试信息管理系统集成,后期生成仪表盘或者统计报表,造成稳定和产品测试线路图,这些都是和开发相关的了,在此再也不多叙述了。

结合上面的具体例子,咱们也能够找到上一节的理论部分对应的具体实现对象:

  • 测试装置(test fixture)

    由setUp函数来作初始化工做,由tearDown作销毁工做

  • 测试用例(test case)

    对应TestCase类,或者更细化的对应里面的测试脚本函数

  • 测试套件(test suite)

    对应TestSuite类

  • 测试执行器(test runner)

    对应TextTestRunner类

4   IDE工具

既然须要开发代码的生产力,那么就须要介绍一款IDE工具-- Pycharm。不能否认,它是目前最专一/专业的 Python 语言的 IDE 了。在对Pyunit 也有比较好的支持。

主要支持以下:

  • 可视化的编程开发(这是IDE的基本特色)

  • 对测试结果进行可视化的展现

  • 导出生成HTML的测试报告

  • 可视化控制用例执行(这个在开发调试阶段很方便,能够方便控制指定代码单元运行)
    • 让一个目录下的全部用命执行
    • 让单个文件内全部用例执行
    • 让单个文件内的单个用命执行

4.1   运行和调试

Pycharm 对测试脚本提供了灵活的运行和调试支持。

经过pycharm,开发人员能够不用编写main函数,就能够实现以下功能:

  • 运行一个文件下全部的测试类
  • 运行一个测试类的全部测试脚本
  • 运行一个测试类的某个测试脚本

其中 "运行一个测试类的某个测试脚本" 比较有用,适合在开发阶段快速地对单个脚本进行开发和运行调试。

使用方法:

  1. 将光标移动到测试函数内部
  2. 按下运行快捷键 ctrl+shift+F10 (Eclipse快捷键方案)

若是要断点调试,则使用Debug模式,便可对单个函数运行和断点调试了。

固然,也能够没必要借用IDE,而经过对testSuit操做,也能够实现以上功能,可是IDE却提供了更灵活直接的选择。这只是一些IDE使用技巧,也很少述了。

4.2   结果可视化

对于前面提到的例子,若是选择在IDE中运行此程序,会看到以下效果:

能够看到所有运行经过。若是刻意将其中一个弄成不经过的,则会显示以下的结果:

4.3   生成测试报告

Pycharm也提供了测试结果报告的导出功能,在测试结果显示框上的一个功能按钮上。
 
导出结果以下:
 
固然,若是不考虑和信息系统集成,不考虑后续的仪表盘和测试统计工做,仅仅只是要生成报告,这个功能已经足够了。

通常状况下,作自动化测试和开发,上面的那些那些技能已经彻底可以知足要求了,接下来要作的事情就是利用各类计算机基本知识,面对不断增长的业务需求,而不断地增长测试用例脚本了。

功能开发项目,原理都很简单,可是随着量的增长,都会造成规模,测试开发工程也是同样。

5   项目组织

以前对测试用例的 开发调试态 的工具进行了介绍。可是若是真正的要归入到 持续集成 的自动化体系,就显然不能依赖于 IDE 了。而是使用python 语言的组织和调用方式了,好比:要有 __main__ 函数来做为执行入口,等等。

详细的技术实现细节,在后面有机会,将再会写相应的文章进行介绍。

经过脱离IDE的项目组织方式,有以下优势:

  • 能够经过事件触发来执行全部脚本(可以成为 持续集成 流水线的一环节)
  • 能够将数据所有提出并进行自定义加工和处理(和测试信息系统集成,为质量分析系统提供数据源)

 

6  测试平台

 

关于如何自动化生成测试报告这个测试产物,如今有一些平台可以提供接口调用及报告展现和分享功能,详情参考:

http://www.jianshu.com/p/c5fa76cf87db

 

 

7  小结

本小部分的内容,主要是讲基于 python 语言的 自动化测试框架 pyunit的一些设计思想和基本使用示例。其实工具的使用方法很简单,可是如何利用好这些工具来进行软件生产,则须要其它的计算机技能了,在后续的文章中将会从工程方面和技术方面来对此框架的应用进行深刻的扩展。

(未完,待续。。。。)


做者: Harmo哈莫
做者介绍: https://zhengwh.github.io
技术博客: http://www.cnblogs.com/beer
Email: dreamzsm@gmail.com
QQ: 1295351490
时间: 2015-11
版权声明: 欢迎以学习交流为目的读者随意转载,可是请 【注明出处】
支持本文: 若是文章对您有启发,能够点击博客右下角的按钮进行 【推荐】
相关文章
相关标签/搜索