说到 Python 的单元测试框架,想必接触过 Python 的朋友脑壳里第一个想到的就是 unittest。 的确,做为 Python 的标准库,它很优秀,并被普遍用于各个项目。但你知道吗?其实在 Python 众多项目中,主流的单元测试框架远不止这一个。html
本系列文章将为你们介绍目前流行的 Python 的单元测试框架,讲讲它们的功能和特色并比较其异同,以让你们在面对不一样场景、不一样需求的时候,可以权衡利弊,选择最佳的单元测试框架。python
本文默认以 Python 3 为例进行介绍,若某些特性在 Python 2 中没有或不一样,会特别说明。
复制代码
unittest 单元测试框架最先受到 JUnit 的启发,和其余语言的主流单元测试框架有着类似的风格。git
它支持测试自动化,多个测试用例共享前置(setUp)和清理(tearDown)代码,聚合多个测试用例到测试集中,并将测试和报告框架独立。github
下面这段简单的示例来自于官方文档,用来测试三种字符串方法:upper
、isupper
、split
:数据库
import unittest
class TestStringMethods(unittest.TestCase):
def test_upper(self):
self.assertEqual('foo'.upper(), 'FOO')
def test_isupper(self):
self.assertTrue('FOO'.isupper())
self.assertFalse('Foo'.isupper())
def test_split(self):
s = 'hello world'
self.assertEqual(s.split(), ['hello', 'world'])
# check that s.split fails when the separator is not a string
with self.assertRaises(TypeError):
s.split(2)
if __name__ == '__main__':
unittest.main()
复制代码
上述示例中,经过继承 unittest.TestCase 来建立一个测试用例。 在这个类中,定义以 test
开头的方法,测试框架将把它做为独立的测试去执行。编程
每一个用例都采用 unittest
内置的断言方法来判断被测对象的行为是否符合预期,好比:windows
test_upper
测试中,使用 assertEqual 检查是不是预期值test_isupper
测试中,使用 assertTrue 或 assertFalse 验证是否符合条件test_split
测试中,使用 assertRaises 验证是否抛出一个特定异常可能有人会好奇,为何不使用内置断言语句 assert
,而要额外提供这么多断言方法并使用呢?缘由是经过使用 unittest
提供的断言方法,测试框架在运行结束后,可以聚合全部的测试结果并产生信息丰富的测试报告。而直接使用 assert
虽然也能够达到验证被测对象是否符合预期的目的,但在用例出错时,报错信息不够丰富。bash
unittest
支持用例自动(递归)发现:app
test*.py
测试用例
python -m unittest
或 python -m unittest discover
-s
参数指定要自动发现的目录, -p
参数指定用例文件的名称模式
python -m unittest discover -s project_directory -p "test_*.py"
python -m unittest discover project_directory "test_*.py"
unittest
支持执行指定用例:框架
python -m unittest test_module1 test_module2
python -m unittest test_module.TestClass
python -m unittest test_module.TestClass.test_method
python -m unittest tests/test_something.py
测试夹具也就是测试前置(setUp)和清理(tearDown)方法。
测试前置方法 setUp() 用来作一些准备工做,好比创建数据库链接。它会在用例执行前被测试框架自动调用。
测试清理方法 tearDown() 用来作一些清理工做,好比断开数据库链接。它会在用例执行完成(包括失败的状况)后被测试框架自动调用。
测试前置和清理方法能够有不一样的执行级别。
若是咱们但愿每一个测试方法以前先后分别执行测试前置和清理方法,那么须要在测试类中定义好 setUp() 和 tearDown():
class MyTestCase(unittest.TestCase):
def setUp(self):
pass
def tearDown(self):
pass
复制代码
若是咱们但愿单个测试类中只执行一次前置方法,再执行该测试类中的全部测试,最后执行一次清理方法,那么须要在测试类中定义好 setUpClass() 和 tearDownClass():
class MyTestCase(unittest.TestCase):
def setUpClass(self):
pass
def tearDownClass(self):
pass
复制代码
若是咱们但愿单个测试模块中只执行一次前置方法,再执行该模块中全部测试类的全部测试,最后执行一次清理方法,那么须要在测试模块中定义好 setUpModule() 和 tearDownModule():
def setUpModule():
pass
def tearDownModule():
pass
复制代码
unittest
支持直接跳过或按条件跳过测试,也支持预计测试失败:
class MyTestCase(unittest.TestCase):
@unittest.skip("直接跳过")
def test_nothing(self):
self.fail("shouldn't happen")
@unittest.skipIf(mylib.__version__ < (1, 3),
"知足条件跳过")
def test_format(self):
# Tests that work for only a certain version of the library.
pass
@unittest.skipUnless(sys.platform.startswith("win"), "知足条件不跳过")
def test_windows_support(self):
# windows specific testing code
pass
def test_maybe_skipped(self):
if not external_resource_available():
self.skipTest("跳过")
# test code that depends on the external resource
pass
@unittest.expectedFailure
def test_fail(self):
self.assertEqual(1, 0, "这个目前是失败的")
复制代码
有时候,你可能想编写这样的测试:在一个测试方法中传入不一样的参数来测试同一段逻辑,但它将被视做一个测试,可是若是使用了子测试,就能被视做 N(即为参数的个数)个测试。下面是一个示例:
class NumbersTest(unittest.TestCase):
def test_even(self):
""" Test that numbers between 0 and 5 are all even. """
for i in range(0, 6):
with self.subTest(i=i):
self.assertEqual(i % 2, 0)
复制代码
示例中使用了 with self.subTest(i=i)
的方式定义子测试,这种状况下,即便单个子测试执行失败,也不会影响后续子测试的执行。这样,咱们就能看到输出中有三个子测试不经过:
======================================================================
FAIL: test_even (__main__.NumbersTest) (i=1)
----------------------------------------------------------------------
Traceback (most recent call last):
File "subtests.py", line 32, in test_even
self.assertEqual(i % 2, 0)
AssertionError: 1 != 0
======================================================================
FAIL: test_even (__main__.NumbersTest) (i=3)
----------------------------------------------------------------------
Traceback (most recent call last):
File "subtests.py", line 32, in test_even
self.assertEqual(i % 2, 0)
AssertionError: 1 != 0
======================================================================
FAIL: test_even (__main__.NumbersTest) (i=5)
----------------------------------------------------------------------
Traceback (most recent call last):
File "subtests.py", line 32, in test_even
self.assertEqual(i % 2, 0)
AssertionError: 1 != 0
复制代码
基于简单示例小节中提到的例子,来讲明下 unittest
在运行完测试后的结果输出。
默认状况下的输出很是简单,展现运行了多少个用例,以及所花费的时间:
...
----------------------------------------------------------------------
Ran 3 tests in 0.000s
OK
复制代码
经过指定 -v
参数,能够获得详细输出,除了默认输出的内容,还额外显示了用例名称:
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok
----------------------------------------------------------------------
Ran 3 tests in 0.001s
OK
复制代码
假定 test_upper
测试失败,则在详细输出模式下,结果以下:
test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL
======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/Uvsers/prodesire/projects/tests/test.py", line 6, in test_upper
self.assertEqual('foo'.upper(), 'FOO1')
AssertionError: 'FOO' != 'FOO1'
- FOO
+ FOO1
? +
----------------------------------------------------------------------
Ran 3 tests in 0.001s
FAILED (failures=1)
复制代码
若是咱们将 test_upper
测试方法中的 self.assertEqual
改成 assert
,则测试结果输出中将会少了对排查错误颇有帮助的上下文信息:
test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL
======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
File "/Users/prodesire/projects/tests/test.py", line 6, in test_upper
assert 'foo'.upper() == 'FOO1'
AssertionError
----------------------------------------------------------------------
Ran 3 tests in 0.001s
FAILED (failures=1)
复制代码
若是想要生成 HTML 格式的报告,那么就须要额外借助第三方库(如 HtmlTestRunner)来操做。
在安装好第三方库后,你不能直接使用 python -m unittest
加上相似 --html report.html
的方式来生成 HTML 报告,而是须要自行编写少许代码来运行测试用例进而获得 HTML 报告。 详情请查看 HtmlTestRunner 使用说明。
unittest 做为 Python 标准库提供的单元测试框架,使用简单、功能强大,平常测试需求均能获得很好的知足。在不引入第三方库的状况下,是单元测试的不二之选。
在下篇文章中,咱们将介绍第三方单元测试框架 nose
和 nose2
,讲讲它对比于 unittest
有哪些改进,以致于让不少开发人员优先选择了它。
『讲解开源项目系列』 ——让对开源项目感兴趣的人再也不畏惧、让开源项目的发起者再也不孤单。跟着咱们的文章,你会发现编程的乐趣、使用和发现参与开源项目如此简单。欢迎留言联系咱们、加入咱们,让更多人爱上开源、贡献开源~