python 自动化测试 pytest 的使用

pytest 是一款以python为开发语言的第三方测试，主要特点如下：

比自带的 unittest 更简洁高效，兼容 unittest框架
支持参数化
可以更精确的控制要测试的测试用例
丰富的插件，已有300多个各种各样的插件，也可自定义扩展，如pytest-selenium、pytest-html、pytest-rerunfailures、pytes-xdish
可很好的和CI工具结合

安装

pip install pytest

测试用例编写规则

测试文件以test_开头或者 _test结尾
测试类以Test开头，并且不能带有 init 方法
测试文件以 test_开头
断言使用基本的 assert 即可

pytest会递归查找当前目录及子目录下所有以test_开始或者 _test结尾的python脚本，执行其中符合规则的函数和方法，不需要显示调用

运行命令：（cmd进入用例所在目录）

pytest folder_name ======》直接运行文件夹内符合规则的所有用例
pytest test_file.py ======》执行某个py文件中的用例
pytest test_file.py::test_func ======》执行模块内的某个函数（节点运行）
pytest test_file.py::TestClass::test_method ======》执行模块内测试类的某个方法（节点运行）
pytest test_file.py::TestClass ======》执行模块内某个测试类（节点运行）
pytest test_file.py::TestClass test_file2.py::test_mothod ======》多节点运行，中间用空格隔开
pytest -k pass ======》匹配用例名称的表达式，含有“pass”的被执行，其他的deselected
pytest -k "pass or fail" ======》组合匹配，含有“pass” 和 “fail”的被执行
pytest -k "not pass" ======》排除运行，不含“pass”的被执行
pytest -m finished ======》标记表达式，运行用@pytest.mark.finished 标记的用例
pytest -m "finished and not merged" ======》多个标记逻辑匹配，运行含有finished 不含 merged标记的用例
pytest -v ======》运行时显示详细信息
pytest -s ======》显示打印消息
pytest -x ======》遇到错误就停止运行
pytest -x --maxfail=2 ======》遇到两个错误就停止运行
pytest --setup-show ======》跟踪固件运行
pytest -v --reruns 5 --reruns-delay 1 ======》运行失败的用例间隔1s重新运行5次 pip install pytest-rerunfailures
pytest ======》多条断言，报错后，后面的依然执行, pip install pytest-assume，断言 pytest.assume(2==4)
pytest -n 3 ======》3个cpu并行执行测试用例，需保证测试用例可随机执行, pip install pytest-xdist分布式执行插件，多个cpu或主机执行
pytest -v -n auto ======》自动侦测系统里cpu的数目
pytest --count=2 ======》重复运行测试 pip install pytest-repeat
pytest --html=./report/report.html ======》生成报告，此报告中css是独立的，分享时会丢失样式，pip install pytest-html
pytest --html=report.html --self-containd-html ======》合并css到html报告中，除了passed所有行都被展开
pytest --durations=10 ======》获取最慢的10个用例的执行耗时

用例执行顺序控制

pytest 用例执行顺序默认是按字母顺序去执行，要控制执行顺序，需要安装插件 pytest-ordering：pip install pytest-ordering

在测试方法上加上装饰器：

@pytest.mark.last 最后一个执行

@pytest.mark.run(order=n) n=1则是第一个执行

Mark

标签的使用方法：

注册标签名 / 内置标签---> 在测试用例 / 测试类 / 模块文件前面加上 @pytest.mark.标签名

注册方法：

1. 在conftest.py 文件中添加代码

# 单个标签文件内容
def pytest_configure(config):
    config.addinivalue_line("markers", "demo:demo标签名称")

# 多个标签文件内容
def pytest_configure(config):
    marker_list = ["p0:p0级别用例", "p1:p1级别用例", "p2:p2级别用例"] # 标签名称
    for markers in marker_list:
        config.addinivalue_line("markers", markers)

2. 项目中添加pytest.ini配置文件

[pytest]
markers = 
    p0:p0级别用例
    p1:p1级别用例
    p2:p2级别用例

使用方法：

import pytest


@pytest.mark.p0
def test_mark01():
    print("函数级别的mark_p0")

@pytest.mark.p1
def test_mark02():
    print("函数级别的mark_p1")

@pytest.mark.P2
class TestDemo:
    def test_mark03(self):
        print("mark_p2")

    def test_mark04(self):
        print("mark_p2")

运行方式：

1. 命令行运行

pytest -m "p0 and p1"

2. 文件运行

pytest.main(["-m", "P0", "--html=report.html"])

内置标签：

参数化：@pytest.mark.parametrize(argnames, argvalues)

无条件跳过用例：@pytest.mark.skip(reason="xxx")

有条件跳过用例：@pytest.mark.skipif(version < 0.3, reason = "not supported until 0.3")

预测执行失败进行提示标记：@pytest.mark.xfail(version < 0.3, reason = "not supported until 0.3")，运行结果为X（通过xpassed，失败xfailed）

# 参数化
import hashlib

@pytest.mark.parametrize("x", list(range(10)))
def test_somethins(x):
    time.sleep(1)

@pytest.mark.parametrize("passwd",["123456", "abcdefgfs", "as52345fasdf4"])
def test_passwd_length(passwd):
    assert len(passwd) >= 8

@pytest.mark.parametrize('user, passwd',[('jack', 'abcdefgh'),('tom', 'a123456a')])
def test_passwd_md5(user, passwd):
    db = {
        'jack': 'e8dc4081b13434b45189a720b77b6818',
        'tom': '1702a132e769a623c1adb78353fc9503'
    }
    assert hashlib.md5(passwd.encode()).hexdigest() == db[user]

# 如果觉得每组测试的默认参数显示不清晰，可以使用 pytest.param 的 id 参数进行自定义
@pytest.mark.parametrize("user, passwd",
                         [pytest.param("jack", "abcdefgh", id = "User<Jack>"),
                          pytest.param("tom", "a123456a", id = "User<Tom>")])
def test_passwd_md5_id(user, passwd):
    db = {
        'jack': 'e8dc4081b13434b45189a720b77b6818',
        'tom': '1702a132e769a623c1adb78353fc9503'
    }
    assert hashlib.md5(passwd.encode()).hexdigest() == db[user]

Fixture

固件：是一些函数，pytest会在执行函数之前或者之后加载运行它们，相当于预处理和后处理。

fixture的目的是提供一个固定基线，在该基线上测试可以可靠地、重复的执行。

名称：默认为定义时的函数名，可以通过 @pytest.fixture(name="demo") 给fixture重命名
定义：在固件函数定义前加上@pytest.fixture()；fixture是有返回值的，没return则返回None

def test_demo(fixture_func_name)
@pytest.mark.usefixtures("fixture_func_name1", "fixture_func_name2") 标记函数或者类

预处理和后处理：用yield关键词，yield之前的代码是预处理，之后的是后处理
作用域：通过scope参数控制作用域

function：函数级，每个测试函数都会执行一次（默认）
class：类级别，每个测试类执行一次，所有方法都共享这个fixture
module：模块级别，每个模块.py执行一次，模块中所有测试函数、类方法或者其他fixture 都共享这个fixture
session：会话级别，每次会话只执行一次，一次会话中所有的函数、方法都共享这个fixture

集中管理：使用文件conftest.py 集中管理，在不同层级定义，作用于在其所在的目录和子目录，pytest会自动调用

scope、yield、auto的使用

# scope、yield、auto使用
@pytest.fixture(scope = "function", autouse=True)
def function_scope():
    pass

@pytest.fixture(scope = "module", autouse=True)
def module_scope():
    pass

@pytest.fixture(scope = "session")
def session_scope():
    pass

@pytest.fixture(scope = "class", autouse=True)
def class_scope():
    pass

import time

DATE_FORMAT = '%Y-%m-%d %H:%M:%S'

@pytest.fixture(scope='session', autouse=True)
def timer_session_scope():
    start = time.time()
    print('\nsession start: {}'.format(time.strftime(DATE_FORMAT, time.localtime(start))))

    yield

    finished = time.time()
    print('\nsession finished: {}'.format(time.strftime(DATE_FORMAT, time.localtime(finished))))
    print('session Total time cost: {:.3f}s'.format(finished - start))

def test_1():
    time.sleep(1)

def test_2():
    time.sleep(2)

'''
执行命令：pytest --setup-show -s
固件执行结果：
test_pytest_study.py
session start: 2020-04-16 17:29:02

SETUP    S timer_session_scope
    SETUP    M module_scope
      SETUP    C class_scope
        SETUP    F function_scope
        test_pytest_study.py::test_3 (fixtures used: class_scope, function_scope, module_scope, timer_session_scope).
        TEARDOWN F function_scope
      TEARDOWN C class_scope
      SETUP    C class_scope
        SETUP    F function_scope
        test_pytest_study.py::test_4 (fixtures used: class_scope, function_scope, module_scope, timer_session_scope).
        TEARDOWN F function_scope
      TEARDOWN C class_scope
    TEARDOWN M module_scope
session finished: 2020-04-16 17:29:05
session Total time cost: 3.087s

TEARDOWN S timer_session_scope

'''

使用文件conftest.py 集中管理

# conftest.py
# conding=utf-8
import pytest

@pytest.fixture()
def postcode():
    print("执行postcode fixture")
    return "010"

# test_demo.py
# coding=utf-8
import pytest

class TestDemo():

    def test_postcode(self, postcode):
        assert postcode == "010"

if __name__=="__main__":
    pytest.main(["--setup-show", "-s", "test_demo.py"])

python test_demo.py
执行过程：
test_demo.py 执行postcode fixture

        SETUP    F postcode
        test_demo.py::TestDemo::test_postcode (fixtures used: postcode).
        TEARDOWN F postcode

# 如果整个文件都用一个fixture，可以用pytestmark标记
pytestmark = pytest.mark.usefixtures("login")

fixture参数化

固件参数化需要使用pytest内置的固件request，并通过 request.param 获取参数。

# test_demo.py
@pytest.fixture(params=[
    ("user1", "passwd1"),
    ("user2", "passwd2")
    ])
def param(request):
    return request.param

@pytest.fixture(autouse=True)
def login(param):
    print("\n登录成功 %s %s" %param)
    yield
    print("\n退出成功 %s %s" %param)

def test_api():
    assert 1 == 1

'''
pytest -s -v test_demo.py
运行结果：
test_demo.py::test_api[param0]
登录成功 user1 passwd1
PASSED
退出成功 user1 passwd1

test_demo.py::test_api[param1]
登录成功 user2 passwd2
PASSED
退出成功 user2 passwd2
'''

assert

assert "h" in "hello"
assert 3==4
assert 3!=4
assert f()==4
assert 5>6
assert not xx
assert {"0", "1", "2"} == {"0", "1", "2"}