近い将来、インターフェーステストの対象範囲を優先する予定ですが、そのためにはテストフレームワークを開発する必要がありますが、今回も何か違うことをしたいと思っています。
- インターフェーステストの方が効率的です。テスターはすぐに結果をフィードバックしてもらいたいと考えていますが、インターフェースの数は一般的に多く、増えるため、実行効率の向上が必要です。
- 実際、インターフェーステストのユースケースは単純なストレステストにも使用でき、ストレステストには同時実行性が必要です
- インターフェイステストの使用例には多くの繰り返しがあります。テスターはインターフェイステストの設計にのみ注意を払う必要があります。これらの繰り返し
タスクを自動化するのが最善です。Pytestと魅力は非常に使いやすいので、新しいフレームワークで統合する必要があります。 - インターフェイステストのユースケースは、データをリクエストデータに直接マッピングできるように、できればyamlを使用して、できるだけ簡潔にする必要があります。ユースケースの記述は、空白を埋めるのと同じであるため、自動化の経験がないメンバーに簡単に宣伝でき、Pythonのコルーチンに非常に感銘を受けています。興味深いことに、私はしばらく勉強していて、学んだことを常に適用したいと思っているので、aiohttpを使用してhttpリクエストを実装することにしました。ただし、pytestはイベントループをサポートしていないため、それらを組み合わせるには多少の手間がかかります。それで私は考え続けました、そして考えた結果は私が実際に全体を2つの部分に分けることができるということです。最初の部分は、yamlテストケース、httpリクエストテストインターフェイスを読み取り、テストデータを収集することです。2番目の部分は、テストデータに基づいてpytestによって承認されたテストケースを動的に生成し、それらを実行してテストレポートを生成することです。このように、この2つを完全に組み合わせることができ、私のビジョンに完全に適合します。アイデアが確立され、それが実現されます。
最初の部分（プロセス全体が非同期で非ブロッキングである必要があります）
yamlテストケースを読む
このような単純なユースケーステンプレートを設計しました。これの利点は、パラメータ名とaiohttp.ClientSession（）。request（method、url、** kwargs）が直接対応しており、直接渡すことができることです。 requestメソッドは、さまざまな変換を回避し、簡潔でエレガント、そして表現力豊かです。
args:
- post
- /xxx/add
kwargs:
-
caseName: 新增xxx
data:
name: ${gen_uid(10)}
validator:
-
json:
successed: True
サードパーティのライブラリであるAiofilesを使用して、ファイルを非同期で読み取ることができます。yaml_loadは、yamlテストケースを読み取るときにメインプロセスがブロックされないようにするためのルーチンです。テストケースのデータは、await yaml_load（）を介して取得できます。
async def yaml_load(dir='', file=''):
"""
异步读取yaml文件，并转义其中的特殊值
:param file:
:return:
"""
if dir:
file = os.path.join(dir, file)
async with aiofiles.open(file, 'r', encoding='utf-8', errors='ignore') as f:
data = await f.read()
data = yaml.load(data)
# 匹配函数调用形式的语法
pattern_function = re.compile(r'^\${([A-Za-z_]+\w*\(.*\))}$')
pattern_function2 = re.compile(r'^\${(.*)}$')
# 匹配取默认值的语法
pattern_function3 = re.compile(r'^\$\((.*)\)$')
def my_iter(data):
"""
递归测试用例，根据不同数据类型做相应处理，将模板语法转化为正常值
:param data:
:return:
"""
if isinstance(data, (list, tuple)):
for index, _data in enumerate(data):
data[index] = my_iter(_data) or _data
elif isinstance(data, dict):
for k, v in data.items():
data[k] = my_iter(v) or v
elif isinstance(data, (str, bytes)):
m = pattern_function.match(data)
if not m:
m = pattern_function2.match(data)
if m:
return eval(m.group(1))
if not m:
m = pattern_function3.match(data)
if m:
K, k = m.group(1).split(':')
return bxmat.default_values.get(K).get(k)
return data
my_iter(data)
return BXMDict(data)ご覧のとおり、テストケースは、$ {function}、$（a：b）などの特定のテンプレート構文もサポートしています。これにより、テスターがユースケースを作成する機能を大幅に拡張できます。
http请求测试接口
HTTPリクエストはaiohttp.ClientSession（）。request（method、url、** kwargs）で直接使用できます。httpはコルーチンでもあり、ネットワークリクエストがブロックされないようにすることができ、インターフェイステストデータはawait http（）を介して取得できます。
async def http(domain, *args, **kwargs):
"""
http请求处理器
:param domain: 服务地址
:param args:
:param kwargs:
:return:
"""
method, api = args
arguments = kwargs.get('data') or kwargs.get('params') or kwargs.get('json') or {}
# kwargs中加入token
kwargs.setdefault('headers', {}).update({'token': bxmat.token})
# 拼接服务地址和api
url = ''.join([domain, api])
async with ClientSession() as session:
async with session.request(method, url, **kwargs) as response:
res = await response_handler(response)
return {
'response': res,
'url': url,
'arguments': arguments
}テストデータを収集する
コルーチンの同時実行性は非常に高速です。サービス応答によるヒューズの発生を回避するために、asyncio.Semaphore（num）を導入して同時実行性を制御できます。
async def entrace(test_cases, loop, semaphore=None):
"""
http执行入口
:param test_cases:
:param semaphore:
:return:
"""
res = BXMDict()
# 在CookieJar的update_cookies方法中，如果unsafe=False并且访问的是IP地址，客户端是不会更新cookie信息
# 这就导致session不能正确处理登录态的问题
# 所以这里使用的cookie_jar参数使用手动生成的CookieJar对象，并将其unsafe设置为True
async with ClientSession(loop=loop, cookie_jar=CookieJar(unsafe=True), headers={'token': bxmat.token}) as session:
await advertise_cms_login(session)
if semaphore:
async with semaphore:
for test_case in test_cases:
data = await one(session, case_name=test_case)
res.setdefault(data.pop('case_dir'), BXMList()).append(data)
else:
for test_case in test_cases:
data = await one(session, case_name=test_case)
res.setdefault(data.pop('case_dir'), BXMList()).append(data)
return res
async def one(session, case_dir='', case_name=''):
"""
一份测试用例执行的全过程，包括读取.yml测试用例，执行http请求，返回请求结果
所有操作都是异步非阻塞的
:param session: session会话
:param case_dir: 用例目录
:param case_name: 用例名称
:return:
"""
project_name = case_name.split(os.sep)[1]
domain = bxmat.url.get(project_name)
test_data = await yaml_load(dir=case_dir, file=case_name)
result = BXMDict({
'case_dir': os.path.dirname(case_name),
'api': test_data.args[1].replace('/', '_'),
})
if isinstance(test_data.kwargs, list):
for index, each_data in enumerate(test_data.kwargs):
step_name = each_data.pop('caseName')
r = await http(session, domain, *test_data.args, **each_data)
r.update({'case_name': step_name})
result.setdefault('responses', BXMList()).append({
'response': r,
'validator': test_data.validator[index]
})
else:
step_name = test_data.kwargs.pop('caseName')
r = await http(session, domain, *test_data.args, **test_data.kwargs)
r.update({'case_name': step_name})
result.setdefault('responses', BXMList()).append({
'response': r,
'validator': test_data.validator
})
return resultイベントループは、コルーチンの実行と結果の返送を担当します。最終的な結果収集では、テストケースディレクトリを使用して結果を分類しました。これにより、pytestによって認識されるテストケースの後続の自動生成の優れた基盤が築かれました。
def main(test_cases):
"""
事件循环主函数，负责所有接口请求的执行
:param test_cases:
:return:
"""
loop = asyncio.get_event_loop()
semaphore = asyncio.Semaphore(bxmat.semaphore)
# 需要处理的任务
# tasks = [asyncio.ensure_future(one(case_name=test_case, semaphore=semaphore)) for test_case in test_cases]
task = loop.create_task(entrace(test_cases, loop, semaphore))
# 将协程注册到事件循环，并启动事件循环
try:
# loop.run_until_complete(asyncio.gather(*tasks))
loop.run_until_complete(task)
finally:
loop.close()
return task.result()第二部
pytestによって承認されたテストケースを動的に生成します
まず、pytestの動作メカニズムを説明します。pytestは最初に現在のディレクトリでconftest.pyファイルを見つけます。見つかった場合は、最初に実行してから、コマンドラインパラメータに従って、指定したディレクトリでテストの開始時または終了時に.pyファイルを見つけます。見つかった場合、見つかった場合は、フィクスチャを分析し、セッションまたはモジュールタイプがあり、パラメータautotest = Trueまたはマークされたpytest.mark.usefixtures（a ...）がある場合は、最初にそれらを実行してから、クラスとメソッドを順番に見つけます。ルールは似ています。おそらくそのようなプロセス。
pytestテストを実行するための鍵は、pytest検出メカニズムによって認識されるtestxx.pyファイルが少なくとも1つ必要であり、ファイルにTestxxClassクラスが含まれ、クラスに少なくとも1つのdef testxx（self）メソッドがあることがわかります。
pytestによって認識されるテストファイルがないので、私の考えは、最初にガイド付きテストファイルを作成することです。これは、pytestを動かす役割を果たします。pytest.skip（）を使用して、テストメソッドをスキップできます。次に、pytestがアクティブ化された後にユースケースを動的に生成し、これらのユースケースを検出し、これらのユースケースを実行し、テストレポートを一度に生成する方法を目標としています。
# test_bootstrap.py
import pytest
class TestStarter(object):
def test_start(self):
pytest.skip('此为测试启动方法, 不执行')フィクスチャにはセットアップ機能があるため、フィクスチャを使用することを考えています。スコープがセッションであるフィクスチャを定義し、TestStarterで使用をマークすることで、TestStarterをインポートする前にいくつかのことを前処理してから、ユースケース操作を生成します。ゴールを完了するためにこのフィクスチャに入れてください。
# test_bootstrap.py
import pytest
@pytest.mark.usefixtures('te', 'test_cases')
class TestStarter(object):
def test_start(self):
pytest.skip('此为测试启动方法, 不执行')pytestには--rootdirパラメータがあります。このフィクスチャの主な目的は、-rootdirを介してターゲットディレクトリを取得し、その中の.ymlテストファイルを見つけて、実行後にテストデータを取得し、ディレクトリごとにtestxx.pyを作成することです。ファイルの内容はコンテンツ変数の内容であり、これらのパラメーターはpytest.main（）メソッドに渡されて、テストケースのテストが実行されます。つまり、別のpytestがpytest内で実行されます。最後に、生成されたテストファイルを削除します。pytestにはconftestで定義されたコンテンツを自己検出する機能があり、追加のインポートを必要としないため、フィクスチャはconftest.pyで定義する必要があることに注意してください。
# conftest.py
@pytest.fixture(scope='session')
def test_cases(request):
"""
测试用例生成处理
:param request:
:return:
"""
var = request.config.getoption("--rootdir")
test_file = request.config.getoption("--tf")
env = request.config.getoption("--te")
cases = []
if test_file:
cases = [test_file]
else:
if os.path.isdir(var):
for root, dirs, files in os.walk(var):
if re.match(r'\w+', root):
if files:
cases.extend([os.path.join(root, file) for file in files if file.endswith('yml')])
data = main(cases)
content = """
import allure
from conftest import CaseMetaClass
@allure.feature('{}接口测试({}项目)')
class Test{}API(object, metaclass=CaseMetaClass):
test_cases_data = {}
"""
test_cases_files = []
if os.path.isdir(var):
for root, dirs, files in os.walk(var):
if not ('.' in root or '__' in root):
if files:
case_name = os.path.basename(root)
project_name = os.path.basename(os.path.dirname(root))
test_case_file = os.path.join(root, 'test_{}.py'.format(case_name))
with open(test_case_file, 'w', encoding='utf-8') as fw:
fw.write(content.format(case_name, project_name, case_name.title(), data.get(root)))
test_cases_files.append(test_case_file)
if test_file:
temp = os.path.dirname(test_file)
py_file = os.path.join(temp, 'test_{}.py'.format(os.path.basename(temp)))
else:
py_file = var
pytest.main([
'-v',
py_file,
'--alluredir',
'report',
'--te',
env,
'--capture',
'no',
'--disable-warnings',
])
for file in test_cases_files:
os.remove(file)
return test_cases_filesご覧のとおり、テストファイルにはTestxxAPIクラスがあります。このクラスにはtest_cases_data属性が1つだけあり、testxxメソッドがないため、pytestによって認識されるテストケースではなく、まったく実行できません。では、この問題をどのように解決するのでしょうか。答えはCaseMetaClassです。
function_express = """
def {}(self, response, validata):
with allure.step(response.pop('case_name')):
validator(response,validata)"""
class CaseMetaClass(type):
"""
根据接口调用的结果自动生成测试用例
"""
def __new__(cls, name, bases, attrs):
test_cases_data = attrs.pop('test_cases_data')
for each in test_cases_data:
api = each.pop('api')
function_name = 'test' + api
test_data = [tuple(x.values()) for x in each.get('responses')]
function = gen_function(function_express.format(function_name),
namespace={'validator': validator, 'allure': allure})
# 集成allure
story_function = allure.story('{}'.format(api.replace('_', '/')))(function)
attrs[function_name] = pytest.mark.parametrize('response,validata', test_data)(story_function)
return super().__new__(cls, name, bases, attrs)CaseMetaClassはメタクラスです。test_cases_data属性の内容を読み取り、メソッドオブジェクトを動的に生成します。各インターフェイスは単一のメソッドです。allureのきめ細かいテストレポート関数とpytestが提供するパラメータ化されたテスト関数で装飾された後、メソッドオブジェクトをtest + apiのクラス属性に割り当てます。つまり、TestxxAPIには、生成後にいくつかのtestxxメソッドがあります。このとき、pytestを内部で実行すると、pytestはこれらのユースケースを見つけて実行することもできます。
def gen_function(function_express, namespace={}):
"""
动态生成函数对象, 函数作用域默认设置为builtins.__dict__，并合并namespace的变量
:param function_express: 函数表达式，示例 'def foobar(): return "foobar"'
:return:
"""
builtins.__dict__.update(namespace)
module_code = compile(function_express, '', 'exec')
function_code = [c for c in module_code.co_consts if isinstance(c, types.CodeType)][0]
return types.FunctionType(function_code, builtins.__dict__)注意すべきオブジェクトを生成する方法では、問題の名前名、できればデフォルトが組み込みのDictを渡し、次にカスタム名前名パラメーターによってメソッドに渡します。
フォローアップ（ymlテストファイルは自動的に生成されます）
この時点で、フレームワークのコア機能は完了しています。いくつかのプロジェクトの後、効果は完全に期待を上回りました。使用例を書くのにクールすぎないでください。実行が速すぎないでください。テストレポートは明確で美しいですが、私は私はまだ少し疲れています、なぜですか？
私の現在のインターフェーステストのプロセスは、プロジェクトがswaggerを統合している場合、swaggerを使用してインターフェース情報を取得し、インターフェース情報に基づいてプロジェクトのユースケースを手動で作成することです。このプロセスは、ユースケーステンプレートが大まかに修正されているため、非常に反復的で面倒です。実際の例は、ディレクトリ、ユースケース名、メソッドなどのいくつかのパラメータの違いです。このプロセスは完全に自動化できると思います。
swaggerにはWebページがあるため、シェルフを設定するのと同じように、重要な情報を抽出して.ymlテストファイルを自動的に作成できます。プロジェクトシェルフが生成されたら、デザインケースに移動してパラメータを入力できます。
そこで、swaggerリクエストのホームページからHTMLを解析しようとしたところ、実際のデータがないことにがっかりしました。後でajaxが使われていると思いました。ブラウザコンソールを開くと、api-docsリクエストが見つかりました。それはjsonデータであり、問題は単純であり、Webページの分析は不要です。
import re
import os
import sys
from requests import Session
template ="""
args:
- {method}
- {api}
kwargs:
-
caseName: {caseName}
{data_or_params}:
{data}
validator:
-
json:
successed: True
"""
def auto_gen_cases(swagger_url, project_name):
"""
根据swagger返回的json数据自动生成yml测试用例模板
:param swagger_url:
:param project_name:
:return:
"""
res = Session().request('get', swagger_url).json()
data = res.get('paths')
workspace = os.getcwd()
project_ = os.path.join(workspace, project_name)
if not os.path.exists(project_):
os.mkdir(project_)
for k, v in data.items():
pa_res = re.split(r'[/]+', k)
dir, *file = pa_res[1:]
if file:
file = ''.join([x.title() for x in file])
else:
file = dir
file += '.yml'
dirs = os.path.join(project_, dir)
if not os.path.exists(dirs):
os.mkdir(dirs)
os.chdir(dirs)
if len(v) > 1:
v = {'post': v.get('post')}
for _k, _v in v.items():
method = _k
api = k
caseName = _v.get('description')
data_or_params = 'params' if method == 'get' else 'data'
parameters = _v.get('parameters')
data_s = ''
try:
for each in parameters:
data_s += each.get('name')
data_s += ': \n'
data_s += ' ' * 8
except TypeError:
data_s += '{}'
file_ = os.path.join(dirs, file)
with open(file_, 'w', encoding='utf-8') as fw:
fw.write(template.format(
method=method,
api=api,
caseName=caseName,
data_or_params=data_or_params,
data=data_s
))
os.chdir(project_)プロジェクトのインターフェーステストカバレッジを開始したいと思います。プロジェクトがswaggerを統合している限り、プロジェクトシェルフは数秒で生成できます。テスターはインターフェーステストケースの設計に集中するだけで済みます。テストチームが宣伝して使用することは非常に有意義だと思います。私のような怠惰な人にとっても便利です。