Pytest介绍
pytest是一个非常成熟的全功能的Python测试框架,主要有以下几个特点:简单灵活、容易上手、文档丰富;支持参数化,可以细粒度地控制被测用例;能够支持简单的单元测试和复杂的功能测试,还可以用来做Web自动化(selenium)、APP自动化(appium)以及接口自动化(pytest+requests);pytest具有很多第三方插件,并且可以自动以扩展,比较好用的如pytest-html(完美html测试报告生成)、pytest-rerunfailures(失败用例重复执行)、pytest-xdist(多CPU分发)等;测试用例的skip和xfail处理;可以很好的和CI工具结合,如:Jenkins
Pytest安装
直接在命令窗口执行以下命令即可,更多信息可查阅官方文档
pip install pytest
pytest --version
直接在PyCharm中安装,下面提到的使用pip安装方式都可以直接在PyCharm中安装,安装成功后点击【OK】
PyCharm中设置使用pytest
由于PyCharm默认使用Unitest,所以安装pytest后需要更改默认值,配置路径如下
配置路径:依次点击【File】→【Settings】→【Tools】→【Python Integrated Tools】,【Default test runner】选择“pytest”,然后点击【Apply】→【OK】,就可以使用Pytest啦
Pytest使用方法
Pytest规则
编写pytest测试用例默认使用以下规则,当然,规则是可以修改的
- 测试文件以
test_ 开头或者以_test 结尾 - 测试类以
Test 开头,且类中不能包含__init__ 方法 - 测试函数/方法以
test_ 开头 - 断言使用基本的
assert 即可
修改规则需添加配置文件pytest.ini ,它是pytest的主配置文件,可以修改pytest的默认行为,此文件放在项目的根目录下才会生效(除非指定目录查找配置文件),如下配置,注意:实际配置文件中不可出现中文、冒号、引号等
[pytest]
python_files = test_*.py *_test.py case_*
python_classes = Test* *_case*
python_functions = test_* case_*
testpaths = testcases
addopts = -vs -l
norecursedirs = .* build dist CVS _darcs {arch} *.egg src
log_cli = True
markers =
smoke : smoke tests as smoke
output : print
Pytest标记
上面的配置文件中提到了标记,又如何使用呢?
默认情况下,pytest会递归查找当前目录下所有以test开头或结尾的Python脚本,并执行文件内所有以test开头的函数和方法。工作中由于功能尚未实现、挑选用例执行冒烟测试等原因,只想测试指定用例,在pytest中有几种方法可解决
-
显式指定函数名,通过:: 标记,例如:某文件内存在两个类,但一个类尚未完成,只想执行第二个类中的用例,就可指定类执行 pytest -vs test_learn.py::Testpy2
pytest -vs test_learn.py::Testpy2::test_method
-
使用模糊匹配,通过-k 参数识别关键字,例如: pytest -k login test_learn.py
-
使用pytest.mark在用例上进行标记,标记需要在pytest.ini 文件中配置,配置方法见上文,格式一定要写对,若未配置也可执行,但是会出现警告,配置中冒号前是标记名,冒号后可以理解为标记解释,当然也可以前后一样 @pytest.mark.check
def test_func1(self):
assert 1 == 1
@pytest.mark.output
class caseCls(object):
def dyd_case(self):
@pytest.mark.smoke
def test_func1(self):
print("这是Pytest")
执行带有标记的函数,使用-m 参数 pytest -m check test_learn.py
pytest -m smoke test_learn.py
pytest -m output test_learn.py
Pytest运行
-
通过命令行运行 pytest -vs /package_name
pytest -vs file_name.py
pytest -vs file_name.py::class_name
pytest -vs file_name.py::class_name::method_name
pytest -vs file_name.py::function_name
pytest命令参数
-v 展示每个测试函数的执行结果(详细信息)-q 只显示整体测试结果(简要信息)-s 展示测试函数中print()函数输出信息-k 只执行包含关键字的用例-m 只执行指定标记的用例-x 出现失败用例则立即停止执行-l 用例失败时打印相关局部变量-c 从指定目录加载配置文件,而非自动查找配置文件-lf 只执行上次失败的用例,若没有则执行全部用例-ff 先执行完上次失败的再执行剩余的用例-tb=style 用例失败时错误的详细程度(auto/long/short/line/native/no)--maxfail=num 用例允许失败的最大次数,超出则立即停止执行--collect-only 收集但不执行用例--durations=num -vv 显示设定数值内,按照耗时时长降序打印结果,通常用于调优-h ,--help 帮助 -
通过main方法 if __name__ == '__main__':
pytest.main(["-sv", "file_name.py"])
示例:
import pytest
def test_func():
assert 1 == 1
class Testpy(object):
def test_method(self):
assert 1 + 2 == 3
@pytest.mark.smoke
def test_func1(self):
print("这是Pytest")
@pytest.mark.smoke
class caseCls(object):
def dyd_case(self):
print("修改函数后的规则后")
if __name__ == '__main__':
pytest.main(["test_learn.py"])
使用命令执行示例中的用例
pytest ../Pytest
pytest -vs test_learn.py
pytest -vs test_learn.py::Testpy
pytest -vs test_learn.py::Testpy::test_method
pytest -vs test_learn.py::test_function
pytest -m smoke test_learn.py
pytest -k dyd test_learn.py
pytest --maxfail=2 test_learn.py
pytest --collect-only test_learn.py
Pytest参数化
在pytest中,可以使用参数化测试,即每组参数都独立执行一次
使用参数化装饰器pytest.mark.parametrize(argnames,argvalues) ,参数化的名字要与方法中的参数名一一对应,传递多个参数时可使用列表、元组、字典或列表嵌套等,实际工作中还是以json、yaml、excel等文件形式做参数化的较多,后续再介绍,示例如下:
import pytest
list = [1,"1+1","1+2"]
@pytest.mark.parametrize("value",list,ids=["value=1","value=2","value=3"])
def test_list(value):
print(value)
tuple = [("abc"),("def"),["g","h","i"],[1,2,3]]
@pytest.mark.parametrize("x,y,z",tuple)
def test_xzy(x,y,z):
print(x,y,z)
@pytest.mark.parametrize("input,expect",[("1+1",2),("2+2",4)])
def test_count(input,expect):
assert eval(input) ==expect
dict = ({"username":"dyd","passwd":123456},{"phone":18888888888,"age":18})
@pytest.mark.parametrize("dic",dict)
def test_dict(dic):
print(dic)
data = [
pytest.param(100,100,200,id="a+b:pass"),
pytest.param("a","b","ab",id="a+b:pass"),
pytest.param(1,1,6,id="a+b:fail")]
def add(a,b):
return a+b
class TestParam(object):
@pytest.mark.parametrize("a,b,expect",data)
def test_param(self,a,b,expect):
assert add(a,b) == expect
@pytest.mark.parametrize("x",(1,2,3))
@pytest.mark.parametrize("y",(4,5,6))
def test_dkej(x,y):
print(f"打印组合方式:({x},{y})")
Setup与teardown
在执行用例时,可能某些操作只需要进行一次,比如打开浏览器,或者每次操作前都需要先执行其它操作,比如查看数据前需要连接数据库,查看后需要断开数据库等,类似的操作可以使用以下几种setup/teardown进行配置与销毁
- 模块级 setup_module/teardowm_module 开始于模块始末,全局的
- 函数级 setup_function/teardown_function 只对函数用例生效(在类外)
- 类级 setup_class/teardown_class 只在类中前后运行一次(在类中)
- 方法级 setup_method/teardown_method 类中的每个方法执行前后(在类中)
- 类中的 setup/teardown 运行在调用方法前后(常用)
下面是使用方法简单示例,setup/teardown并非必须成对使用,比如连接数据库后不想断开,就可以只使用setup
def setup_module():
print("setup_模块级")
def teardown_module():
print("teardown_模块级")
…… setup_function/teardown_function
def test_01():
print("测试01")
def test_02():
print("测试02")
class Testcase01(object):
@classmethod
def setup_class(cls):
print("setup_类")
def teardown_class(cls):
print("teardown_类")
…… setup_method/teardown_method
…… setup/teardown
def test_03(self):
print("测试03")
def test_04(self):
print("测试04")
下面是两个函数test_01、02和两个方法test_03、04,在配置setup和teardown后运行的结果,从结果中可以看出它们的层级关系
setear_test.py::test_01
setup_模块级
setup_函数
测试用例01 PASSED
teardown_函数
setear_test.py::test_02
setup_函数
测试用例02 PASSED
teardown_函数
setear_test.py::Testcase01::test_03
setup_类
setup_方法
setup
测试用例03 PASSED
teardown
teardown_方法
setear_test.py::Testcase01::test_04
setup_方法
setup
测试用例04 PASSED
teardown
teardown_方法
teardown_类
teardown_模块级
Pytest fixture
上面setup/teardown可实现的功能,fixture可以更灵活的实现
定义fixture和定义普通函数差不多,唯一区别是在函数上加上个装饰器@pytest.fixture()
为了跟用例有所区分,fixture命名时不要以test开头,fixture是有返回值的,若没有返回值则默认为None
用例调用fixture的返回值,直接把fixture的函数名当作变量名
import pytest
@pytest.fixture()
def login():
print("请先登录")
return
def test_Search():
print("搜索商品,无需登录")
def test_Cart(login):
print("加购商品,需登录")
@pytest.fixture(scope="class")
def login():
print("请登录后再购买")
return
class Testfix(object):
def test_Look(self):
print("查看商品,无需登录")
def test_Pay(self,login):
print("购买商品,需登录")
输出结果如下,控制范围(scope)还有module,package,session,以及其它参数如:param、ids、name等
test_fix.py::test_Search
搜索商品,无需登录 PASSED
test_fix.py::test_Cart
请登录后再购买
加购商品,需登录 PASSED
test_fix.py::Testfix::test_Look
查看商品,无需登录 PASSED
test_fix.py::Testfix::test_Pay
请登录后再购买
购买商品,需登录 PASSED
再介绍一下session级别,它是可以跨.py模块调用的,也就是说有多个.py文件的测试用例时,只需调用一次fixture,设置scope=“session”,并写在conftest.py文件中,conftest.py文件是固定名称,pytest会自动识别此文件,所以不可改名称,此文件放在项目根目录,则可全局调用,放在某个包中,则只对包内的有效
比如使用钩子函数实现失败用例截图,将以下代码写在conftest.py中,其它模块就可以直接调用
import allure
import pytest
from selenium import webdriver
driver = None
@pytest.hookimpl(tryfirst=1,hookwrapper=1)
def pytest_runtest_makereport(item,call):
outcome = yield
rep = outcome.get_result()
if rep.when == "call" and rep.failed:
img = driver.get_screenshot_as_png()
allure.attach(img, "失败截图", allure.attachment_type.PNG)
@pytest.fixture(scope="session",autouse=True)
def init_driver():
global driver
driver = webdriver.Chrome()
return driver
调用conftest.py中的函数
def test_baidu(init_driver):
init_driver.get("http://baidu.com")
init_driver.find_element(By.CLASS_NAME, "123").click()
……
Pytest Allure
Allure安装
Allure运行需要Java环境,Java安装并配置环境变量后,在命令窗口执行以下命令,更多信息可查阅官方文档
pip install allure-pytest
安装完成后,下载一个allure可执行文件,点击此次进入下载列表页,下载所需版本,下载后解压文件,然后将bin目录加到PATH环境变量中,最后在命令行窗口输入allure 或者allure --version 验证是否配置成功
Allure用例描述
添加装饰器 | 参数值 | 参数说明 |
---|
@allure.epic() | epic描述 | 定义项目,往下是feature | @allure.feature() | 模块名称 | 大的功能点描述,往下是story | @allure.story() | 次级分类 | 用户故事,次级功能点描述,往下是title | @allure.title() | 用例的标题 | 测试用例重命名 | @allure.testcase() | 测试用例的链接地址 | 对应功能测试用例系统里面的用例 | @allure.issue() | 测试用例的缺陷地址 | 对应缺陷管理系统里面的链接 | @allure.description() | 用例描述 | 测试用例的描述 | @allure.step() | 操作步骤 | 测试用例的步骤 | @allure.severity() | 用例等级 | blocker,critical,normal,minor,trivial | @allure.link() | 链接 | 定义一个链接,在测试报告展现 | @allure.attach() | 附件 | 报告添加附件,支持html、图片、视频 |
Allure报告生成
生成测试报告必须在命令行执行
-
生成中间结果,使用下面的命令指定结果生成到的目录,生成结果中包含两个格式文件(text、json) pytest --alluredir=./result --clean-alluredir
pytest --alluredir=./result test_Jpress.py
pytest --alluredir=./result test_Jpress.py::TestUser
……
-
中间结果无法直接查看,执行下面命令启动Allure查看HTML报告 allure serve ./result
-
也可以直接生成可在线访问的HTML结果 allure generate ./result -o ./report --clean
示例如下:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import pytest
import allure
from util import util
loginError = [["","654321","账号不能为空"],["test","123456","用户名不正确。"],
["admin","","密码不能为空"],["admin","654321","用户名或密码不正确"]]
loginOK = [["admin","123456","用户中心"]]
@allure.feature("Jpress后端测试")
class TestUser(object):
def setup_class(self):
self.driver = webdriver.Chrome()
self.driver.maximize_window()
self.driver.get("http://192.166.66.22:8080/user/login")
self.logger = util.get_logger()
self.logger.info("登录测试")
@allure.story("这是登录失败的测试用例")
@allure.description("登录平台-错误场景")
@pytest.mark.parametrize("username,pwd,expected",loginError)
def test_user_login_Error(self,username,pwd,expected):
user = username
pwd = pwd
expected = expected
self.driver.find_element(By.NAME, "user").clear()
self.driver.find_element(By.NAME, "user").send_keys(user)
self.driver.find_element(By.NAME, "pwd").clear()
self.driver.find_element(By.NAME, "pwd").send_keys(pwd)
self.driver.find_element(By.CLASS_NAME, "btn").click()
WebDriverWait(self.driver, 3).until(EC.alert_is_present())
alert = self.driver.switch_to.alert
assert alert.text == expected
self.logger.debug("登录失败,用户名或密码输出有误!")
alert.accept()
@allure.story("后台管理平台登录失败")
@allure.description("记录失败时的截图和日志")
def test_failcase(self):
self.driver = webdriver.Chrome()
self.driver.get("http://192.166.66.22:8080/admin/login")
self.driver.find_element(By.NAME, "user").send_keys("admin")
self.driver.find_element(By.NAME, "pwd").send_keys("123456")
self.driver.find_element(By.NAME, "captcha").send_keys(8888)
try:
self.driver.find_element(By.CLASS_NAME, "btn错误的登录按钮元素").click()
except Exception as e:
img = self.driver.get_screenshot_as_png()
allure.attach(img, "失败截图", allure.attachment_type.PNG)
log = self.logger.error("报错信息:%s", "无法登录,找不到登录按钮", exc_info=1)
allure.attach.file(self.driver.get_log(log), "失败日志", allure.attachment_type.TEXT)
WebDriverWait(self.driver, 3).until(EC.alert_is_present())
alert = self.driver.switch_to.alert
assert alert.text == "登录失败"
@allure.story("这是登录成功用例")
@allure.description("成功登录至平台")
@allure.severity(severity_level="Blocker")
@pytest.mark.parametrize("username,pwd,expected",loginOK)
def test_user_login_OK(self,username,pwd,expected):
user = username
pwd = pwd
expected = expected
self.driver.find_element(By.NAME, "user").clear()
self.driver.find_element(By.NAME, "user").send_keys(user)
self.driver.find_element(By.NAME, "pwd").clear()
self.driver.find_element(By.NAME, "pwd").send_keys(pwd)
self.driver.find_element(By.CLASS_NAME, "btn").click()
WebDriverWait(self.driver, 3).until(EC.title_is(expected))
assert self.driver.title == expected
@allure.story("文章管理测试用例")
@allure.title("查看文章列表")
@allure.step("步骤1:进入文章列表")
def test_article_list(self):
expected = "http://192.166.66.22:8080/ucenter/article"
self.driver.find_element(By.XPATH,'//span[contains(text(),"我的文章")]').click()
self.driver.find_element(By.LINK_TEXT,"文章列表").click()
WebDriverWait(self.driver, 2).until(EC.url_contains("/ucenter/article"))
assert self.driver.current_url == expected
@allure.story("文章管理测试用例")
@allure.title("查看文章详情")
@allure.step("步骤2:查看文章详情")
@allure.severity(severity_level="critical")
def test_Look_article(self):
expected = "一个小测试"
handle = self.driver.current_window_handle
self.driver.find_element(By.LINK_TEXT, "一个小测试").click()
handles = self.driver.window_handles
for newhandle in handles:
if newhandle != handle:
self.driver.switch_to.window(newhandle)
WebDriverWait(self.driver, 2).until(EC.title_is(expected))
assert self.driver.title == expected
self.driver.quit()
@allure.feature("Jpress前端测试")
class TestBlog(object):
def setup_class(self):
self.driver = webdriver.Chrome()
self.driver.maximize_window()
self.driver.get("http://192.166.66.22:8080/")
self.logger = util.get_logger()
self.logger.info("博客访问测试")
@allure.title("查看博客详情")
@pytest.mark.skipif(reason="刻意跳过此用例")
def test_details(self):
expected = "一个小测试"
self.driver.find_element(By.CLASS_NAME,"bh-card-main-title").click()
WebDriverWait(self.driver, 2).until(EC.url_contains("/article/2"))
assert self.driver.title == expected
self.driver.quit()
下图是生成的Allure报告用例执行结果
数据驱动测试(DDT)
读取excel文件
需要安装xlrd模块,使用xlrd模块处理excel文件,新版xlrd不支持xlsx格式的excel,会报错xlrd.biffh.XLRDError: Excel xlsx file; not supported ,可以使用xls格式的excel,或者可以安装老版本的xlrd
pip install xlrd==1.2.0
结合pytest的参数化的方式,实现excel文件数据驱动,示例如下:
import pytest
import xlrd
def get_data():
filename = "my_data.xlsx"
wb = xlrd.open_workbook(filename)
sheet = wb.sheet_by_index(0)
rows = sheet.nrows
cols = sheet.ncols
lst = []
for row in range(rows):
for col in range(cols):
cell_data = sheet.cell_value(row,col)
lst.append([cell_data])
return lst
@pytest.mark.parametrize("value",get_data())
def test_read(value):
print(value)
test_excel.py::test_read[value0] PASSED [ 25%]['xlsx']
test_excel.py::test_read[value1] PASSED [ 50%]['格式']
test_excel.py::test_read[value2] PASSED [ 75%]['读取文件']
test_excel.py::test_read[value3] PASSED [100%]['666']
读取csv文件
csv文件是使用逗号分隔的文本文件,直接使用python的csv模块处理csv文件,然后结合pytest的参数化的方式,实现csv文件数据驱动,
示例如下:
import csv
import pytest
def get_data():
with open("my_data.csv","r",encoding='UTF-8') as j:
data = csv.reader(j)
lst = []
for row in data:
lst.extend(row)
return lst
@pytest.mark.parametrize("csv_value",get_data())
def test_read(csv_value):
print(csv_value)
test_csv.py::test_read[\u6d4b] PASSED [ 25%]测
test_csv.py::test_read[\u8bd5] PASSED [ 50%]试
test_csv.py::test_read[ceshi] PASSED [ 75%]ceshi
test_csv.py::test_read[testing] PASSED [100%]testing
读取json文件
直接使用python中的json模块处理json文件,然后结合pytest的参数化方式,实现json文件数据驱动
json文件内容
[
{
"name":"",
"pwd":"654321",
"expected":"账号不能为空"
},
{
"name":"admin",
"pwd":"",
"expected":"密码不能为空"
},
{
"name":"admin",
"pwd":"654321",
"expected":"用户名或密码不正确"
}
]
示例如下:
import pytest
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
def get_data():
lst = []
with open("my_data.json","r",encoding='UTF-8') as j:
dict_data = json.loads(j.read())
for i in dict_data:
lst.append(tuple(i.values()))
return lst
[('', '654321', '账号不能为空'), ('admin', '', '密码不能为空'), ('admin', '654321', '用户名或密码不正确')]
class TestUser(object):
def setup_class(self):
self.driver = webdriver.Chrome()
self.driver.maximize_window()
self.driver.get("http://192.166.66.22:8080/user/login")
@pytest.mark.parametrize("username,pwd,expected",get_data())
def test_user_login_Error(self,username,pwd,expected):
user = username
pwd = pwd
expected = expected
self.driver.find_element(By.NAME, "user").clear()
self.driver.find_element(By.NAME, "user").send_keys(user)
self.driver.find_element(By.NAME, "pwd").clear()
self.driver.find_element(By.NAME, "pwd").send_keys(pwd)
self.driver.find_element(By.CLASS_NAME, "btn").click()
WebDriverWait(self.driver, 3).until(EC.alert_is_present())
alert = self.driver.switch_to.alert
assert alert.text == expected
alert.accept()
读取yaml文件
先安装yaml模块,然后结合pytest的参数化方式,实现yaml文件数据驱动,和json差不多
pip install pyyaml
yaml文件内容
---
name: ""
pwd: "123456"
expected: "账号不能为空"
---
name: "admin"
pwd: ""
expected: "密码不能为空"
---
name: "admin"
pwd: "654321"
expected: "用户名或密码不正确"
使用yaml验证登录,示例如下:
import pytest
import yaml
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
def get_data():
lst = []
with open("my_data.yaml","r",encoding='UTF-8') as j:
ym = yaml.load_all(j.read())
for i in ym:
lst.append(tuple(i.values()))
return lst
[('', '123456', '账号不能为空'), ('admin', '', '密码不能为空'), ('admin', '654321', '用户名或密码不正确')]
class TestUser(object):
def setup_class(self):
self.driver = webdriver.Chrome()
self.driver.maximize_window()
self.driver.get("http://192.166.66.22:8080/user/login")
@pytest.mark.parametrize("username,pwd,expected",get_data())
def test_user_login_Error(self,username,pwd,expected):
user = username
pwd = pwd
expected = expected
self.driver.find_element(By.NAME, "user").clear()
self.driver.find_element(By.NAME, "user").send_keys(user)
self.driver.find_element(By.NAME, "pwd").clear()
self.driver.find_element(By.NAME, "pwd").send_keys(pwd)
self.driver.find_element(By.CLASS_NAME, "btn").click()
WebDriverWait(self.driver, 3).until(EC.alert_is_present())
alert = self.driver.switch_to.alert
assert alert.text == expected
alert.accept()
Jenkins集成Allure报告
本次Jenkins是安装在Windows上的,直接Jenkins官网下载安装包进行安装就行啦,不多做介绍
-
Jenkins安装完成后,进入插件管理,安装Allure插件 -
进入全局配置,配置Allure Commandline,填写本地Allure安装路径,别名自定义,完成后点击【应用】→【保存】 -
新建一个自由风格的项目 -
配置项目,在常规配置里点击【高级】,勾选“使用自定义的工作空间”,填写工作空间目录(通常填写项目的主目录),显示名称自定义 然后增加构建步骤,选择“执行windows批处理命令”,填写要执行的命令,命令可以指定文件或类等,具体上文有介绍 pytest -vs --alluredir=./pytest_result test_Jpress.py --clean-alluredir
最后增加构建后操作步骤,选择“Allure Report”,填写结果路径,一定要与构建时的路径相同,然后【应用】→【保存】 在Jenkins页面上会出现Allure报告标识,点击可查看具体构建报告
报告结果如下图所示
|