Python图像识别及操作

导语

自动化测试实施过程中，由于Android或web部分控件和区域无法通过uiautomator或hierarchy、selenium等系统提供的方式获取相关区域属性，无法通过控件属性访问指定区域，实现操作和断言自动化动作。因此，集成截图查找功能，通过自动化脚本编写过程中，截取图片部分区域用于预操作或断言设置。在执行过程中，动态的从终端设备中截取当前屏幕截图进行对比，完成操作和断言自动化动作。

环境配置

安装环境

1.Python3.7+环境
2.OpenCV安装，打开CMD终端，使用pip install opencv-python安装OpenCV
3.Numpy安装，打开CMD终端，使用pip install numpy安装Numpy模块

截图查找功能可完成的自动化动作

点击操作（Click By Image）

在自动化脚本编写过程中，截取指定屏幕截图中的某一区域。在自动化脚本执行过程中，通过匹配该区域截图在当前屏幕截图中的坐标位置，计算区域截图中间点（或区域截图中任一点）的实际坐标值，通过uiautomator或webdriver提供的点击坐标方法进行模拟点击操作。

断言操作（Assert Image）

在自动化测试中，需要对自动化测试结果进行判断，由于部分控件或区域无法通过控件属性进行判断。因此，考虑到对上述点击操作的截图查找方法的扩展，截取指定屏幕截图中的某一区域用于断言。在自动化脚本执行过程中，可以通过匹配该区域截图是否在当前屏幕截图中进行判断，到达通过图片进行断言的功能。

截图查找功能的Demo实现（以Android为例）

截图方法

通过screencap方法进行截图：
1.终端设备操作跳转到指定界面
2.输入adb shell screencap /sdcard/test.png 进行截取当前界面截图
3.输入adb pull /sdcard/test.png . 将截图下载到本地
4.使用图片浏览工具，打开图片，使用微信截图或其他截图工具截取图片中想要点击或断言的部分，保存作为匹配截图。

Demo实现

1.导入cv2和numpy包
2.#!/bin/env python

# coding:utf-8
	import cv2
	import numpy as np

3.使用cv2读取匹配截图和目标匹配截图

1.1匹配截图（srcImage）

1.2 目标匹配截图(desImage)

desImage = cv2.imread(‘destination.png’) # 读入一副彩色图像，图像透明度会被忽略
srcImage = cv2.imread(‘source.png’, 0) # 单通道读取，即灰白图像

图片处理

img_gray = cv2.cvtColor(desImage, cv2.COLOR_BGR2GRAY) # 对目标截图进行色彩空间转换，RGB转换为GRAY
h, w = srcImage.shape[:2] # 读取srcImage 高度和宽度

模版匹配方法

res = cv2.matchTemplate(img_gray, srcImage, cv2.TM_CCOEFF_NORMED) # 对转换后的目标截图和匹配截图进行模版匹配
获取匹配度较高的图片位置属性
threshold = 0.97 # 匹配度值0.97, 匹配度最大值为1
loc = np.where(res >= threshold)  # 筛选出匹配度大于0.97的图片位置属性
计算坐标值，并描画到目标匹配截图上
for pt in zip(*loc[::-1]):  # *号表示可选参数
    right_bottom = (pt[0] + w, pt[1] + h) # 右下角位置坐标
    cv2.rectangle(desImage, pt, right_bottom, (0, 0, 255), 1) # 画出矩形位置
    print ((pt[0] + w + pt[0]) / 2, (pt[1] + h + pt[1]) / 2) # 打印图片中心点坐标值
计算出最后一个匹配结果的图片中心点坐标值，并实现点击操作
x, y = ((pt[0] + w + pt[0]) / 2, (pt[1] + h + pt[1]) / 2) # 计算最后一个匹配区域的中心点坐标值
import os
os.system("adb shell input tap {0} {1}".format(x, y)) # 执行点击操作

展示匹配结果

cv2.imshow("result", desImage) # 展示匹配结果图片 
cv2.waitKey(0) # 等待关闭图片窗口
cv2.destroyAllWindows() # 销毁所有窗口

相关Demo源码

封装代码

截图点击方法

# DeviceMassage  设备号 获取方法:adb devices 必填项 否则会报错找不到要执行的设备
# destinationImage   大图位置+名字,代表要点击的界面格式 destination.png 或 D:\Pytest\Test\venv\destination.png
# sourceImage    小图位置+名字,代表被点击按钮,格式 source.png 或 D:\Pytest\Test\venv\source.png
# TypeNumber     属性值  1代表截图后对比,2代表直接按照传入的值对比,若选择2则需要预先准备好大图
# FileOkPath     成功会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ok/ 或 D:/Pytest/ok/
# FileNgPath     失败会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ng/ 或 D:/Pytest/ng/
# ScreenOkImage  成功会截图的名称 格式:_ImageClick_OK.png
# ScreenNgImage  失败会截图的名称 格式:_ImageClick_NG.png
执行成功返回 true 否则返回 false
# Test1._ImageClick("emulator-5554", "destination.png", "source2.png", 2, "aa/", "bb/", "_ImageClick_OK.png","_ImageClick_NG.png")

截图滑动方法

# DeviceMassage  设备号 获取方法:adb devices 必填项 否则会报错找不到要执行的设备
# intstartImage  起始 小图位置+名字,代表被滑动起始,格式 source.png 或 D:\Pytest\Test\venv\source.png
# intendImage    终止 小图位置+名字,代表被滑动终止,格式 source.png 或 D:\Pytest\Test\venv\source.png
# destinationImage   大图位置+名字,代表要点击的界面格式 destination.png 或 D:\Pytest\Test\venv\destination.png
# intduration    代表滑动速度,值必须为整数,例如 100
# TypeNumber     属性值  1代表截图后对比,2代表直接按照传入的值对比,若选择2则需要预先准备好大图
# FileOkPath     成功会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ok/ 或 D:/Pytest/ok/
# FileNgPath     失败会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ng/ 或 D:/Pytest/ng/
# ScreenOkImage  成功会截图的名称 格式:_ImageClick_OK.png
# ScreenNgImage  失败会截图的名称 格式:_ImageClick_NG.png
# 执行成功返回 true 否则返回 false
# Test1._ImageSwipe("emulator-5554","source2.png", "sourcew.png", "destination.png", 300, 2,"aa/","bb/","_ImageSwipe_OK.png","_ImageSwipe_NG.png")

截图判断是否存在

# destinationImage   大图位置+名字,代表要点击的界面格式 destination.png 或 D:\Pytest\Test\venv\destination.png
# sourceImageList    小图位置的List 可以为多个,最少为1个,若输入多个,则代表列表内的值均会与大图对比
# 若均存在则返回 true 否则返回 false
# sourceImageList = [ "sourcew.png"]
# print Test1._ImageExists("destination.png", sourceImageList, 2)

截图长按方法

# DeviceMassage  设备号 获取方法:adb devices 必填项 否则会报错找不到要执行的设备
# destinationImage   大图位置+名字,代表要点击的界面格式 destination.png 或 D:\Pytest\Test\venv\destination.png
# sourceImage    小图位置+名字,代表被点击按钮,格式 source.png 或 D:\Pytest\Test\venv\source.png
# TypeNumber     属性值  1代表截图后对比,2代表直接按照传入的值对比,若选择2则需要预先准备好大图
# FileOkPath     成功会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ok/ 或 D:/Pytest/ok/
# FileNgPath     失败会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ng/ 或 D:/Pytest/ng/
# ScreenOkImage  成功会截图的名称 格式:_ImageClick_OK.png
# ScreenNgImage  失败会截图的名称 格式:_ImageClick_NG.png
# 执行成功返回 true 否则返回 false
# Test1._ImageLongClick("emulator-5554","destination.png", "source2.png", 2, "aa/", "bb/", "_ImageLongClick_OK.png","_ImageLongClick_NG.png")

截图拖拽方法

# DeviceMassage  设备号 获取方法:adb devices 必填项 否则会报错找不到要执行的设备
# intstartImage  起始 小图位置+名字,代表被滑动起始,格式 source.png 或 D:\Pytest\Test\venv\source.png
# intendImage    终止 小图位置+名字,代表被滑动终止,格式 source.png 或 D:\Pytest\Test\venv\source.png
# destinationImage   大图位置+名字,代表要点击的界面格式 destination.png 或 D:\Pytest\Test\venv\destination.png
# intduration    代表拖拽速度,值必须为整数,例如 100
# TypeNumber     属性值  1代表截图后对比,2代表直接按照传入的值对比,若选择2则需要预先准备好大图
# FileOkPath     成功会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ok/ 或 D:/Pytest/ok/
# FileNgPath     失败会截图,输入截图位置,可以为空,若为空则代表存在当前文件所在目录下,若不为空格式为 ng/ 或 D:/Pytest/ng/
# ScreenOkImage  成功会截图的名称 格式:_ImageClick_OK.png
# ScreenNgImage  失败会截图的名称 格式:_ImageClick_NG.png
# 执行成功返回 true 否则返回 false
# Test1._ImageDrag("emulator-5554", "source2.png", "sourcew.png", "destination.png", 300, 2, "aa/", "bb/","_ImageDrag_OK.png", "_ImageDrag_NG.png")

截图方法

# DeviceMassage  设备号 获取方法:adb devices 必填项 否则会报错找不到要执行的设备
# destinationImage 为要截图 保存图片的位置+名称,格式 source.png 或 D:\Pytest\Test\venv\source.png
# Test1._screenshot("emulator-5554","destination.png")
# 执行成功返回 true 否则返回 false

代码源码
https://download.csdn.net/download/qq_36616956/87426577

参考文献

Python OpenCV入门： https://blog.csdn.net/fu6543210/article/details/80835280
Opencv中颜色控件转换： https://blog.csdn.net/u012193416/article/details/79312798