pyautogui图片文字识别和操作

首先确保电脑有python环境
1.pip安装

pip install pyautogui

2.为了方便图片识别还需要先安装 opencv-python

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

3.然后安装opencv-contrib-python

pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple

识别桌面图标并点击

import pyautogui
from pyautogui import size
from pyautogui import position
from pyautogui import moveTo
from pyautogui import click
from pyautogui import doubleClick
import time

try:
	#aaa4.png为桌面图标图片信息
    oneLocation = pyautogui.locateOnScreen('aaa4.png',confidence=0.9)
except Exception as e:
    print("ERROR:未找到对应图标")
else:
    #进行点击操作
    center = pyautogui.center(oneLocation)
    print(center)
    click(center,button='left',duration=1)
    time.sleep(1)
    pyautogui.press('enter')
    time.sleep(2)
    text = 'hello word!\n'
    secs_between_keys = 0.1
    pyautogui.typewrite(message=text, interval=secs_between_keys)
finally:
    print('执行结束')

接着是python文字识别
最好有vpn下载速度快方便。
1.下载安装tesseract，地址：https://digi.bib.uni-mannheim.de/tesseract/
无脑点下一步但是语言这里记得把中文这几个勾选上
在这里插入图片描述
2.然后就是配置tesseract系统环境变量，只要配置到tesseract.exe所在的文件夹那一级就行
配置到tesseract.exe所在的文件夹那一级就行

3.在命令行输入tesseract --help查看是否会返回一些提示信息看到如下信息说明安装成功。
在这里插入图片描述
测试代码

from PIL import Image
import pytesseract

# tesseract命令位置
tesseract_cmd = r'D:\Tesseract-OCR\tesseract'
pytesseract.pytesseract.tesseract_cmd =tesseract_cmd

# 显示
image=Image.open('text6.png')

print(pytesseract.image_to_string(image,lang='chi_sim'))

返回结果
在这里插入图片描述
可以通过pyautogui截取指定区域的图片然后识别图片中的内容。通过识别的内容来判断是否需要进行后续操作。
看到大佬用pyautogui获取屏幕内容发送给chatgpt，chatgpt会根据识别的内容自己玩游戏，简直6翻了。

pyautogui图片文字识别和操作

猜你喜欢