Opencv之OCR识别

OCR是指对文本资料进行扫描后对图像文件进行分析处理，获取文字及版面信息的过程。用Opencv进行OCR识别时，通常分为两步：扫描、识别。
举例说明：提取下图上的文字信息。

扫描

再扫描过程中，我们也需要进行三步操作：边缘检测、获取轮廓以及透视变换。

Step1: 边缘检测

1、导入需要的模块。

# 导入工具包
import numpy as np
import cv2

2、读取需要扫描的图片，并resize成合适的大小。

# 读取输入
image = cv2.imread('receipt.jpg')
#坐标也会相同变化
ratio = image.shape[0] / 500.0
orig = image.copy()
image = resize(orig, height = 500)

在这段代码中，我们将输入的图像resize成高为500的等比例缩小的图像，所以之后所获取的关键点的坐标也是基于resize后的图像得到的，故在这里我们需要先知道图片resize的比例，称为ratio.
同时，为了方便，在这里写了一个函数进行resize操作，如下：

def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

3、图像预处理，完成边缘检测。

# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)  # 高斯滤波
edged = cv2.Canny(gray, 75, 200)  # Canny边缘检测
# 展示预处理结果
print("STEP 1: 边缘检测")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)
cv2.destroyAllWindows()

在这一步，得到图像：

Step2: 获取轮廓

1、轮廓检测（面积最大的轮廓最可能为我们需要的轮廓）。

cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]

代码中sorted()函数是python内置函数，
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5] 的意思是：
先计算所有轮廓cnts的面积，由大到小排列(reverse = True)，取前五个最大的([:5])。
2、将取出的轮廓进行近似轮廓的操作，我们需要的轮廓必然是一个不规则的四边形，故检测到某轮廓近似后存在四个点，则有可能是我们需要的轮廓。

# 遍历轮廓
for c in cnts:
    # 计算轮廓近似
    peri = cv2.arcLength(c, True)
    # c表示输入的点集
    # epsilon表示从原始轮廓到近似轮廓的最大距离，它是一个准确度参数
    # True表示封闭的
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)

    # 4个点的时候就拿出来
    if len(approx) == 4:
        screenCnt = approx
        break

3、展示结果。

# 展示结果
print("STEP 2: 获取轮廓")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)
cv2.destroyAllWindows()

得到结果：

Step3: 透视变换

首先引入两个函数完成透视变换的操作。
（1）order_points(pts)函数：将上一步得到的轮廓的四个顶点按照左上，右上，右下，左下的顺序排序。
其原理为：首先计算每个点所包含的两个坐标的和，最小的为左上角的点，最大的为右下角的点。然后计算每个点所包含的两个坐标的差，最小的为右上角的点，最大的为左下角的点。

def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype = "float32")

    # 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
    # 计算左上，右下
    s = pts.sum(axis = 1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]

    # 计算右上和左下
    diff = np.diff(pts, axis = 1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]

    return rect

（2）four_point_transform(image, pts)：透视变换。

def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    (tl, tr, br, bl) = rect

    # 计算输入的w和h值
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))

    # 变换后对应坐标位置（-1只是为了防止有误差出现，不-1也可以。）
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype = "float32")

    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

    # 返回变换后结果
    return warped

接下来，在主程序中实现透视变换并展示结果。

# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
# 二值处理
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
cv2.imwrite('scan.jpg', ref)
# 展示结果
print("STEP 3: 变换")
cv2.imshow("Scanned", ref)
cv2.waitKey(0)

得到结果：

识别

我们通常使用tesseract库进行OCR的识别操作。

1、下载tesseract

链接：https://pan.baidu.com/s/1_qRvyNYuMVIjd5oo-oYgxw
提取码：y6zg

2、安装tesseract

双击运行tesseract-ocr-setup-4.00.00dev.exe，一路next，直到安装完成。注意记住安装路径。

3、配置环境变量

将刚才的安装路径添加到环境变量的path中。
可以在命令行窗口（cmd）中输入tesseract -v进行测试，会输出版本号。

4、OCR识别

在命令行窗口中输入tesseract scan.jpg result，会将刚才扫描的图片上的信息写入result.txt文件中。

PS：如果想要在python中实现识别过程，需要以下几步：

1、配置pytesseract库

在命令行窗口输入pip install pytesseract。

2、修改pytesseract.py

在库文件夹中找到pytesseract文件夹里的pytesseract.py文件，打开，修改里面tesseract_cmd一行为绝对路径。

3、配置环境变量

新建环境变量TESSDATA_PREFIX，设置值为tessdata的路径。

4、在python中引入相关的库

from PIL import Image
import pytesseract
import cv2
import os

5、执行识别操作

preprocess = 'blur' #thresh

image = cv2.imread('scan.jpg')
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

if preprocess == "thresh":
    gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]

if preprocess == "blur":
    gray = cv2.medianBlur(gray, 3)
    
filename = "{}.png".format(os.getpid())
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)