OpenCV实例（八）车牌字符识别技术（二）字符识别

1.字符识别原理及其发展阶段

匹配判别是字符识别的基本思想，与其他模式识别的应用非常类似。字符识别的基本原理就是对字符图像进行预处理、模式表达、判别和字典学习。

字符识别一般可分为三个阶段：

第一阶段为初级阶段，主要是应用一维图像的处理方法实现对二维图像的识别。此阶段主要涉及相关函数的构造以及特征向量的抽取。目前，该阶段的字符识别方法仍然在匹配方法的庞大家族中扮演着很重要的角色。

第二阶段为对基础理论进行相关研究的阶段。细化思想、链码法以及对一些离散图形上的拓扑性研究在这一阶段进行，其中细化思想主要用于结构的分析，链码法主要用于边界的表示。本阶段实现了抽取大范围的孔、凹凸区域、连通性以及抽取局部特征等算法，同时还实现了对K-L展开法“特征抽取理论”作为核心相关工作的研究。

第三阶段为发展阶段。本阶段在依据实际系统的要求以及设备难以提供的条件的基础上提出更为复杂的技术，主要研究工作是将技术与实际结合起来。另外，在以构造解析法以及相关法为主的基础上，许多各具特色且不同类的实用系统得以研究出来。

2.字符识别方法

目前字符识别方法主要有基于神经网络的识别方法、基于特征分析的匹配方法和基于模板的匹配方法。

(1)基于神经网络的识别方法

基于神经网络的识别方法主要包括4个步骤：预处理样本字符、提取字符的特征、对神经网络进行训练、神经网络接受经过相关预处理和特征提取的字符并对这些字符进行识别。

(2)基于特征分析的匹配方法

基于特征分析的匹配方法，主要利用特征平面来进行字符匹配。与其他匹配方法进行比较可知，它不但对噪声具有不明显的反应，而且可以获得效果更好的字符特征。

(3)基于模板的匹配方法

基于模板的匹配方法也是字符识别的一种方法，主要权衡输入模式与标准模式之间的相似程度。因此，从结果来看，输入模式的类别其实也是标准模式，单从与输入模式相似度的程度来讲，这里提到的标准模式最高。对于离散输入模式分类的实现，此方法所起的作用非常明显也非常奏效。

组成汽车牌照的字符大约有50个汉字、20多个英文字符和10个阿拉伯数字，相对而言，字符数比较少，所以可以使用模板匹配法识别这些字符。其中，用于匹配的模板的标准形式可由前面所述的字符制作而成。与其他的字符识别的方法进行比较可知，模板匹配法具有相对来说较为简单的识别过程和较快的字符识别速度，只不过准确率不是很高。

3.英文、数字识别

目前，小波识别法、模板匹配法与神经网络法等常被作为汽车牌照字符识别的主要方法。数字字符是在汽车牌照的字符集中具有最小规模、最简单结构的子集。虽然字母字符相对于数字字符而言并不复杂，但是单从字符的结构上来讲，不难看出车牌字符集中的数字字符要相对简单一些。一般采用模板匹配法来识别字母字符以及数字字符，只是有时采用模板匹配法不一定能取得理想的识别效果，例如字符存在划伤破损、褪色、污迹等问题时。本章采用的匹配模式为两级模板匹配，首先通过一级模板实现对字母数字字符的匹配，然后基于边缘霍斯多夫距离对一级模板匹配不成功的字符进行匹配。

真实的汽车图像的采集主要通过CCD工业相机进行的，输入的汽车牌照的字符图像在经过汽车牌照的定位以及汽车牌照内字符的分割之后形成，其中约有50%的高质量的字符包含在3000个字符组成的字符集中，剩下的汽车牌照内的字符质量都有一定程度的降低。相较于传统的模板匹配法和基于细化图像霍斯多夫距离的模板匹配法，准确率在基于边缘霍斯多夫距离的模板匹配识别方法中表现得更高（为98%，字符的错误识别率只有2%）。

4.车牌定位实例

测试照片：

代码实例：

# -*- coding: utf-8 -*-
 
import cv2
import numpy as np


def stretch(img):
    '''
    图像拉伸函数
    '''
    maxi=float(img.max())
    mini=float(img.min())
    
    for i in range(img.shape[0]):
        for j in range(img.shape[1]):
            img[i,j]=(255/(maxi-mini)*img[i,j]-(255*mini)/(maxi-mini))
    
    return img

def dobinaryzation(img):
    '''
    二值化处理函数
    '''
    maxi=float(img.max())
    mini=float(img.min())
    
    x=maxi-((maxi-mini)/2)
    #二值化,返回阈值ret  和  二值化操作后的图像thresh
    ret,thresh=cv2.threshold(img,x,255,cv2.THRESH_BINARY)
    #返回二值化后的黑白图像
    return thresh

def find_rectangle(contour):
    '''
    寻找矩形轮廓
    '''
    y,x=[],[]
    
    for p in contour:
        y.append(p[0][0])
        x.append(p[0][1])
    
    return [min(y),min(x),max(y),max(x)]

def locate_license(img,afterimg):
    '''
    定位车牌号
    '''
    contours,hierarchy=cv2.findContours(img,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    
    #找出最大的三个区域
    block=[]
    for c in contours:
        #找出轮廓的左上点和右下点，由此计算它的面积和长度比
        r=find_rectangle(c)
        a=(r[2]-r[0])*(r[3]-r[1])   #面积
        s=(r[2]-r[0])*(r[3]-r[1])   #长度比
        
        block.append([r,a,s])
    #选出面积最大的3个区域
    block=sorted(block,key=lambda b: b[1])[-3:]
    
    #使用颜色识别判断找出最像车牌的区域
    maxweight,maxindex=0,-1
    for i in range(len(block)):
        b=afterimg[block[i][0][1]:block[i][0][3],block[i][0][0]:block[i][0][2]]
        #BGR转HSV
        hsv=cv2.cvtColor(b,cv2.COLOR_BGR2HSV)
        #蓝色车牌的范围
        lower=np.array([100,50,50])
        upper=np.array([140,255,255])
        #根据阈值构建掩膜
        mask=cv2.inRange(hsv,lower,upper)
        #统计权值
        w1=0
        for m in mask:
            w1+=m/255
        
        w2=0
        for n in w1:
            w2+=n
            
        #选出最大权值的区域
        if w2>maxweight:
            maxindex=i
            maxweight=w2
            
    return block[maxindex][0]

def find_license(img):
    '''
    预处理函数
    '''
    m=400*img.shape[0]/img.shape[1]
    
    #压缩图像
    img=cv2.resize(img,(400,int(m)),interpolation=cv2.INTER_CUBIC)
    
    #BGR转换为灰度图像
    gray_img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    
    #灰度拉伸
    stretchedimg=stretch(gray_img)
    
    '''进行开运算，用来去除噪声'''
    r=16
    h=w=r*2+1
    kernel=np.zeros((h,w),np.uint8)
    cv2.circle(kernel,(r,r),r,1,-1)
    #开运算
    openingimg=cv2.morphologyEx(stretchedimg,cv2.MORPH_OPEN,kernel)
    #获取差分图，两幅图像做差  cv2.absdiff('图像1','图像2')
    strtimg=cv2.absdiff(stretchedimg,openingimg)
    
    #图像二值化
    binaryimg=dobinaryzation(strtimg)
    
    #canny边缘检测
    canny=cv2.Canny(binaryimg,binaryimg.shape[0],binaryimg.shape[1])
    
    '''消除小的区域，保留大块的区域，从而定位车牌'''
    #进行闭运算
    kernel=np.ones((5,19),np.uint8)
    closingimg=cv2.morphologyEx(canny,cv2.MORPH_CLOSE,kernel)
    
    #进行开运算
    openingimg=cv2.morphologyEx(closingimg,cv2.MORPH_OPEN,kernel)
    
    #再次进行开运算
    kernel=np.ones((11,5),np.uint8)
    openingimg=cv2.morphologyEx(openingimg,cv2.MORPH_OPEN,kernel)
    
    #消除小区域，定位车牌位置
    rect=locate_license(openingimg,img)
    
    return rect,img

def cut_license(afterimg,rect):
    '''
    图像分割函数
    '''
    #转换为宽度和高度
    rect[2]=rect[2]-rect[0]
    rect[3]=rect[3]-rect[1]
    rect_copy=tuple(rect.copy())
    rect=[0,0,0,0]
    #创建掩膜
    mask=np.zeros(afterimg.shape[:2],np.uint8)
    #创建背景模型  大小只能为13*5，行数只能为1，单通道浮点型
    bgdModel=np.zeros((1,65),np.float64)
    #创建前景模型
    fgdModel=np.zeros((1,65),np.float64)
    #分割图像
    cv2.grabCut(afterimg,mask,rect_copy,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)
    mask2=np.where((mask==2)|(mask==0),0,1).astype('uint8')
    img_show=afterimg*mask2[:,:,np.newaxis]
    
    return img_show

def deal_license(licenseimg):
    '''
    车牌图片二值化
    '''
    #车牌变为灰度图像
    gray_img=cv2.cvtColor(licenseimg,cv2.COLOR_BGR2GRAY)
    
    #均值滤波  去除噪声
    kernel=np.ones((3,3),np.float32)/9
    gray_img=cv2.filter2D(gray_img,-1,kernel)
    
    #二值化处理
    ret,thresh=cv2.threshold(gray_img,120,255,cv2.THRESH_BINARY)
    
    return thresh


def find_end(start,arg,black,white,width,black_max,white_max):
    end=start+1
    for m in range(start+1,width-1):
        if (black[m] if arg else white[m])>(0.98*black_max if arg else 0.98*white_max):
            end=m
            break
    return end
                

if __name__=='__main__':
    img=cv2.imread('car.jpg',cv2.IMREAD_COLOR)
    #预处理图像
    rect,afterimg=find_license(img)
    
    #框出车牌号
    cv2.rectangle(afterimg,(rect[0],rect[1]),(rect[2],rect[3]),(0,255,0),2)
    cv2.imshow('afterimg',afterimg)
    
    #分割车牌与背景
    cutimg=cut_license(afterimg,rect)
    cv2.imshow('cutimg',cutimg)
    
    #二值化生成黑白图
    thresh=deal_license(cutimg)
    cv2.imshow('thresh',thresh)
    cv2.imwrite("cp.jpg",thresh)
    cv2.waitKey(0)
    
    #分割字符
    '''
    判断底色和字色
    '''
    #记录黑白像素总和
    white=[]
    black=[]
    height=thresh.shape[0]  #263
    width=thresh.shape[1]   #400
    #print('height',height)
    #print('width',width)
    white_max=0
    black_max=0
    #计算每一列的黑白像素总和
    for i in range(width):
        line_white=0
        line_black=0
        for j in range(height):
            if thresh[j][i]==255:
                line_white+=1
            if thresh[j][i]==0:
                line_black+=1
        white_max=max(white_max,line_white)
        black_max=max(black_max,line_black)
        white.append(line_white)
        black.append(line_black)
        print('white',white)
        print('black',black)
    #arg为true表示黑底白字，False为白底黑字
    arg=True
    if black_max<white_max:
        arg=False
    
    n=1
    start=1
    end=2
    while n<width-2:
        n+=1
        #判断是白底黑字还是黑底白字  0.05参数对应上面的0.95 可作调整
        if(white[n] if arg else black[n])>(0.02*white_max if arg else 0.02*black_max):
            start=n
            end=find_end(start,arg,black,white,width,black_max,white_max)
            n=end
            if end-start>5:
                cj=thresh[1:height,start:end]
                cv2.imshow('cutlicense',cj)
                cv2.waitKey(0)
    
    
    cv2.waitKey(0)
    cv2.destroyAllWindows()

输出结果：