目录
一、理论基础
车牌字符识别是在车牌准确定位的基础上，对车牌上的汉字、字母、数字进行有效确认的过程，其中汉字识别是一个难点，许多国外的系统也往往是因为汉字难识别而无法打入中国市场，因而探寻好的方法解决字符的识别也是至关重要的。目前已有的方法很多，但其效果与实际的要求相差的很远，难以适应现代化交通系统的高速度、快节奏的要求。因而对字符识别的进一步研究也同样具有紧迫性和必要性。车牌定位与识别方法，总体来说是图像处理技术与车牌本身特点的有机结合，当然也包括模式识别、神经网络、数学形态学、小波分析、模糊理论等知识的有效运用。一个车牌定位与识别系统基本包括:图像预处理、车牌搜索、车牌定位、车牌校正、车牌字符切分和字符识别结果的输出。本课题在对汽车图像进行细致分析的基础上，主要从实用的角度来研究车牌定位与识别的算法问题。
车牌自动识别的过程主要分成三个步骤:车牌定位、字符分割、字符识别。目前这三方面的研究情况大致如下：
·车牌定位
(1)直接法:利用车牌的特征来提取车牌的方法。常用的特征有：车牌的边缘特性、投影特性、形状特性以及颜色特性等。
(2)人工神经网络方法：首先采用训练样本进行神经网络的训练，从而得到一个队牌照敏感的人工神经网络，然后利用训练好的神经网络检测汽车图像，定位车牌。
(3)数学形态学的方法:使用一定的结构元素，利用数学形态学中的开运算和闭运算来对图像进行处理，得到多个车牌可能区域，然后再处理后的图像中用过区域判别法在图像的多个车牌可能区域中找到车牌的正确的位置。
(4)基于颜色和纹理的定位方法:该算法采用基于适合颜色图像向实行比较的HSI颜色模式，首先在颜色空间进行距离和相似度计算;然后对输入图像进行颜色分割，只有满足车牌颜色特征的区域，才进入下一步的处理;最后在利用纹理和结构特征对分割出来的颜色区域进行分析和进一步判别，并确定车牌区域。
(5)基于分形盒子维的方法:由于车牌内的字符笔画几乎是随机分布，但又有明显的笔画特征，因此可以采用分形维数来对其进行分析从而达到分割车牌的目的。
·字符分割
主要有基于车牌字符特征的投影法和基于聚类分析的车牌字符分割方法以及气泡法等。投影法首先计算牌照字符的垂直投影，利用投影直方图得到一个阑值，根据它再结合车牌字符固定宽度、间距的比例关系等先验知识来分割字符。基于聚类分析的车牌字符分割方法按照属于同一个字符的像素构成了一个连通域的原则，在结合牌照的先验知识来进行字符分割。气泡法是一种适用于二值图像的区域增长法。他把一幅图像分成许多小区域，这些初始的区域可能是小的领域甚至是单个像素。在每个区域中，对经过适当定义能反映一个物体内成员隶属程度的性质(度量)进行计算。首先给每个区域一组参数来反映这些区域分别属于哪个物体，接下来对相邻区域的所有边界进行考查，相邻区域的平均度量之间的差异是计算边界强度的一个尺度，经过反复迭代，每一步都重新计算被扩大区域的物体成员的隶属关系，并消除若边界时，区域合并的过程结束。气泡着色法采用并行处理的方式将图像分割成多个连续的区域，可去掉噪声块，该方法不受车牌倾斜的影响，不需要车牌的先验知识，但是当同一字符的笔画出现间隔时，一个字符往往被分成两个着色区域。因此，气泡法只能对含有全连通域字符的车牌进行有效的分割。
·字符识别
车牌上的字符主要有汉字、英文大写字母以及数字。目的，字符识别的主流技术有:统计决策法、句法结构方法、人工智能方法和人工神经元网络法、模版匹配法等。
统计决策法：这类识别技术的理论比较完善，方法也很多，通常也很有效，现已形成了一个完整的体系。在字符识别中每个字符的特征不是一维，而是一个m维的特征向量X;指定的每类标准板也不一定是一个，可能是一批;判别输入文字属于哪一类时，也不是只把它的特征向量和字典内标准的特征向量逐一进行比较，完全相同才能分类识别，而是根据某种判别准则(尺度)，当两者相似到一定程度而且彼此又能区分时就可以分类识别。
句法结构方法：句法模式识别也称为结构模式识别。在许多情况下，对于较复杂的对象仅用一些数值特征己不能充分地对其进行描述，这时可采用句法识别技术。句法识别技术将对象分解为若干个基本单元，这些基本单元称为基元，用这些基元以及他们的结构关系可以描述对象，基元以及他们的结构关系可以用一个字符串或一个图来表示，然后运用形式语言理论进行句法分析，根据其是否符合某类的文法而决定其类别。
人工智能方法：人工智能是研究如何使机器具有人脑功能的理论和方法，模式识别从本质上讲就是如何根据对象的特征进行类别的判断，因此，人工智能方法就是将人工智能中有关学习、知识表示、推理等技术用于模式识别，并由此对车牌字符进行识别。
人工神经元网络法：人工神经元网络是由大量简单的基本单元相互连接而成的非线性动态系统。每个神经元的结构和功能都比较简单，但由其组成的系统却可能非常复杂，它具有人脑的某些特性，能用于联想、识别和决策。神经元具有非线性映射的能力，他们之间通过权系数相连接。这种大规模并行结构具有很高的计算速度，完全不同于传统机器。模式识别中往往存在噪声干扰或输入模式的部分损失，而人工神经原网络将信息分布存储与连接的权系数中，使网络具有很高的容错性和鲁棒性，另外，人工神经元网络的自组织才自适应学习功能，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出了极大的优越性。因此人们正在深入探讨人工神经元网络用于模式识别的潜力。
模版匹配法：模版匹配法又分为简单模版匹配法、外围轮廓匹配法、穿线法以及基于距离的模版匹配算法。简单模版匹配法不经过粗分类直接进行模版与字符图像的逐点匹配，匹配时选择海明距离。外围轮廓匹配法采用外围轮廓描述数组，记录字符边框上各点到达框内字符的最短距离。识别时将待识别字符的这一数组与预先得到的模版的外围轮廓描述数组比较，两者差别由欧氏距离衡量。穿线法仍属于字符识别方法中的模板匹配一类，但涉及了字符拓扑结构方面的信息，其基本思想是用一组或几组与水平成0度、30度、45度或60度的平行线贯穿字符。提取字符与水平线的交点信息作为识别依据。基于Huasdo心距离的模板匹配算法将字符图像的边缘点作为特征点，记录这些点所在位置的同时，还记录了每一个点8一邻域的情况，因此每一个边缘点有9个特征值，采用基于Huads。
二、核心程序
clc;
clear ;
close all;
startrow=0;
hight=0;
startcol=0;
width=0;
%Step1 获取图像 装入待处理彩色图像并显示原始图像
Scolor = imread('car/3.jpg');%imread函数读取图像文件
%将彩色图像转换为黑白并显示
Sgray = rgb2gray(Scolor);%rgb2gray转换成灰度图
figure,imshow(Scolor),title('原始彩色图像');%figure命令同时显示两幅图像
figure,imshow(Sgray),title('原始黑白图像');
%Step2 图像预处理 对Sgray 原始黑白图像进行开操作得到图像背景
s=strel('disk',13);%strei函数
Bgray=imopen(Sgray,s);%打开sgray s图像
figure,imshow(Bgray);title('背景图像');%输出背景图像
%用原始图像与背景图像作减法，增强图像
Egray=imsubtract(Sgray,Bgray);%两幅图相减
figure,imshow(Egray);title('增强黑白图像');%输出黑白图像
%Step3 取得最佳阈值，将图像二值化
fmax1=double(max(max(Egray)));%egray的最大值并输出双精度型
fmin1=double(min(min(Egray)));%egray的最小值并输出双精度型
level=(fmax1-(fmax1-fmin1)/3)/255;%获得最佳阈值
bw22=im2bw(Egray,level);%转换图像为二进制图像
bw2=double(bw22);
%Step4 对得到二值图像作开闭操作进行滤波
figure,imshow(bw2);title('图像二值化');%得到二值图像
grd=edge(bw2,'canny')%用canny算子识别强度图像中的边界
figure,imshow(grd);title('图像边缘提取');%输出图像边缘
bg1=imclose(grd,strel('rectangle',[5,19]));%取矩形框的闭运算
figure,imshow(bg1);title('图像闭运算[5,19]');%输出闭运算的图像
bg3=imopen(bg1,strel('rectangle',[5,19]));%取矩形框的开运算
figure,imshow(bg3);title('图像开运算[5,19]');%输出开运算的图像
bg2=imopen(bg3,strel('rectangle',[19,1]));%取矩形框的开运算
figure,imshow(bg2);title('图像开运算[19,1]');%输出开运算的图像
%Step5 对二值图像进行区域提取，并计算区域特征参数。进行区域特征参数比较，提取车牌区域
[L,num] = bwlabel(bg2,8);%标注二进制图像中已连接的部分
Feastats = imfeature(L,'basic');%计算图像区域的特征尺寸
Area=[Feastats.Area];%区域面积
BoundingBox=[Feastats.BoundingBox];%[x y width height]车牌的框架大小
RGB = label2rgb(L, 'spring', 'k', 'shuffle'); %标志图像向RGB图像转换
figure,imshow(RGB);title('图像彩色标记');%输出框架的彩色图像
lx=0;
for l=1:num
width=BoundingBox((l-1)*4+3);%框架宽度的计算
hight=BoundingBox((l-1)*4+4);%框架高度的计算
if (width>98 & width<160 & hight>25 & hight<50)%框架的宽度和高度的范围
lx=lx+1;
Getok(lx)=l;
end
end
for k= 1:lx
l=Getok(k);
startcol=BoundingBox((l-1)*4+1)-2;%开始列
startrow=BoundingBox((l-1)*4+2)-2;%开始行
width=BoundingBox((l-1)*4+3)+8;%车牌宽
hight=BoundingBox((l-1)*4+4)+2;%车牌高
rato=width/hight;%计算车牌长宽比
if rato>2 & rato<4
break;
end
end
sbw1=bw2(startrow:startrow+hight,startcol:startcol+width-1); %获取车牌二值子图
subcol1=Sgray(startrow:startrow+hight,startcol:startcol+width-1);%获取车牌灰度子图
figure,subplot(2,1,1),imshow(subcol1);title('车牌灰度子图');%输出灰度图像
subplot(2,1,2),imshow(sbw1);title('车牌二值子图');%输出车牌的二值图
%Step6 计算车牌水平投影，并对水平投影进行峰谷分析
histcol1=sum(sbw1); %计算垂直投影
histrow=sum(sbw1'); %计算水平投影
figure,subplot(2,1,1),bar(histcol1);title('垂直投影（含边框）');%输出垂直投影
subplot(2,1,2),bar(histrow); title('水平投影（含边框）');%输出水平投影
figure,subplot(2,1,1),bar(histrow); title('水平投影（含边框）');%输出水平投影
subplot(2,1,2),imshow(sbw1);title('车牌二值子图');%输出二值图
%对水平投影进行峰谷分析
meanrow=mean(histrow);%求水平投影的平均值
minrow=min(histrow);%求水平投影的最小值
levelrow=(meanrow+minrow)/2;%求水平投影的平均值
count1=0;
l=1;
for k=1:hight
if histrow(k)<=levelrow
count1=count1+1;
else
if count1>=1
markrow(l)=k;%上升点
markrow1(l)=count1;%谷宽度（下降点至下一个上升点）
l=l+1;
end
count1=0;
end
end
markrow2=diff(markrow);%峰距离（上升点至下一个上升点）
[m1,n1]=size(markrow2);
n1=n1+1;
markrow(l)=hight;
markrow1(l)=count1;
markrow2(n1)=markrow(l)-markrow(l-1);
l=0;
for k=1:n1
markrow3(k)=markrow(k+1)-markrow1(k+1);%下降点
markrow4(k)=markrow3(k)-markrow(k);%峰宽度（上升点至下降点）
markrow5(k)=markrow3(k)-double(uint16(markrow4(k)/2));%峰中心位置
end
%Step7 计算车牌旋转角度
%(1)在上升点至下降点找第一个为1的点
[m2,n2]=size(sbw1);%sbw1的图像大小
[m1,n1]=size(markrow4);%markrow4的大小
maxw=max(markrow4);%最大宽度为字符
if markrow4(1) ~= maxw%检测上边
ysite=1;
k1=1;
for l=1:n2
for k=1:markrow3(ysite)%从顶边至第一个峰下降点扫描
if sbw1(k,l)==1
xdata(k1)=l;
ydata(k1)=k;
k1=k1+1;
break;
end
end
end
else %检测下边
ysite=n1;
if markrow4(n1) ==0
if markrow4(n1-1) ==maxw
ysite= 0; %无下边
else
ysite= n1-1;
end
end
if ysite ~=0
k1=1;
for l=1:n2
k=m2;
while k>=markrow(ysite) %从底边至最后一个峰的上升点扫描
if sbw1(k,l)==1
xdata(k1)=l;
ydata(k1)=k;
k1=k1+1;
break;
end
k=k-1;
end
end
end
end
%(2)线性拟合，计算与x夹角
fresult = fit(xdata',ydata','poly1'); %poly1 Y = p1*x+p2
p1=fresult.p1;
angle=atan(fresult.p1)*180/pi; %弧度换为度，360/2pi, pi=3.14
%(3)旋转车牌图象
subcol = imrotate(subcol1,angle,'bilinear','crop'); %旋转车牌图象
sbw = imrotate(sbw1,angle,'bilinear','crop');%旋转图像
figure,subplot(2,1,1),imshow(subcol);title('车牌灰度子图');%输出车牌旋转后的灰度图像标题显示车牌灰度子图
subplot(2,1,2),imshow(sbw);title('');%输出车牌旋转后的灰度图像
title(['车牌旋转角: ',num2str(angle),'度'] ,'Color','r');%显示车牌的旋转角度
%Step8 旋转车牌后重新计算车牌水平投影，去掉车牌水平边框，获取字符高度
histcol1=sum(sbw); %计算垂直投影
histrow=sum(sbw'); %计算水平投影
figure,subplot(2,1,1),bar(histcol1);title('垂直投影（旋转后）');
subplot(2,1,2),bar(histrow); title('水平投影（旋转后）');
figure,subplot(2,1,1),bar(histrow); title('水平投影（旋转后）');
subplot(2,1,2),imshow(sbw);title('车牌二值子图（旋转后）');
%去水平（上下）边框,获取字符高度
maxhight=max(markrow2);
findc=find(markrow2==maxhight);
rowtop=markrow(findc);
rowbot=markrow(findc+1)-markrow1(findc+1);
sbw2=sbw(rowtop:rowbot,:); %子图为(rowbot-rowtop+1)行
maxhight=rowbot-rowtop+1; %字符高度(rowbot-rowtop+1)
%Step9 计算车牌垂直投影，去掉车牌垂直边框，获取车牌及字符平均宽度
histcol=sum(sbw2); %计算垂直投影
figure,subplot(2,1,1),bar(histcol);title('垂直投影（去水平边框后）');%输出车牌的垂直投影图像
subplot(2,1,2),imshow(sbw2); %输出垂直投影图像
title(['车牌字符高度： ',int2str(maxhight)],'Color','r');%输出车牌字符高度
%对垂直投影进行峰谷分析
meancol=mean(histcol);%求垂直投影的平均值
mincol=min(histcol);%求垂直投影的平均值
levelcol=(meancol+mincol)/4;%求垂直投影的1/4
count1=0;
l=1;
for k=1:width
if histcol(k)<=levelcol
count1=count1+1;
else
if count1>=1
markcol(l)=k; %字符上升点
markcol1(l)=count1; %谷宽度（下降点至下一个上升点）
l=l+1;
end
count1=0;
end
end
markcol2=diff(markcol);%字符距离（上升点至下一个上升点）
[m1,n1]=size(markcol2);
n1=n1+1;
markcol(l)=width;
markcol1(l)=count1;
markcol2(n1)=markcol(l)-markcol(l-1);
%Step10 计算车牌上每个字符中心位置，计算最大字符宽度maxwidth
l=0;
for k=1:n1
markcol3(k)=markcol(k+1)-markcol1(k+1);%字符下降点
markcol4(k)=markcol3(k)-markcol(k); %字符宽度（上升点至下降点）
markcol5(k)=markcol3(k)-double(uint16(markcol4(k)/2));%字符中心位置
end
markcol6=diff(markcol5); %字符中心距离（字符中心点至下一个字符中心点）
maxs=max(markcol6); %查找最大值，即为第二字符与第三字符中心距离
findmax=find(markcol6==maxs);
markcol6(findmax)=0;
maxwidth=max(markcol6);%查找最大值，即为最大字符宽度
%Step11 提取分割字符,并变换为22行*14列标准子图
l=1;
[m2,n2]=size(subcol);
figure;
for k=findmax-1:findmax+5
cleft=markcol5(k)-maxwidth/2;
cright=markcol5(k)+maxwidth/2-2;
if cleft<1
cleft=1;
cright=maxwidth;
end
if cright>n2
cright=n2;
cleft=n2-maxwidth;
end
SegGray=sbw(rowtop:rowbot,cleft:cright);
SegBw1=sbw(rowtop:rowbot,cleft:cright);
SegBw2 = imresize(SegBw1,[22 14]);%变换为22行*14列标准子图
subplot(2,n1,l),imshow(SegGray);
if l==7
title(['车牌字符宽度： ',int2str(maxwidth)],'Color','r');
end
subplot(2,n1,n1+l),imshow(SegBw2);
fname=strcat('data',int2str(k),'.jpg');
imwrite(SegBw2,fname,'jpg')
l=l+1;
end
%Step12 将计算计算获取的字符图像与样本库进行匹配，自动识别出字符代码。
liccode=char(['0':'9' 'A':'Z' '粤桂海云贵川京津沪']); %建立自动识别字符代码表
SubBw2=zeros(22,14);
l=1;
[m2,n2]=size(sbw);
for k=findmax-1:findmax+5
cleft=markcol5(k)-maxwidth/2;
cright=markcol5(k)+maxwidth/2-2;
if cleft<1
cleft=1;
cright=maxwidth;
end
if cright>n2
cright=n2;
cleft=n2-maxwidth;
end
SegBw1=sbw(rowtop:rowbot,cleft:cright);
SegBw2 = imresize(SegBw1,[22 14]);%变换为22行*14列标准子图
if l==1 %第一位汉字识别
kmin=37;
kmax=45;
elseif l==2 %第二位 A~Z 字母识别
kmin=11;
kmax=36;
elseif l>=3 & l<=5 %第三、四位 0~9 A~Z字母和数字识别
kmin=1;
kmax=36;
else %第五～七位 0~9 数字识别
kmin=1;
kmax=10;
end
for k2=kmin:kmax
fname=strcat('Sam\Sam',liccode(k2),'.jpg');
SamBw2 = imread(fname);
for i=1:22
for j=1:14
SubBw2(i,j)=SegBw2(i,j)-SamBw2(i,j);
end
end %SubBw2 = SamBw2-SegBw2;
Dmax=0;
for k1=1:22
for l1=1:14
if ( SubBw2(k1,l1) > 0 | SubBw2(k1,l1) <0 )
Dmax=Dmax+1;
end
end
end
Error(k2)=Dmax;
end
Error1=Error(kmin:kmax);%比较误差
MinError=min(Error1);%取误差的最小值
findc=find(Error1==MinError);%查找最小误差的图像
RegCode(l*2-1)=liccode(findc(1)+kmin-1);
RegCode(l*2)=' ';%输出最小误差图像
l=l+1;
end
title (['识别车牌号码:', RegCode],'Color','r');
RegCode
A10-03三、仿真结论
