最近陆续在分享机器视觉在汽车领域的应用，发现了很多有趣的方法，分享给大家。
0 引言
一台轿车约由２万多个零部件组装而成，其中铁制零件（白车身零件）占绝大多数[1]。在白车身制造过程中，零件的几何尺寸精度除了影响车辆的装配质量，也会影响汽车的NVH、操控性及耐久性等诸多关键性能[2]，因此，零件的尺寸检测一直都是各大整车厂商重点关注的对向。
白车身零件基本为厚度0.6mm到2.5mm的打孔薄板冲压件，零件上有数量众多的圆形/长腰孔[3]。例如上汽大众Viloran车型后门内板上就有超过60个孔位，而这些孔位中除了24个相对重要的夹具/零件安装定位孔由于精度要求高被纳入常规白光测量报告外，其余内饰卡扣安装孔容许公差较大（公差±2mm，因为卡扣有活动量），常规测量报告通常不会将它们包括在内，但如果该尺寸超差会直接影响后道总装车间内饰安装，引发大量返工并造成经济和时间损失。不同于流水线质检对单一零件进行大批量精确检测，车身现场工程师处理尺寸问题时需要考虑每个零件工位测量焊接前后孔位尺寸，以分析确认误差来自焊接过程还是单件本身。出于测量效率（进入工位需要停线）以及使用环境考虑，三坐标或蓝光测量方法都无法适用于以上场景[4]。目前现场工程师一般借助游标卡尺等接触式方法对孔位进 行 测 量，该方法直接有效，但也会遇到包括夹具干涉无法伸入测量 工 具、孔位较多导致测量效率低的问题[5]。此外在测量孔位间距时，测量人员需要分别测出两个孔位大小以及边缘距离，然后进行计算得出结果。如果遇上长腰孔测量则计算难度还会上升，因此迫切需要一种能够适应车间现场工作要求的零件孔位测量方法。
通过机器视觉测量技术来完成对零件几何尺寸的测量，是近年来工业检测领域的研究热点之一。该技术测量测度快，可实现生产线上连续测量[4]，目前已经被广泛应用在微电子[6]、 航空航天产品[7]、 轨道交通[8]、大型零件制造[911]、汽车工业[1214]等行业。贾国邦[5]基于图像处理技术提出一种非接触式高效且高精度的微小孔零件尺寸测量方式，采用Canny算子进行图像轮廓提取，以铝板小孔为实验对象，得到的测量结果误差达到了微米级别。唐君萍[15]针对飞机零件上大量小尺寸导孔测量问题提出了一套快速检测系统MBMS，实验件上75个导孔共花费7.4min，检测效率超过了三坐标测量机。为了快速综合检测刹车片尺寸，徐志玲[16]提出了一种基于公差设计原则和图像处理的综合尺寸检测方法：利用CCD相机拍摄图形，处理得到二值图像并利用最小外接矩形优化算法，确定其放缩倍数，最后利用白色像素点数与标准模版图白色像素点数差异得到检测结果。朱文博[17]为了提高二维尺寸测量精度和效率，采用形态学梯度算子提取图像边缘，并用最小二乘法拟合像素尺寸，通过标准件法对系统进行标定获得零件尺寸。上述方法虽然保有较高精度，但都需要借助实验平台、专业相机和计算机完成检测，成本较高且无法达到现场工作要求。倪彤元[18]基于图像处理技术提出了一种基于Android APP 的混凝土表面裂缝无损检测方法，该方法主要用于估算混凝土表面裂缝长度和面积，可以借助手机端完成快速检测，能够以一种低成本且高效率的手段满足工程应用要求，但并未应用于尺寸测量。
为了提升现有视觉测量技术的工程应用价值，在适当降低测量精度，并提升测量高效性与便捷性的前提下，本文提出一种可以借助智能手机完成识别的零件孔位尺寸快速检测方法，以期以较低的使用成本为现场测量工作提供一种补充手段，并为零件视觉测量提供一种可供借鉴的思路和方法。首先，在待测量零件孔位左侧粘贴测量基准贴纸作为测量用比例 尺，计算出图像的单位像素点比例；其次，基于测量得到的手机相机畸变系数对拍摄图像去畸变；最后，对图像进行高斯滤波及Canny边缘检测，并将图像从左至右对目标孔位进行标记，以基准贴纸所得单位像素点比例计算出每个孔位的最小外接矩形长宽及距离。针对长条形零件测量探索了基于Surf算法的图像拼接方法。相关图像处理借助Matlab实现，并设计了PC端交互界面，能够在移动端借助Matlab Mobile完成检测。
1 零件孔位尺寸测量原理
1.1测量基准贴纸
不同于双目视觉技术能够利用两个镜头从两个视点对同一个目标进行拍摄后得到深度信息[19]，由于车间现场使用条件限制，只能使用单目视觉方法进行测量。若在待测物体距离未知的情况下，不可能直接对图像中物体进行尺寸大小的测量计算[20]。参照Chen[21]在单目测量中使用的像素比例概念，本文引入如图１所示的测量基准贴纸作为比例尺，该贴纸为直径d=10mm的圆。在二维图像处理中，定义长度方向的单位像素点比例pl与长度方向的单位像素点比例为pw：
式中，la、wa分别为图像中基准贴纸经过处理得到最小外接矩形的长宽，可通过式(9)、(10)得到。
1.2 图像去畸变
任何透镜都不是完美无缺的，而文中测量方法借助智能手机实现，不同手机镜头畸变程度各不相同，为了尺寸测量结果的准确性及一致性，有必要对手机拍摄的图像进行几何去畸变处理。通过张正友棋盘格标定法[22]标定透镜畸变，由于标定板图案尺寸至少要大于1/4视场，小于整个视场[23]，综合考虑车间现场照片拍摄情况，选取GP260黑白棋盘格进行标定，如图2所示，得到相机的内参矩阵、外参矩阵和畸变系数。
由于算法采用的是张正友标定法，畸变系数D(K1,K2,P1,P2,K3)中只用K1,K2,P1,P2。实际像素变换至理想像素的计算公式如下：
其中：r2=x2=y2，(X’,Y’)为矫正后的像素点，(x,y)为原图像素点。图3分别展示了去畸变前后的图像，对比图3(a)与(b)可以看出该算法修复了原有图像上的轻微枕形畸变。
1.3 灰度变换、空间滤波与边缘检测
采用MATLAB中的rgb2gray函数进行灰度处理，得到灰度图像。高斯滤波目前是最为流行的去噪滤波算法，其原理为根据待滤波的像素点及其邻域点的灰度值按照高斯公式生成的参数规则进行加权平均，这样可以有效滤去理想图像中叠加的高频噪声。通过imfilter函数对图像进行高斯滤波，函数中滤波模板由fspecia(‘gaussian’,[1010],sigma)(函数生成，sigma=1)。
Canny边缘检测算子是JohnF.Canny开发的一个多级边缘检测算法，其目标是找到一个最优的边缘，其最优边缘的定义包括：尽可能多地标示出实际边缘；标识出的边缘要与实际边缘尽可能接近；边缘只能标识一次且忽略图像噪声。由于采用了最优化的思想，Canny边 缘检测具有良好的信噪比、高精度以及较优的定位性能[24]，贾 国 邦[5]分别使用Sobel算子、Roberts算子、Prewitt算子和 Canny算子对孔位进行了检测，最终选择了精度最高的Canny法。沈正福[25]在进行食品主体尺寸识别时，也比较了Sobel算子、Laplace算 子 和Canny算子的精度，最终也选择了Canny作为边缘检测算子，因此本文选用该方法对图像进行边缘检测。使用edge(I,’Canny’,threshold)函数，其中I为输入图像，threshold为阈值，根据现场轮廓检测效果进行调整。此外在实际检测案例中，被测量零件上可能存在的较小纹理及锈蚀或污损点会对后序按八连通区域的检测造成干扰，因此文中先通过孔洞填充去除纹理，接着用Canny边缘检测提取孔洞填充图像外围边缘，最后使用形态学算法去除较小的对象，减少干扰。
1.4 尺寸换算与标注
完成对图像的处理阶段后，通过[labelpic,num]=(I,n)函数对图像目标从左至右进行标记，其中I为输入图像，n=8表示是按八连通寻找区域。配合find函数进行特定目标的操作，标记左起第一个轮廓为标准贴纸计算单位像素点比例。运用旋转卡壳算法[26]将标记得到的目标对象进行最小外接矩形的计算，得到最小外接矩形4个角的坐标，假设孔位1的最小外接矩形坐标为 ａ （ｘａ， ｙａ）、ｂ（ｘｂ，ｙｂ）、ｃ（ｘｃ，ｙｃ）、ｄ （ｘｄ，ｙｄ），如图４所示。
矩形边长计算如式 （３）：
ｄａ－ｂ、ｄｂ－ｃ、ｄｃ－ｄ、ｄｄ－ａ分 别 为ａｂ、ｂｃ、ｃｄ、ｄａ 边 长， 且ａｂ ＝ｃｄ，ｂｃ＝ ｄａ，则孔位１的最小外接矩形长ｌ１ 和宽 ｗ１ 分别如式 （９）、（１０）所示，同理可得到测量基准贴纸边 长ｌａ、ｗａ 以及孔位２的最小外接矩形边长ｌ２ 和宽ｗ２。
孔位１的实际外接矩形长Ｌ１ 和宽 Ｗ１ 可通过式 （１１）、（１２）得到，其中ｐｌ 与ｐｗ 是由式 （１）、 （２）计算得出的单位像素点比例。
除了孔位大小的尺 寸 计 算 外，孔位间的距离也是需要 重点关注的尺寸。使用同样的原理进行计算。假设孔位2的最小外接矩形坐标为Ａ （ｘＡ，ｙＡ）、Ｂ（ｘＢ，ｙＢ）、Ｃ（ｘＣ， ｙＣ）、Ｄ（ｘＤ，ｙＤ），则可得到孔位１和孔位２的最小外接矩形中心点坐标ｅ（ｘｅ，ｙｅ）、Ｅ（ｘＥ，ｙＥ），如式（１３）～（１６）所示。
由式 （７）可得到孔位１与孔位２之间的实际距离 Ｄ：
使用ｌｉｎｅ函数在图像中绘制出最小外接矩形以及孔位中点间距的连线，并通过ｔｅｘｔ函数直接将计算得到的实际间距标注在图像中进行显示。
1.4 图形拼接功能
在对车身车间零件进行测量时，常会遇到需要窗框加强版、车门加强筋等长条形零件上的通孔的测量需求。由于拍摄图像比例限制，长条形零件上孔位难以借助一张图片表达。黎欣[9]针对大尺寸零件视觉测量提出了基于Surf特征点算法的图像拼接方法，并且将其与BP 神经网络相结合，应用于滚动轴的故障识别，得到了较好的识别效果。本文也将借助 Ｓｕｒｆ特征点算法对待测零件图像进行拼接，实现对长条形零件孔位的检测。
Ｓｕｒｆ算法的图像拼接过程主要包括：通过ｄｅｔｅｃｔ＿ｓｕｒｆ函数提取两个图像的 Ｓｕｒｆ有效特征并存储；通过匹配存储的特征建立两个图像之间的对应关系；通过函数 ｍａｔｃｈＦｅａ－ｔｕｒｅｓ确定匹配特征集后，通过变换模型将待拼接图像变换到参考坐标系 下，即对图像矩阵进行投影变换，最 终 借 助图形融合得到拼接完成的图像。 ２ 零件孔位尺寸测量过程及实验
２．１ 操作过程
在进行零件尺寸测量时，首先将测量基准贴纸粘贴在零件待测量孔位的最左侧，并确保其与孔位在同一平面上；然后拍摄照片，拍摄过程中需要尽量保证手机与待测量平面平行，并且将基准贴纸和待测量孔位都纳入拍摄范围内。完成拍摄后将照片导入 ＭＡＴＬＡＢ程序中进行处理，经过正畸、灰度变换、空 间 滤 波、边 缘 检 测，最后完成尺寸标注后输出测量结果，具体操作流程如图５所示。
此外，在手机拍摄待测量孔位时，需要确保相机位置与光圈值、快门速度、ISO等拍摄参数与手机进行棋盘标定时条件相同［２７］，这样才能确保图像正畸变达到最佳效果。
2.2 测量结果对比
通过两个案例来验证所提出方法的测量精度。借 助 坚果R2后置1300像素主摄镜头完成图像拍摄，测得镜头的畸变系数D（ｋ１，ｋ２，ｐ１，ｐ２，ｋ３）＝（０．０２４３，－０．０１２７，－０．００１５，０．０００６，０），经过畸变校正后进行尺寸识别。
第一个案例要求识别白车身底板上一个焊接零件的孔位大小尺寸和孔距离尺寸，这个案例包括一个圆孔和一个长腰孔，具有一定典型性。图6为图形处理过程中每个步骤下的处理结果，图6（ａ），（ｂ），（ｃ），（ｄ）分别为正畸变后图像，灰度处理后图像、高斯滤波后图像，边缘检测后图像和尺寸标注图像。
为了验证本文所述检测方法的准确性，使用精度为０．０５ｍｍ 的游标卡尺对该零件进行接触式测量，每个数据测量３次取算数平均值，而本文测量方法所得圆孔结果取长宽距离平均值，两者对比结果如表１所示。
由于数据是四组测量值和真实值的对比，故参照沈正福[25]的工作补充标准误差来评价系统的测量准确性，计算公式如式（18）：
其中：ｘｉ，ｘ（＿）分别表示本文方法测量值和游标卡尺测量 值，σ 为 标 准 误 差，带 入 数 据 得 到 标 准 相 对 误 差 为０．２７４ｍｍ。
该零件孔位主要用于安装内饰塑料卡扣，允 许 有 较 大活动量，公差为＋／－２ｍｍ，而文中孔位尺寸最大相对误差０．３ｍｍ，距离相对误差０．４ｍｍ，能够满足该种非定位孔的几何尺寸测量。除 此 之 外，文中测量方法能直接给出孔孔之间距离，而不必像游标卡尺测量一样需要进行换算，在检测效率上也有一定的优势。
另一个案例为车辆前门内板上靠近 Ａ柱区域的塑料盖板 安装孔测量，由于孔位数量较多，接触式测量效率较低。案 例的测量过程如图７（ａ），（ｂ），（ｃ），（ｄ）所示，分别为正畸 变后图像，灰度处理、高斯滤波后图像，边缘检测后图像和尺寸标注图像，４个孔位的标注顺序如图７（ａ）所示。
同样用精度为０．０５ｍｍ 的游标卡尺对该零件进行测量， 孔位编号如图７ （ａ）所示，本文方法测量与游标卡尺测量结果对比如表２所示。
通过公式(8)得到第二个案例所有测量值的标准相误差为0.220mm。其中4个孔位的标准相对误差0.112mm，孔位间距的标准相对误差为0.311mm。门内板卡扣孔位公差为±2mm，而文中孔位尺寸相对误差0.2mm，距离相对误差0.4mm，能够满足该种非定位孔的几何尺寸测量。文中测量方法能直接给出4个孔与孔中心之间距离而不用像游标卡尺测量一样进行进一步换算，有效提升了测量效率。
2.3 图形拼接结果对比
图像拼接功能将同一个零件的两张图片进行变换、拼接后合成一张图片，在没有支架测量系统的支持下，误差会比较大。本节将以第一个案例，白车身底板上一个焊接零件为例，拍摄两张照片合成后与单张照片及游标卡尺测量结果对比，说明图像拼接合成后识别尺寸与单张照片及实际零件尺寸之间的差异。拍摄的两张图像I1和I2如图8(a),(b)所示，通过Surf特征点算法找到两个图像的Surf有效特征点和有效特征，再进行匹配，匹配的特征点对应关系如图8(c)所示。通过图像变换得到的合成图如图8(d)所示。
得到合成图后再次进行孔位尺寸识别，处理过程与2.2章节第一个案例相同，得到的识别结果如图9所示。图像合成方法测量、单张拍摄图片测量与游标卡尺测量结果对比如表3所示。
由于基准贴纸与左侧的腰孔是在同一张图像I1内，合成后计算得到的误差与单张图片时几乎一致。而右侧的圆孔在另一张待合成的图像I2上，由于在拍照时没有借助专用的测量支架，而是直接拍摄，其拍摄角度和距离必然与第一次拍摄图像I1时不同，因此在进行图像合成变换时不可避免会出现测量误差。圆孔直径相对误差由-0.1mm增大为-0.8mm；孔距离相对误差由0.4mm增 大 为-0.8mm。
由于测量误差相对较大，图像拼接后测量得到的孔位只能作为参考值，尤其是没有贴基准测量贴纸的图像上的孔位。一个能够固定拍摄角度和拍摄距离的手机测量支架或许能够提升测量准确度。
3 用户界面及手机端使用
3.1 PC端用户界面
采用图形用户接口(GUI)编程技术，开发设计了孔位尺寸测定的软件系统，用户界面如图10所示。5个模块分别为输入图像、处理选择、输出尺寸、边缘检测阈值和调试信息。首先点选输入图像模块中浏览选项，选取拍摄好、正畸变后的图像，点击加载。在处理选择Input下出现待识别图像后，选择边缘检测（高斯滤波）阈值，从车间现场总结得到的默认阈值为0.725，可根据现场实际要求进行调整，调整范围在0~1 之间，即 “权重”。当数值增大时，识别图像内的轮廓数量会相应减小，即滤波的效果越强；当数值减小时，识别图像内的轮廓数量会相应增大，即滤波效果越弱。确定需要选择的待测量图像出现在Input下后点选 “处理”框，开始进行孔位尺寸测量。如处理完成，调试信息框中出现 “图像处理与图像输出完成”，如处理失败，则调试信息框中出现 “图像处理与图像输出失败”字样。在调试信息框中出现 “图像处理与图像输出完成”字样后，处理选择Output框中会出现识别完成后有尺寸标注的图像，同时输出尺寸框中也会分别显示出孔位尺寸，包括最小外接矩形的长宽、以及孔位间距离，单位为mm。
3.2手机端测量过程
除了通过PC端进行测量运算外，为了进一步方便现场的测量工作，还借助MATLAB Mobile移动端在移动手机端实现现场白车身零件在线测量。
MATLAB Mobile是一款移动端轻应用，可以安装在Android或IOS移动设备上， 并且连 接到在Math Works Cloud上运行的MATLABⓇ 会话。由于其易用性与高效性，MATLAB Mobile被广泛应用于理工类实验与教学中[2829]。在使用手机端软件前，需要先在PC端将图像处理的m文件存储到MATLAB Drive云端，完成后打开手机端安装的MATLAB Mobile APP，登录Math Works Cloud上相同的账户，即可打开云端的文件。同时有关尺寸的计算都在云端完成，云端计算完成后将计算结果发送回手机端。即只要能够上网，即使是处理能力较差的手机也能够完成测量。同时，MATLAB Mobile还能够与同个Wif下的PC端MATLAB连接，在PC端口完成计算后将结果发送至手机，在不连接云端的条件下同样能够完成计算。
在实际操作中，拍摄完现场待识别零件照片后，首先在手机端将MATLAB Mobile应用打开，并将拍摄的照片移动到MATLAB Drive云端m文件所在的目录下，点击运行程序即可得到孔位尺寸和孔位间距的识别结果。MATLAB Mobile在移动端界面如图11所示，具体操作可参考相关文献[30]。
4 结束语
本文针对汽车车身车间现场白车身零件尺寸测量的问题，采用图像处理技术（机器视觉方法）对零件孔位进行在线测量，并且直接在原图上标注出测量完成的孔位距离以及孔位大小。具体发现包括：
1）基于图像处理技术实现了对零件孔位尺寸的二维非接触式测量。对零件图像进行灰度化、高斯滤波处理，生成二值图像；通过Canny边缘检测方法提取图像边缘；去除尺寸较小的干扰因素；最终采用最小外接矩形标注孔位尺寸，通过几何方法求解孔位间尺寸。此外引入镜头去畸变技术，提升尺寸测量结果的准确性及一致性。
2）使用测量基准贴纸作为比例尺，并且引入了手机端MATLAB Mobile，实现了车间现场测量的可行性与高效性。
3）测量案例表明，该方法对孔位尺寸测量最大相对误差0.3mm，孔距离最大相对误差0.4mm；孔位尺寸测量最大标准相对误差0.274mm，孔距离标准相对误差0.311mm，能够作为公差要求较低的非定位孔的辅助测量手段。该方法尤其适用于白车身制造中用于安装饰板的零件孔位，这些孔位常常处于一个平面且数量较大，借助该方法能方便且高效完成测量。
4） 针对长条形零件测量，探索了基于Surf算法的图像拼接方法，比较了单张图像拍摄、两张图像拍摄和直接测量的结果，发现由于两次拍摄图像的角度、距离不同，合成后图像孔位，尤其是远离基准贴纸的孔位尺寸误差相对较大，目前还不能应用于现场尺寸测量中，仅可作为参考结果。
5）在现场图像拍摄过程中，需要尽量保持拍摄角度为90°俯视，以防物体尺寸出现扭曲，因此对拍摄者拍摄手法要求较高。此外测量误差仍然相对较大，设计一个合适又便捷的手机测量支架是今后进一步完善该方法的研究方向。
参考文献
略。
感兴趣的同学可以去知网上下载此论文。
文章来源：余旭东１，殷 广１，朱晨迪１，谢栩聪２. 基于图像处理技术的零件孔位尺寸快速测量方法 [J]. 计算机测量与控制, 2022,30（9）