机器视觉概述与案例分析
机器视觉的发展历程与应用
- 20世纪50年代：提出机器视觉概念。
- 20世纪末：蓬勃发展（新概念、新理论、新方法）
（1）机器人与自动化公司：fanuc、ABB、KEYENCE、SICK、Omron、NI；
（2）专业机器视觉公司：Congex的VisionPro、MVTec的HALCON、Data Translation的DT Vision Foundry；
（3）核心零部件公司：Basler、CCS、DALSA、Matrox。 - 2012年以来：深度学习带动机器视觉进一步发展。
机器视觉在智能制造中的应用：
- 测量：长度测量、角度测量、圆弧测量、半径测量、三维测量等；
- 识别：标签、条码、字符、颜色的识别等；
- 检测：瑕疵缺陷检测、数量检测等；
- 定位：机器人抓取、导航等。
机器视觉系统
机器视觉系统主要包硬件系统和软件系统。其中，硬件系统包括（工业）相机、光源、镜头、光学器件、处理器（CPU）与图像存储及显示设备等。软件系统包括图像处理算法、用户界面（GUI）等。下面简单介绍几个核心设备。
相机
相机的作用： 将通过镜头的光信号转换为电信号。
相机的分类：
按芯片技术：CCD相机、CMOS相机
按靶面类型：面阵相机、线阵相机
按输出模式：模拟相机、数字相机
按颜色：彩色相机、黑白相机
按是否带处理器：智能相机、非智能相机
相机主要特性参数：
芯片类型：CCD、CMOS
分辨率：位于CCD&CMOS芯片上的像素数
速度：line/s、fps
光学接口：C，CS，F等
电气接口：USB、IEEE 1394、GigE
光源
光源的作用： 照亮目标，突出感兴趣的特征，机器视觉从获取一张好的图片开始，光源至关重要。
光源的分类：
按照明部件：普通照明灯、LED灯、激光
按照射方式：前向光、背向光、结构光、频闪照明
按照明方式：平面照明、环形光源、同轴光源、平行光源、电光源、低角度光源、线光源、光栅
按光源波长：白光、单色光、近可见光、X-ray
光源光路技术： 补光、滤光、反射、分光、漫射
镜头
镜头的作用： 实现光束变换、将目标成像在图像传感器的光敏面上，类似于针孔成像的针孔和人眼晶状体的作用。
镜头分类：
按等效焦距：广角镜头、中焦距镜头、长焦距镜头
按功能：变焦距镜头、定焦距镜头、定光圈镜头
特殊镜头：微距镜头、显微镜头、远心镜头、红外线镜头、紫外线镜头
镜头基本参数： 视野（FOV）、景深（DOV）、工作距离（WD）
机器视觉应用案例分析：产品质量检测
现状与难点：大量的产品质量检测仍依赖人工进行，以终端生产为例，QC（质量控制）在生产线工人中所占比例越来越高，而一种产品的缺陷种类往往多达几十或上百种，通常存在难检、漏检和误检的问题，机器视觉与人工智能为解决产品质量检测的痛点和难点提供了希望。
算法需要具备对环境的适应性包括：
- 平移不变性和旋转不变性（即被测目标在视场内有平移或旋转，算法也能准确匹配图像中的被测目标，并返回其位置和相对模板图像的旋转角度）
- 目标交叠（被测目标之间相互覆盖时，算法应仍能正确匹配到目标，并返回被覆盖部分占整个目标的比例）
- 图像尺度变换
- 光线强度线性或非线性变化
- 噪声和模糊目标
图像模板匹配
通过分析图像和目标图像中灰度、边缘、外形结构以及对应关系等特征的相似性和一致性，从目标图像中寻找与模版图像相同或相似区域的过程。一般输出为匹配目标的数量、相似度、位置和角度相对于模板的缩放比例一般分为学习和匹配两个阶段。
- 学习：从模板图像中提取特征信息，并将它们以便于搜索的方式存放在模板图像库中以备后用。
- 匹配：从被测目标图像中提取同类型的特征信息，分析它们与模板图像中的特征信息的相似性和一致性，以确定目标图像中与模板图像相匹配的区域。
图像相减
使用图像相减进行缺陷检测，参与运算的图像至少满足如下条件：
- 目标图像和模板图像中的被测件图像尺寸相同
- 目标图像和模板图像中的被测件图像对准准确
- 目标图像和模板图像中被测件对于模板图像不存在畸变或畸变已经被矫正
- 目标图像和模板图像中的被测件图像不存在整体灰度差异
- 其他噪声的影响已提前被消除
深度学习
基于深度学习技术获取目标的类别、位置或像素级的分割，此方法首先需要创建数据集，利用深度学习对各产品表面缺陷形态特征进行学习，建立深度学习模型，从而可以分析更加复杂的图像，并提高对图像的分析能力，以此实现自动定义新的缺陷类型。