通过图像分割，边界检测，图像特征提取与分类的基础理论。
机器视觉钢材表面缺陷检测基本框架结构中的成像单元和缺陷分析单元都属于图像处理算法领域：
1. 成像单元能够实现对图像数据的压缩及图像的清晰表达；
2. 缺陷分析单元需要实现对缺陷类型的正确理解，并对缺陷进行统计，获得工艺中需要的数据，从而指导生产。
1994年，Piironen提出一套比较完整的钢材表面缺陷检测与分类方法：预处理过程；图像压缩方法，缺陷检出；自适应缺陷检测方法，缺陷图像理解与分析；信息的提取技术和模糊集理论的算法。
缺陷检出：特征提取和分割。
小波方法是一种多尺度域方法，具有良好的特征提取性能。
钢材表面缺陷检测系统分为：板带材表面缺陷检测系统和棒线材表面缺陷检测系统。
整体图像处理算法框架：图像检测技术和图像识别技术。图像检测技术主要目的是将疑似缺陷的部分从钢材大背景图像中分离出来，然而从这些区域中分割并标记出缺陷所在的具体位置，获得完整的缺陷图像，该技术包括了图像预处理，感兴趣区域搜索，图像分割。图像识别方法主要目的是将缺陷图像中的特征进行提取，并利用这些特征通过机器学习来判定获得未知缺陷的类型，该技术包括了特征提取，降维，图像分类等方法。
钢材表面缺陷图像的采集
成像和照明装置
最具代表性的成像方法包括激光扫描法，线阵CCD扫描检测和面阵CCD的拼接成像方法。
其中：
激光扫描方式具有高速扫描的特点，但由于激光扫描方法获得的图像缺乏实用性，钢材表面缺陷图像采集通常采用线阵CCD扫描检测和面阵CCD的拼接成像方法。
用于钢材表面缺陷图像采集的照明装置均为均匀光源，均匀光源能够确保带钢表面光照度的均匀性，减少外界光对图像采集的影响，常见光源包括频闪氙气光源，LED及其棱镜照明装置，光纤平行光源等。
在板带材的检测系统常用光源为光纤光源和LED光源。
钢材缺陷图像的检测
图像预处理（噪声的处理过程）
图像主要噪声类型：
1. 按振幅的分布形状分为高斯噪声和椒盐噪声（柏松分布）。
2. 按信号与噪声间的关系分为加性噪声和乘性噪声。
一类加性噪声（高斯白噪声）
乘性噪声（椒盐噪声）
边界识别
感兴趣区域检测
他是快速搜索图像中是否存在缺陷或疑似缺陷，是钢材表面缺陷检测系统应具有的基本功能，除感兴趣区域外的部分均无需继续进行图像的分割和特征提取任务。
典型感兴趣区域搜索的方法有投影方法，背景差分法。
缺陷分割
缺陷分割包括图像分割，缺陷标记。
图像分割是指将缺陷目标从捕获的感兴趣区域中的图像背景中分离出来，包含完整缺陷的图像区域是对图像进行特征提取，目标识别和图像理解的基础。图像分割的基础是边缘检测，由于灰度图像的不连续性和相似性，边缘为图像中灰度变化较大的区域。
边缘检测的主要方法是微分法，另外还有利用概率统计理论，小波理论，假设检验等进行边缘检测的方法。微分法的基本工具是微分算子，它利用经典的微分算子对图像边缘进行提取，检测原理是根据灰度图像在边缘处的一阶导数有极值和二阶导数存在过零点而对每个像素进行求导，在实际检测中常利用模版卷积的方法来近似计算。
其他相关的图像分割算法：利用区域间灰度不连续性的基于边界的算法和利用区域内灰度相似性的基于区域的算法，即基于边缘检测算子的检测算法，基于形态学的图像的分割方法，基于区域的图像分割方法。
钢材缺陷图像的识别与分析
特征提取（指对某一模式的组测量值进行变换，以突出该模式具有代表性特征的一种方法）
1. 统计法
2. 变换系数法
3. 代数法
4. 神经网络方法
细化特征提取方法：1. 几何形状特征 2. 颜色特征 3. 空间特征 4. 图像时域或频域变换的方式
特征降维
降维的目的是消除冗余，减少被处理数据的数量。
线性方法和非线性方法
线性降维方法主要包括：成分分析（PCA），独立成分分析（ICA），线性判别分析（LDA），Fisher判别分析（FDA），主曲线，投影寻踪（PP），多维尺度方法（MDS）
非线性降维算法包括：等距映射（Isomap），局部线性嵌入方法（LLE），Laplacian特征映射（LE），局部切空间排列方法（LTSA），Hessian等距映射（HLLE）和最大方差展开（MVU）
最常用的钢材表面缺陷图像分类器统计学习理论中的K-NN，决策树，SVM。
钢材目标图像边界检测方法
在工业图像处理中，边界检测是对机器视觉捕捉到的亮度和阴影区域，即检测目标与其载体之间的界线进行识别。
常见边界信号与典型钢材边界
边界检测是对机器视觉捕捉到的亮度和阴影区域。
对于钢材图像来说，边界的正确识别能够确保两点：
1. 确保钢材背景图像不被识别为边界缺陷，保证钢材图像的整体缺陷识别率；
2. 确保钢材图像中的边界缺陷不被识别为背景图像，顺利检出钢材边界缺陷；
边界检测的重点是检测边界是否在指定区内或定位已知边界的位置，而现有多数边界检测的方法已经假定了边界存在于指定区域当中，并尽可能精确的检测边界线的位置。
工业图像的边界检测通常包含了对目标图像的采集，测量和跟踪等多个过程。
常用的线阵CCD测量和处理方法有：固定阈值法，比度匹配法，梯度算子法。
线阵CCD图像同样采用基于拼接图像的边界检测算法，对于行像素拼接成的整幅图像来说，边界可以被认为是具有一定角度的直线，因此常用拼接图像的测量方法有：基于相位编组的直线检测算法，基于Hough的直线检测算法，基于链码的直线检测算法，基于最小特征根的直接检测算法。
P41-P42 钢材表面图像及其边界情况
基于线阵CCD边界检测的实现方法
固定阈值法
边界检测最常用的方法就是针对灰度图像预先设定边界模型，而且边界位置是已知的。
固定阈值法是一种二值化方法，能较为快速和直接地检测图像边界点。
引入线性插值
在外界干扰较小的情况下，固定阈值法跟阈值设定关系较大，合理的阈值效果较好；在外界干扰较大的情况下，根据边界对比度的差异相关，差异较大的区域边界识别效果较差，差异较小的区域识别效果较好。
对比度匹配法
通常边界扫描都有一个固定的方向，边界的检测标准来自于扫描线的灰度曲线。边界方向一般是不同的，包含上升边界和下降边界。
p44 钢材表面图像固定阈值法检测结果
对比度匹配法对自身参数的选择有一定的要求，对边界干扰范围不一致且干扰较大的情况无法处理。
钢材边界跟踪
钢材图像的边界跟踪的方法通常采用设定追踪横向范围的方法来实现。
由于钢材图像的边界一旦确定，那么在后续检测中算法将不会认为边界会有较大变化，而是在一定横向范围内追踪钢材边界，以保证边界出现缺陷时不会被错认。
基于面阵CCD边界直线检测的典型方法
基于相位编组的直线检测算法：
1. 根据梯度方向对各直线集合划分不同区域，通过计算出的梯度方向角，采用固定分组法对梯度方向进行分割。
2. 对直线集合分区进行连接，将同属一条边缘上的直线集合区域连接，从而避免短直线的产生。
3. 用最小二乘法拟合直线集合区域。将直线集合区域的边缘点坐标用最小二乘法拟合。求出直线集合区域的坐标范围，并的得到直线段的位置和长度。
4. 根据每个区域直线的长度，对比度，宽度，位置和方向等属性，将不同性质和特定方向的直线进行分类并提取。
基于链码的直线检测算法
基于最小特征根的直线检测算法
基于Hough变换的直线检测算法（重点）
对图像中的直线检测，还可以将图像空间中的每一个点进行坐标变换，在另一个空间利用直线的性质来检测（Hough变换）（该算法抗噪性好，对连续直线的间断退化可有效修复）
极坐标 Hough变换
p52
当噪声点较多时，累加器容易生成虚假峰值检测出伪直线；并且在不同空间的变换时无法记录直线的端点和长度。
p54
其他直线检测算法：
1. 针对缺点，通过滤波，小波变换，主成分分析等方法对图像进行去噪，降维
基于欧式距离的算法
基于块遍历的算法
基于小波变换的算法（重点）
针对目标图像和背景图像的不同特点，利用小波变换的多尺度分析特性对图像进行多级小波变换，计算变换后模值和幅角，再通过Hough变换从高分辨率到低分辨率依次确定图像中直线的位置。从而突出图像中的直线细节和不同直线信息的特征，同时也可以检测出直线段，提高了直线检测的精度。
基于PCA的算法
多约束点记录Hough的钢材直线检测与跟踪方法
钢材表面缺陷图像检测方法
钢材表面缺陷图像分割流程
CCD数据 ROI搜索 图像降噪 边缘分割 缺陷图像标记 特征提取
缺陷位置的感兴趣区域搜索
灰度标准化钢材表面感兴趣区域搜索方法
感兴趣区域搜索的目的就是要以最快的速度找到疑似缺陷的区域。
基于钢材表面图像灰度标准化的感兴趣区域搜索算法：
CCD扫描过程中光照环境的不一致或钢材表面图像本身的灰度差异，CCD每个记录单元的实测灰度值是不同的。
双阈值感兴趣区域提取方法
采用双阈值感兴趣区域提取方法，利用梯度阈值判定纵向缺陷的横向边缘，利用RGB三原色差异阈值判定块状缺陷的边缘，从而快速寻找到疑似的缺陷区域。
基于形态灰度包络的感兴趣区域提取
噪声过滤并保留缺陷引起的灰度突变区域是缺陷感兴趣区域提取的重要任务。
形态学灰度曲线包络是一种一维滤波方法，常见的有均值滤波和高斯滤波。
缺陷图像降噪方法
图像的噪声主要有三种：加性噪声，（高斯白噪声）；乘积性噪声；量化噪声（椒盐噪声）；
图像滤波器：
1. 均值滤波器
均值滤波器对高斯噪声的抑制是比较好的，处理后的图像边缘模糊较少。
但对椒盐噪声的影响不大，因为在削弱噪声的同时，整幅图像内容总体也变得模糊，其噪声仍然存在。
2. 中值滤波器
它是一种非线性平滑滤波器，其基本原理是把图像或数字序列中一点的值用该点的一个邻域中各点值的中值代换。
中值滤波对高斯噪声的抑制效果不明显。
中值滤波对去除椒盐噪声可以起到很好的效果，因为椒盐噪声只在画面中的部分点上随机出现。
缺陷图像边缘分割方法
边缘分割是图像从感兴趣区域搜索后获得的图像背景区域中分割并提取最优价值的部分，也就是实质性的缺陷区域，常用的图像分割算法包括：
基于边缘的分割方法，其中的经典的算子有：Sobel算子，Roberts算子，Prewitt算子及Laplace算子等，还有分水岭分割方法和最大熵分割方法。
基于Prewitt算子的边缘检测方法
如果图像由实质区域和不同亮度的背景组成，那么亮度可以用于分割目标。而这类图像的灰度直方图明显呈双峰状，双峰之间的谷底灰度值则可以作为灰度值对图像进行分割。
分水岭分割算法
最大熵分割方法
缺陷标记与合并
首先需要对图像分割后连通在一起的区域进行同值化标记，即将最大熵分割完成后的二值化图像中灰度值为255的连通区域赋予相同的标记值，不同的标记值代表着缺陷不同的实质位置。然后将根据缺陷合并规则对实质位置进行合并，并适合扩充缺陷区域，获得缺陷目标的外接矩形。矩形中的区域即为图像分割的最终结果，这个区域中的图像作为完整缺陷图像将被用于后续的特征提取和分类等过程。
钢材表面缺陷视觉图像及特征提取
热轧板带材表面典型缺陷，形貌及图像
热轧表面缺陷主要包括：裂纹，结疤，翘皮，凹坑，夹杂，麻点，划伤，压痕，氧化铁。
冷轧钢材表面典型缺陷，形貌及图像
酸洗/冷连轧钢材表面缺陷主要包括：边裂，结疤，重皮，孔洞，过酸洗。
棒线材表面典型缺陷，形貌及图像
表面缺陷常用特征与计算方法（p109）
通常特征的选择需要具有以下特征：
1. 区分性；
2. 可靠性；
3. 独立性；
4. 维数低；
形状特征
提取的主要是尺寸与形状特征和段特征。
阈值限定像素是超过缺陷与钢材表面一定灰度值的像素点，用阈值来度量超过的值的大小。
边界盒是可完全包围缺陷中所有阈值限定像素的最小矩形。
颜色特征
颜色是彩色图像最底层，最直观的物理特征之一，通常对噪声，图像质量的退化及其尺寸，分辨率和方向等的变化具有很强的鲁棒性。
颜色特征的描述方法主要有颜色直方图，颜色相关图，颜色矩，颜色一致性矢量等。
颜色直方图的核心思想是在颜色空间中采用一定的量化方法对颜色进行量化，然后统计每一个量化通道在整幅图像中所占比例。
颜色矩的基本思想是在颜色直方图的基础上计算每个颜色通道的均值，方差，偏差，用这些统计量替代颜色的分布来表示颜色特征，具有特征量少，处理简单的特点。
位置特征：
钢材表面与缺陷相对位置的特征反映的是缺陷部分与钢材表面整体之间的关系，它能够表达出缺陷与整体之间有无直接的关系，同时也能够确定工业生产中特殊定性的缺陷。
质心特征：
描述基于缺陷质心的属性。
钢材表面缺陷图像的降维
钢材表面缺陷可分为两种：一种是真实缺陷，它们严重影响产品质量和生产；另一种是伪缺陷，它们主要由现场生产环境恶劣或是特有工艺而产生。
第一，无固定形态缺陷和含无固定形态特征的缺陷图像在整体上具有高维的非线性几何结构。
第二，缺陷图像集合具有广义上的自然聚类特征。
第三，缺陷图像的像素维度非常高，直接进行像素降维为高维降维过程。
第四，缺陷图像作为一组数据集合，其具有非均匀性的特性。
钢材表面缺陷典型降维方法
线性降维方法：主成分分析PCA，独立成分分析ICA
非线性降维方法：Isomap，LLE，LE，HLLE，LTSA
基于监督双限制连接的图像降维方法
1. S-Isomap算法
2. dbl-Isomap算法
3. 监督双限制连接Isomap算法
4. 两类roll-swisss降维特性
钢材表面缺陷的分类
1. KNN
2. 决策树
3. SVM
钢材表面缺陷成因诊断的探索
周期性缺陷的诊断，产生缺陷的工艺数据主成分分析，同类缺陷评级，定向分析软件。