手机屏缺陷检测《Scale insensitive and focus driven mobile screen defect detection in industry》

文章链接:https://ac.els-cdn.com/S0925231218302996/1-s2.0-S0925231218302996-main.pdf?_tid=e6efda84-db95-47f2-8203-7a407e4f7265&acdnat=1540366950_8c37c8bf50b3fa2fb0796865363b7906

简单对文章的思路大概写一下,主要的对象就是检测手机屏表面的各种常见缺陷。主体就是network with merging and splitting strategies (MSDDN)+recurrent neural network (SCN),MSDDN是作者构建的一种网络,用于提取原图像各个块的特征向量,将每个块的特征向量输入一个RNN网络判别图像是否有缺陷。因为文章简单,所以分以下几点说明一下。

1.文章的前两部分总结为几句话:手机表面质量对这个产品和行业影响很大,但是主要靠人工检测的方法有很多的问题,所以急需一些机器视觉系统。目前的检测方法主要是基于滤波器的边缘检测方法,比如sobel算子,Roberts算子,Canny等,也有一些学者感觉这些算子对小的缺陷类型检测的不好,提出使用图像重构的方法,比如:奇异值分解和傅里叶变换。然后一些研究者开始人为的去构建一些特征模块,来进行局部缺陷检测,比较常用的是Haar-like features include four types, namely, edge features, linear features, center-around features, and diagonal features)。在众多特征中为了挑选一些好的特征,Adaboost 算法开始使用进行筛选。

2.作者通过观察,得知缺陷区域图像的尺寸大小对人类视觉系统影响很大(确实很大,不就是分辨率的问题嘛),作者开始进行实验,实验步骤如下:

  • 将不同缺陷的图像块按一定系数放缩;
  • 将放缩后的不同尺寸的图像输入AlexNet网络,看各个网络层的feature map激活情况。截图如下。
不同方法系数的效果图

从上图可以看出,不同的放大尺寸观察的效果确实不一样。不知道作者是不是直接对图像进行放大的,具体的细节没看,其实图像的放大可以采用的方法很多。

不同卷积层对缺陷图像的激活情况

上图可知,后三层的feature map激活的情况较好。

所以作者就想从不同的尺寸对图像进行特征抽取,这个思想怎么感觉像Google inception网络的 单元模块,和SSD等检测网络中的跳跃链接,将底层的特征和高层特征融合。不管了,作者给出了特征提取网络的核心模块,下图右边。

Left: an ensemble model. Right: MSDDN with B = 3 and W = 4. There are W paths from input to output in a block, where each path will pass through 0 to W - 1convolution layers, respectively. The padding operations is adopted to ensure the same output size from different paths.

最后作者将一个原始图像分成多个模块进行特征提取,然后将提取的特征输入RNN网络进行判别,如下:

3.作者在实验中,使用了简单的数据扩充方法对样本进行扩充。不过对于显示屏检测这个领域有些缺陷很明显,有的缺陷真的是肉眼都难以分辨,通过微妙的色调变换,就构成了缺陷。看下图。

很难分辨的缺陷
很好分辨的缺陷

 

猜你喜欢

转载自blog.csdn.net/qq_27871973/article/details/83345023