钢材是发展现代工业技术的基本材料，随着工业制造能力的提升，钢材广泛应用于建筑行业、海洋工程、航天工程，对钢材也提出了更严苛的要求。然而由于生产工艺限制，钢材在生产过程中不可避免地存在深度各异的表面缺陷，如划痕、裂纹、凹面等。这些缺陷不仅会影响产品外观，同时会导致钢材耐磨性、韧性等性能下降，缩短钢材的使用寿命。因此，分析与掌握如何提高钢材表面质量是现代钢材生产厂家亟需解决的重要问题。
本篇文章基于 Faster R-CNN 目标检测算法，提出一种基于机器视觉的钢材表面缺陷检测方法。
基本算法
1.1 Faster R-CNN算法
Faster R-CNN 算法是一种端到端的目标检测算法，网络结构如图1所示，分为4个部分，具体如下。
（1） 主干网络
Faster R-CNN 算 法 的 主 干 网 络 通 常 为 VGG-16、ResNet等网络，负责提取输入图像特征。通过查阅参考文献，本文选用 VGG-16 网络作为主干网络，其结构如图2所示。
（2） RPN网络
RPN网络负责提取候选框，其基本原理如图3所示。当输入模型图像通过主干网络进行特征提取后输入RPN，RPN 对特征图进行滑窗以产生描框。将描框得分高的部分作为推荐区域，即为候选框。
（3）ROI池化
ROI 池化负责对特征图进行一定比例的缩放，以使特征图满足预设定大小。目前，常用的缩放方式首先是将区域提案划分为大小相同的 n 等分，然后找到每个部分的最大值，最后复制最大值并输出[6]。
（4） R-CNN检测网络
R-CNN网络负责分类与识别候选框样本类别。首先根据实际情况设定一个阈值 a，然后计算真实与预测目标框的交并比 （IoU），最后判断IoU与a大小，即可确定候选框样本类别。当 IoU>a，则判定其为正样本；反之则为负样本。Faster R-CNN 算法具有鲁棒性强、检测精度高的特点，但在特征提取阶段存在容易丢失结构信息的问题，同时在 R-CNN 网络检测过程中对区域建议框的分类与定位精度有待提高。因此，为进一步提高网络的检测精度，本文从主干网络和检测网络两个方面进行改进[7-8]。
1.2 Faster R-CNN网络改进
1.2.1 主干网络
为解决 Faster R-CNN 网络容易丢失结构信息的问题，本文通过对主干网络特征进行融合，实现 Faster RCNN 网络改进。首先，分别将 VGG-16 网络 Block3 的conv3-256-1 与 conv3-256-3 进 行 融 合 ， VGG-16 网 络Block5的 conv3-512-1与 conv3-512-3进行融合。然后对融合后的特征进行再次融合。设置每个 Block 之后为最大池化，全连接层不变。通过上述操作，可使主干网络尽可能地保留结构信息。主干网络 Block3和 Block5改进前后结构对比如表1所示。
1.2.2 R-CNN检测网络
R-CNN 网络可通过增大 IoU 阈值使区域建议框更准确，进而提高模型的检测准确性，但过度增大 IoU 阈值容易导致模型拟合不足的问题。为解决该问题，提高模型的检测准确性，本文采用级联两个不同 IoU阈值的 RCNN检测网络对模型进行改进。分别设置两个R-CNN检测网络的IoU阈值0.5和0.6，并根据其IoU阈值划分分别对正负样本进行训练修正区域建议框，即可得到更准确的边界框，进而提高检测效果[10-12]。
2 基于机器视觉的钢材表面缺陷检测
基于上述对 Faster R-CNN 网络的改进思路，本文将基于机器视觉的钢材表面缺陷检测设计如图 4 所示。首先，采用融合特征的 VGG-16 提取输入模型的钢材表面图像，以减少钢材表面图像的结构信息丢失。其次，采用RPN网络提取生成钢材缺陷特征图候选框。然后采用ROI 池化将钢材表面缺陷特征图进行缩放。最后，先后采用 IoU阈值为 0.5和 0.6的 R-CNN 检测网络对特征图进行分类与识别，得到钢材表面缺陷检测结果。
3 仿真实验
3.1 实验环境
本次实验在 Linux Centos7 操作系统上进行，基于MXNet 框架下进行测试。系统环境 CPU 为 2.10 GHz 的E5-2620，GPU 为 NVIDIA1080，内存为 64 GB，编译器为Pycharm Community 1.3，解释器为Python 3.7。
3.2 数据来源及预处理
本次实验数据来自 NEU-CLS 数据集，共 1 800 张钢材表面缺陷图像，具体如表2所示。
3.3 评价指标
本次实验选用平均准确度 （AP） 作为评估模型性能的指标，其计算方法如式 （1）。选用平均AP （mAP） 评估整体性能，其计算方法如式 （4）。选用每秒帧率 （帧/ s） 评估模型运行效率。
式 （1） ~ （3） 中：TP 为真正例；FP 为假正例；FN 为假负例。
式 （4） 中：Nc为检测缺陷类别数。
3.4 结果与分析
3.4.1 模型验证
（1） 主干网络验证
为验证所提模型改进主干网络的有效性，实验对比了不同主干网络作为提取特征的模型性能，结果如表 3所示。由表可知，相较于ResNet-50，VGG-16作为模型的主干网络的平均检测准确率更高，达到84.06%，提高了 2.3%；检测速度由 6.2 帧/s 提升到 12.23 帧/s，提高了近一倍。由此说明，所提模型以VGG-16作为主干网络，可提高模型的检测性能，模型改进有效。
（2） 融合策略验证
为验证模型特征融合的有效性，实验采用不同融合策略构建模型，并对比了其平均检测精度与检测速度，结果如表 4 所示。由表可知，策略 B 的平均检测准 确 率 最 高 ， 达 到 95.92%， 检 测 速 度 最 快 ， 达 到22.45 帧/s，说明该融合策略可达到最佳检测效果，即融合 Block3 和 Block5 的融合策略最好，所提模型的改进有效。
（3） 检测网络验证
为验证所提模型对不同 IoU 阈值检测网络的级联效果，实验对比了不同级联 IoU 阈值时模型性能，结果如表5所示。由表可知，级联一个IoU=0.6的检测网络可提高网络的平均检测精度，达到 98.29%，提高了 2.37%。相较于级联一个 IoU=0.7检测网络，具有一定的优越性。由此说明，所提模型具有一定的有效性，对检测网络的改进有效。
所提模型消融实验结果如表 6 所示。由表可知，相较于特征融合前，特征融合后的模型 mAP 值提高了11.86%；相较于级联网络前，级联网络后模型的mAP值提高了 2.37%；相较于改进前模型，所提模型检测准确率提高了14.23%，达到98.29%。分析其原因是，特征融合后产生的特征图同时包含了高层和底层信息，进而提高了模型的检测准确率，而级联网络可提高模型的 IoU，使模型的检测准确率得到提高[13-15]。由此说明，特征融合和级联网络可明显提升模型的检测准确率，即所提模型具有一定的有效性。
3.4.2 模型对比
为进一步验证所提模型的有效性，实验对比了所提模型与特征融合前后 Faster R-CNN 模型对实验数据集的检测效果，结果如图5所示。由图可知，相较于改进前，所提模型和 FFaster R-CNN 模型对各类钢材表面缺陷的预测准确率均得到了明显提升，说明特征融合可有效提升 Faster R-CNN 模型对钢材表面缺陷的检测准确率。相较于 FFaster R-CNN 模型，所提模型对大部分类别的钢材表面缺陷检测准确率均得到了不同程度地提升，说明级联检测网络可一定程度上提高模型的检测准确率。由此说明，采用特征融合与级联检测网络对提升Faster RCNN模型的检测准确率具有一定的有效性，即所提模型有效。
为进一步验证所提模型的优越性，实验对比了所提模型与传统检测模型的检测效果，结果如表 7 所示。由表可知，相较于其他传统检测模型，所提模型在对钢材表面缺陷检测的精度和速率上具有一定的优势，平均检测准确率达到98.29%，检测速度达到12.26帧/s，可满足钢材表面缺陷检测需求。
3.4.3 实例验证
为验证所提模型的实际应用效果，实验采用所提模型对存在缺陷的钢材表面进行了检测，结果如图6所示。由图可知，所提模型可较为准确地检测不同类别的钢材表面缺陷，具有较强的泛化性能。
4 结束语
综上所述，所提的基于机器视觉的钢材表面缺陷检测方法，通过融合 VGG-16 网络 Block3 和 Block5 特征，可减少结构信息的丢失，使模型的平均检测准确率和检测速度得到进一步提升，达到95.92%和22.45帧/s；通过在检测网络后级联一个IoU阈值为0.6的检测网络，可实现对网络区域建议框更精确地分类与定位，使模型的平均检测精度达到98.29%。改进后的Faster R-CNN算法平均检测准确率和检测速度分别达到 84.06% 和 12.23 帧/s，相较于基于Faster R-CNN、SSD和YOLO-V3等算法的传统检测方法，所提方法平均检测精度和检测速度均得到不同程度的提升，达到98.29%和12.26帧/s，具有一定的有效性和优越性，可满足不同类别的钢材表面缺陷检测需求。
参考文献
略。
感兴趣的同学可以在知网上下载此论文
文章来源：陆家林，程 颖※，冯 赛，李明哲，张宁华，孙家宇. 基于机器视觉的钢材表面缺陷检测 [J]. 机电工程技术, 2022,51(07)
顺不想推荐一款可以用于钢材表面缺陷检测的机器视觉平台—跑码地Coovally，Coovally是一个包含完整AI建模流程、AI项目管理及AI系统部署管理的机器视觉平台。可以把开发周期从月缩短到天，加快AI视觉解决方案的开发、集成、测试和验证。帮助提升企业的AI栈软件开发能力，使先进的AI系统能够以更低成本、更快地普及。“打包自身的AI能力”给业务人员使用，从而实现“授人以渔”。目前跑码地Coovally已覆盖多个应用领域，包含制造业质检、地质灾害监测、电力行业设备监控、医学专病诊断、智慧交通、智慧园区等。
除了常见的落物识别，还可以检测的有：火焰检测、烟雾识别、抽烟识别、安全帽识别、行人检测、人员闯入识别、越界检测、攀爬识别、离岗检测、徘徊检测、聚众识别、人流密度检测、跌倒识别、防疫服识别、口罩识别、护目镜识别、灭火器摆放、别反光衣识别、、焊接缺陷识别、玻璃制品缺陷检测、楼道杂物堆放识别、垃圾桶溢出识别、河道漂浮物识别、夜间老鼠识别、包裹移动识别、电动车进电梯识别、取物放物识别、扶梯大件行李识别、家畜检测、鸟窝检测、农作物病虫害检测、船舶闯入识别、渣土车识别、裸露土堆识别、非机动车识别、车辆违停识别、电动车头盔识别、大货车限行识别、积水识别、井盖识别、路面损坏识别、重型机械车辆检测、交通指示灯识别等超过100种常见AI应用场景。