基于深度学习的铸件缺陷检测

｜导读｜

■ 提出一种YOLOv3-Mv2的检测模型，对铸件划痕缺陷进行检测。首先，选择更小的骨架网络MobileNetv2替换原来的特征提取网络结构Darknet53，减少网络的计算参数量，提升检测速度；其次，在深层特征和浅层特征相融合的基础上增加新的检测尺度，以增强对小缺陷目标的检测能力；然后将BN(Batch Normalization)层的参数重新计算，与卷积层共用连通区域数据，加快模型前向推断的速度；引入CIoU（Complete IoU）函数提高定位准确度。结果表明，YOLOv3-Mv2与原YOLOv3算法相比，平均精度（mAP）值提高了5.42%，实时性提高了23f /s。

关键词：缺陷检测；MobileNetv2；合并参数；检测尺度；损失函数

■ 随着现代工业的发展，铸件品质保证显得尤为重要。对于表面有缺陷的铸件，采用人工检测方法存在效率低、不宜长时间的操作，易造成误检。传统机器视觉检测法和深度学习检测方法是现在比较流行的缺陷检测方法。

■ 传统机器视觉检测法先采集图片，接着使用图像处理方法获得结果。胡浩等对3类不同的磁瓦缺陷特征设计了不同的检测方法。戴斌宇等提出一种基于连通域特征组合的干扰抑制算法，并利用图像差分法提取缺陷进行分析判断物体表面有没有缺陷。这类算法的速度较快、针对特定缺陷的检测效果较好，但是受现场环境和个人操作等因素影响，对缺陷特征提取的能力差。国内人工智能技术发展很快，成为目前科技的潮流，缺陷检测也因此引入了深度学习的方法，检测效果明显提高，应用范围更加广泛。深度学习使用卷积神经网络提取特征并自主学习，利用训练后的权重检测数据是否有缺陷。深度学习的方法对于缺陷检测的精度更高，检测速度更快。深度学习的目标检测方法主要是两类：一类是以Faster-RCNN为代表的two-stage的检测方法，这类算法的检测精度较高，但这类算法先生成候选框，然后再对每个候选框进行分类，所以检测速度很慢，影响实时性。还有一类是以SSD、YOLO为代表的one-stage检测方法。利用回归思想一步计算出要检测的目标坐标并判断目标类别，这类方法检测速度大大提升，精度略低于two-stage方法。胡贵桂等采用残差网络（Resnet101）结构取代原先的特征提取网络,增强了特征提取的效果。SANDLER M等提出了一种与空间金字塔分解相结合的可视化模型，并借助密集连接结构，提高了精度。

■ 本课题使用提出的YOLOv3-Mv2网络，对不同大小的划痕缺陷位置进行检测，首先选择更小的网络MobileNetv2替换原来的特征提取网络结构Darknet53,减少网络的计算参数量，提升检测速度，接着添加一个网络预测尺度，以增强对小缺陷目标的检测能力，并将BN层参数合并到卷积层，加快推演的速度,并引入CIoU函数提高定位准确度。

1、Yolov3的介绍

■ Yolov3是在Yolov1，Yolov2基础上经过改善得到的网络。和Faster R-CNN的方法不同，YOLOv3使用回归方法，将一张图片分割成个网格，可以同时检测多目标，速度也较快。YOLOv3的特征提取主干网络是Darknet53，借鉴了残差网络ResNet的思想，在层与层之间设置shortcut(快捷链路)，选择性的跳过部分卷积，解决了网络训练深层次时优化问题，加强了对特征的提取。YOLOv3融入了特征金字塔的思想，使用了3个不同尺度检测目标。YOLOv3不使用Softmax对每个框进行分类，因为Softmax使得每个框分配一个类别，对于检测的图像，目标可能有重叠的标签，而且Softmax可被独立的多个逻辑分类器替代，且准确率不下降。具体的检测流程如下：

图1 YOLOv3结构图

2、改进的YOLOv3算法

■ 为了提升网络实时性并保证精度的基础上，主要对网络做了如下改进。

2.1改进骨干网络

■ YOLOv3的结构是借鉴残差网络的思想设计的，在加强特征提取的同时，也增加了许多的参数，一定程度上影响了实时性。所以利用MobileNetv2可以有效的减少参数的同时保证一定的准确度。MobileNetv2是在MobileNetv1基础上做的改进。MobileNetv1的贡献是提出了深度可分离卷积，MobileNetv2保留了MobileNetv1的优点，并加入了具有线性瓶颈的逆残差结构（Inverted Residuals），与传统ResNet结构中先对bottlenecks降维再复原不同，这里先用一个expand layer进行升维，然后再逐通道卷积（Depthwise Convolution），最后再11降维复原。提出线性瓶颈（Linear Bottlenecks），在维度较小的11卷积之后不再采用ReLU操作，避免对特征的破坏。MobileNetv2的基础结构图见图2，更换骨干网络后检测对比见表1。

图2 MobileNetv2基础图

2.2增加预测尺度

■ YOLOv3网络采用了3个不同尺度的特征图来进行对象检测，为了加强对小目标的检测。网络的最终输出有3个尺度分别为1/32，1/16，1/8；在第79层之后经过几个卷积操作得到的是1/32 的预测结果，适合检测大目标。然后这个结果通过上采样与第61层的结果进行拼接,再经过几个卷积操作得到1/16的预测结果；它具有中等尺度的感受野，适合检测中等尺度的对象。91层的结果经过上采样之后在于第36层的结果进行拼接，经过几个卷积操作之后得到的是1/8的结果，它的感受野最小，适合检测小尺寸的对象。通过上述操作方式，生成了3种预测尺度，1313，2626，5252，可以针对不同大小目标进行检测。针对铸件缺陷存在更小的缺陷，在原来3种检测的尺度上增加第4种检测尺度，在5252的特征图进行上采样，与104104的特征图连接。改进后的结构图见图3。

图3 修改后的网络结构

2.3合并BN层与卷积层参数

■ BN层可以加速网络的收敛，并且可以控制网络过拟合，但与此同时增加了网络前向推理时间，影响了性能，占用了更多的显存。所以将BN层参数合并到卷积层，提高模型前向推理速度。合并后共同使用Blob数据，减少显存使用，加快了推理速度，检测速度与精度对比见表2。

2.4 损失函数的改进

■ IoU (Intersection over union)是当前目标检测算法性能常见评判标准之一，它是预测框与真实框的交并比。IoU虽然可以一定程度上反映预测检测框和真实检测框的检测效果，但是当预测框和真实框没有交集的时候就不能适用了，于是引入CIoU，CIoU解决了一般IoU无法直接优化两个框框没有重叠的部分, CIOU将目标与框框anchor之间的距离、尺度、惩罚项以及重叠率都考虑进去，使目标框回归变得更加稳定，不再像IoU和GIoU一样在训练过程中出现发散等问题，而惩罚因子把预测框长宽比拟合目标框的长宽比考虑进去。

2.5 模型的检测过程

Input：

Step 1: 输入图片，对图片代销进行调节

Step 2: 经过33的逐通道卷积和11的逐点卷积，进行特征提取并减少参数量的计算

Step 3:经过步长为1的线性瓶颈模块；

Step 4:经过步长为2的线性瓶颈模块和步长为1的线性瓶颈模块，重复此步骤

Step 5:将多个尺度的特征进行融合，输出目标检测结果

Output

3、试验结果与分析

3.1试验平台

■ 在Ubuntu16.04操作系统下进行的试验，计算机CPU为i7-9750H，内存为16 G，GPU为GTX1660ti，显存为6GB，python版本为3.6.5，安装了Cuda10.0和Cudnn7.5.1，加速GPU的计算与运行，同时安装了Opencv4.1和Tensorflow1.13.1以支持网络的训练和检测。

3.2数据集

■ 本试验数据集共2000张图片来自合作工厂提供，1530张有缺陷的，470张不含缺陷。训练集和测试集的比例按照9：1，前1800张作为训练集，后200张作为测试集。利用labelImg软件对图片进行人工标注，将图片缺陷的位置使用矩形框框出来，并标上缺陷的标签，该软件标注后会生成.xml文件，再用python编写代码转换成.txt文件。试验部分数据集如下：本试验数据集为铸件缺陷数据集，主要为划痕缺陷，缺陷是狭长的，长短不一，有些划痕比较大，有些划痕比较小。

3.3模型的训练

■ 对改进YOLOv3网络进行训练时训练集与验证集的比为9：1，对网络参数进行初始化，学习率设为0.001，迭代次数设为12 000，批量大小根据电脑性能调为8，衰减系数设为0.0005。训练的loss和Avg IOU图分别见图4和图5。

图4 平均损失函数曲线

图5 平均交并比

3.4模型效果测试

■ 利用训练12000次得到的权重文件测试我们的测试集，结果如下：

图6 小缺陷检测效果

Fig.6 Detection effect of small defects

图7 小缺陷检测图

图8 大缺陷检测图

■ 本试验数据集主要是铸件的划痕缺陷，划痕的大小及位置各不相同，数据集上的划痕只有一个，大划痕和小划痕的缺陷检测效果都很好，大划痕的缺陷检测精度可以达到98.34%，小划痕的缺陷检测精度达到94.78%，可以有效减检测划痕缺陷的位置信息。

3.5测试对比结果与分析

■ 为验证检测方法有效性，将改进后的算法与原网络进行性能对比（相同试验条件下），具体评价指标为平均检测精度（mAP）,召回率(recall),平均IOU以及每秒传输帧数。

■ 从表3可知，相对原网络，mAP值提升5.42%，检测速度提升了23 f/s，召回率和平均IOU也有提高，说明本方法具有一定效果。在相同试验条件下，与其他网络对比结果见表4。

■ 可以看出，原YOLOv3算法的检测速度比two-stage算法要快很多，但是检测精度达不到two-stage算法，本课题提出的YOLOv3-Mv2算法在检测速度与检测精度上都要比当前常用的目标检测算法高。

4、结语

■ 提出一种YOLOv3-Mv2网络模型对工业生产中的铸件进行缺陷检测，首先选择更小的网络(MobileNetv2)替换原来的特征提取网络结构Darknet53，减少网络的计算参数量，提升检测速度，接着添加一个网络预测尺度，以增强对小缺陷目标的检测能力；接着合并BN层的参数到卷积层，加快推演的速度；最后引用CIoU增加定位准确度。从试验结果可知，提出的YOLOv3-Mv2网络模型在检测精度和检测速度上面都有一定的提高。后续工作打算继续深层次优化模型算法，将网络移植到移动端设备上。

文献引用：鲍春生，谢刚，王银，等. 基于深度学习的铸件缺陷检测[J].特种铸造及有色合金，2021,41（5）：580-584.