案例赏析:基于细粒度的工业产品表面缺陷检测方法

引自：《深度学习》（作者：文龙, 李新宇）

「 1. 细粒度分类」

细粒度图像分类（fine-grained image classification）是机器视觉领域一项重要研究内容。不同于一般的图像分类任务，其目标对象属于粗粒度类别，细粒度图像分类是针对大类下的子类进行区分，如图1所示。由于细粒度分类的特性使得子类之间视觉表征十分相似，只存在微小的局部差异，因此细粒度图像分类相较于普通图像分类任务难度更大。

早期细粒度图像分类方法都是基于人工特征的算法，由于人工特征表述能力有限，其分类效果有一定的局限性。近年来，随着深度学习的发展，卷积神经网络凭借其优异的自动特征提取能力在细粒度图像分类领域得到大量的应用。基于深度学习的细粒度分类方法的流程主要有：

（1）找出具有明显区域特征的局部区域；

（2）利用卷积神经网络提取这些区域的特征；

（3）级联这些特征训练分类器实现分类与检测。

由于工业产品表面缺陷的数据样本存在细粒度、小样本等特点，因此，本文提出基于细粒度的表面缺陷检测模型，并采用注意力机制实现对产品缺陷部位的定位。

「 2. 注意力机制」

注意力机制的基本思路是忽略无关信息的同时关注重点区域的信息。注意力机制与深度学习的结合大多基于掩码（mask）。掩码通过生成另一层新的权重，将图像数据中的关键特征标识出来，进而促使深度学习方法学习图片中重点关注的区域。图2所示为PCB图像数据中的缺陷识别。通过注意力机制，细粒度分类网络识别其中的关键性区域，实现对有缺陷部位的聚焦，进而可以提高检测精度。

约定通过卷积神经网络提取的图像特征为F∈RH×W×N，其中H、W、N分别代表特征层的高度、宽度与通道数。在上述特征层增加1*1的卷积运算，获得其注意力层A∈RH×W×N，如下式所示：

（1）

式中，Ak∈RH′W为注意力地图，表示一类关键特征部位，M为注意力地图数量，f(·)为卷积操作。

「 3. 基于细粒度的表面缺陷检测方法」

基于细粒度的表面缺陷检测方法（FG-SDD）如图3所示。该方法分为3个部分，分别为特征提取模块、数据增强模块和特征融合模块。

（1）特征提取模块。该模块主要用于提取图像的数据特征和注意力地图。在该模块中，首先采用自动数据增强方法对图像样本进行数据增强。然后采用预训练好的InceptionV3网络作为特征提取网络提取图像的数据特征。最后，获得图像特征层和注意力地图。

（2）数据增强模块。该模块的数据增强基于注意力地图，并采用注意力地图引导数据进行数据增强，主要包括注意力裁剪和注意力下降。增强数据和原始数据一起输入到特征提取部分进行训练。

（3）特征融合模块。该模块采用双线性注意力池化（bilinear attention pooling，BAP）将注意力地图和数据特征进行融合，使得模型聚焦于关键部位后，输送至分类层得到最终的分类结果。

在该部分，对其中自动特征增强、注意力引导的特征增强与BAP特征融合模块进行介绍。

1）自动特征增强方法

自动数据增强是一种利用自动搜索过程来搜索最优数据增强策略的方法，首先创建包含数据增强策略的搜索空间，然后使用强化学习作为搜索算法来寻找最佳数据增强策略，最后在数据集上评估所选策略的质量。由于自动数据增强策略具有可迁移性，而无需对额外数据进行预先训练的微调权重，因此本文将在ImageNet数据集上预训练学到的最优策略直接迁移到工业表面缺陷数据集上，对模型输入的图片样本进行数据增强操作。

2）注意力引导数据增强模块

注意力引导数据增强可以促使特征增强算法专注于关键区域，进而提高特征增强的效果，其结构如图4所示。对于每个样本，在获得其注意力地图后，从M组注意力地图中随机选择一组Ak，进行归一化操作，如式（2）所示。后续的注意力裁剪和注意力下降模块均基于Ak进行操作。

(2)

（1）注意力裁剪。在注意力裁剪方法中，设定阈值，使得注意力层Ak*中的大于该阈值的元素设置为1，其余元素设置为0，如式（3）所示。然后，搜索一个框B使其覆盖Ck区域，并将其放大至输入数据大小，进而更好地探索关键部位的特征。

(3)

（2）注意力下降。注意力下降与注意力裁剪方法相反，其将注意力层Ak*中小于阈值的元素设为1，其他元素设为0，如式（4）所示。该方法主要为了避免注意力关注同一物体的同一部分形成过拟合，因此注意力下降鼓励算法探索图像其他部分的辨识性特征，进而提高分类结果的鲁棒性和准确性。

(4)

3）BAP特征融合模块

BAP特征融合模块基于注意层和特征层以获得特征映射。BAP通过将注意力层与特征层进行元素级相乘后得到关键部位的数据特征，并采用全局最大池化（global maximumpooling，GMP），得到一组特征向量P，输入全连接层进行最终细粒度的分类，如式（5）所示。

(5)

「 4. 表面缺陷检测应用案例」

此处的案例介绍分为6个数据集，涵盖金属表面缺陷数据集、磁瓦表面缺陷数据集、PCB表面缺陷数据集、纺织面料数据集、钢材表面缺陷数据集和DAGM数据集。

1）数据集介绍

（1）金属表面缺陷数据。该数据集为Kolektor SDD数据集，由Kolektor集团提供的金属电换向器和注释缺陷图像所构建的标准化、高质量的数据集。共采集到8种电交换器。金属表面图像399幅，其中有缺陷的金属表面图像52幅，无缺陷的金属表面图像347幅，尺寸为500x1240。数据集的原始图像如图5所示，该图像的左边两幅图像为有缺陷金属表面图像，右边两幅图像为无缺陷的金属表面图像。

（2）磁瓦表面缺陷数据集。该数据集为Magnetic Tile Defect数据集，包含1344幅磁瓦图像。共包含Blowhole缺陷115张、Break缺陷85张、Crack缺陷57张、Fray缺陷32张、Free无缺陷952张、Uneven缺陷103张。每种缺陷图像为不同的尺寸，且图像大多包含一系列噪声。该数据集部分图像如图6所示。

（3）PCB数据集。该数据集包含3000张PCB图像，其中缺陷照片1500张，无缺陷照片1500张。图像大小是640x640，如图7所示，左边两幅为有缺陷图像，右边两幅为无缺陷图像。

（4）纺织面料数据集。该数据集为Aitex数据集，总共包含7种不同面料的245张图片。其中，140张无瑕疵，每种面料20张。包含不同缺陷类型的图像共105张。该图像中数据集主要分为无缺陷和缺陷两类。数据集的原始图像如图8所示，左边是有缺陷的织物图片，右边是无缺陷的织物图片。

（5）钢材表面缺陷数据集。该数据集为NEU-CLS数据集，来源于热轧带钢。其包含的6种典型表面缺陷的热轧钢带为Rolling scale (RS), Plaque (Pa), Cracking (Cr), Pitting surface (PS), Inclusions (In) 和Scratches (Sc)。该数据集6种不同类型的典型表面缺陷组成，每种缺陷包含300张大小为200x200的图片，如图9所示，分别为RS、Pa、Cr、PS、In、Sc。

（6）DAGM数据集。该数据集为弱监督学习下的工业光学检测数据集，由6类不同纹理背景上的杂项缺陷组成，每个类型包含1000张无缺陷背景纹理图像与150张在背景纹理上有标记缺陷的图像。每个原始图像的分辨率为512x512。各类型中的数据图像非常相似，但各类型由不同的纹理模型和缺陷模型生成。该数据集中6个类型的缺陷图像如图10所示。

2）实验结果与分析

本文选用在ImageNet图像分类数据集预训练的Inception V3作为模型的特征提取网络。选择SGD作为优化器，动量为0.9，epoch为160，权重衰减为0.0001，mini-batch为6，M为32。模型性能评价采用准确度(accuracy)衡量本文所提的FG-SDD方法的性能。

（1）Kolektor SDD数据集的实验结果。FG-SDD在Kolektor SDD数据集的结果如表1所示。本文所提方法的精度达到了99.3%。其他文献中的方法，如DeepLab[1]、U-Net[2]的平均检测精度分别为97.9%和96.1%。由此可见，本文所提FG-SDD方法在该金属表面缺陷数据上的良好精度。

表1 FG-SDD与其他方法在Kolektor SDD数据集的检测结果（%）

（2）Magnetic Tile Defect数据集的实验结果。FG-SDD与其他先进的检测方法在该数据集上的检测结果如表2所示。由于该数据集的图像存在对比度较低、差异较小等特征，所以FG-SDD的检测准确率达到99.3%。而其他方法，如BMS[3]、PHOTO [4]、SR [5]、DRFI[6]，的平均检测准确率分别为92.5%、92.6%、91.9%、95.6%、87.8%。所以FG-SDD具有明显的精度优势。

表2 FG-SDD与其他方法在Magnetic tile 数据集上的比较（%）

（3）PCB数据集的实验结果。FG-SDD在PCB数据集上的实验结果如表3所示。本文所提方法的精度为99.7%，能较好地用于PCB表面缺陷检测。而文献中的其他方法，如HOG+SVM、LBP+SVM、ALexNet+SVM和DD-DFL[7]的平均检测准确率分别为40.4%、56.2%、91.7%和99.6%。除了本文所提方法和DD-DFL的方法，其他方法的性能均无法满足PCB表面缺陷检测的要求。

表3 FG-SDD与其他方法在PCB数据集上的比较（%）

（4）在AITEX 数据集上的实验结果。本文所提FG-SDD模型在AITEX数据集上与其他方法的对比实验结果如表4所示，相较于GAN[8]的表面缺陷检测准确率88.4%，本模型的最优结果为97.8%。

表4 FG-SDD与其他方法在AITEX数据集的比较（%）

（5）NEU-CLS数据集的实验结果。FG-SDD与其他表面缺陷检测方法在NEU-CLS数据集的对比结果如表5所示。本文所提的FG-SDD模型在该数据集上表现出良好的性能。VGG16[9]、SDC-SSL[10]、GDL-ASI[11]、CNN [12]的平均检测精度分别为99.6%、93.2%、99.0%、92.0%、95.0%。FG-SDD模型的检测准确率最高，达到100%。

表5 与其他方法在NEU-CLS数据集上的比较（%）

（6）DAGM 数据集的实验结果。FG-SDD模型与其他方法的实验结果如表6所示。FG-SDD的检测模型达到了99.5%，优于其他方法的检测效果。其中Deep CNN[13]、SDD-CNN[14]、Statistical Features[15]、FCN[16]的精度为99.2%、98.6%、96.0%和98.2%。

表6 与其他方法在DAGM数据集上的比较（%）

参考文献

[1]TABERNIK D, SELA S, SKVARC J, et al.Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020，31: 759-776.

[2]ZHANG M, LI X, XU M, et al. Image segmentation and classification for sickle cell disease using deformable u-net (2017). arXiv preprint arXiv:1710.08149

[3]ZHANG J, SCLAROFF S. Saliency Detection: A Boolean Map Approach[C].In Proc. Eur. Conf. Comput. Vision, 2013：153-160.

[4]AIGER D, TALBOT H. The phase only transform for unsupervised surface defect detection[C]. In Proc. IEEE Conf. Comput. Vis. Pattern Recognit., 2010：295–302.

[5]HOU X, ZHANG L. Saliency detection: A spectral residual approach[C]. In Proc. Conf. Comput. Vision Pattern Recognit., 2007：1-8.

[6]WANG J, JIANG H, YUAN Z, et al. Salient Object Detection: A Discriminative Regional Feature Integration Approach[J]. Int. J. Comput. Vision，2017，123: 251-268.

[7]ZHANG C, SHI W, LI X, et al. Improved bare PCB defect detection approach based on deep feature learning[J]. The Journal of Engineering, 2018 (2018) ：1415-1420.

[8] SILVESTRE-BLANES J, ALBERO-ALBERO T, MIRALLES I, et al. A Public Fabric Database for Defect Detection Methods and Results[J]. Autex Research Journal, 2019, 19:363-374.

[9]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. In Proc. 3rd Int. Conf. Learn. Representations, 2015.

[10]HE D, XU K, ZHOU P, ZHOU D D. Surface defect classification of steels with a new semi-supervised learning method[J]. Opt. Lasers Eng., 2019，117:40-48.

[11]REN R, HUNG T, TAN K C. A Generic Deep-Learning-Based Approach for Automated Surface Inspection[J]. Ieee Transactions on Cybernetics, 2018，48:929-940.

[12]YI L, LI G Y, JIANG M M. An End-to-End Steel Strip Surface Defects Recognition System Based on Convolutional Neural Networks[J]. Steel Res. Int., 2017，88: 176-187.

[13]WEIMER D, SCHOLZ-REITER B, SHPITALNI M. Design of deep convolutional neural network architectures for automated feature extraction in industrial inspection[J]. Cirp Annals-Manufacturing Technology, 2016，65: 417-420.

[14]WU X, CAO K, GU X. A Surface defect detection based on convolutional neural network[C]. In Proc. Int. Conf. Comput. Vis. Syst., 2017：185–194.

[15]SCHOLZ-REITER B, WEIMER D, THAMER H. Automated surface inspection of cold-formed micro-parts[J].Cirp Annals-Manufacturing Technology, 2012：61:531-534.

[16]YU Z, WU X, GU X. Fully convolutional networks for surface defect inspection in industrial environment[C]. In Proc. Int. Conf. Comput. Vis. Syst., 2017：417–426.