论文解读 用于弱监督表面缺陷分割的缺陷注意模板循环对抗网络 （Defect attention template generation cycleGAN for weakly supervised）

Posted 2021-12-19 胖妞妞牛牛

前言

该论文是一种解决模板的缺陷生成方法。通过Cyclegan 对每张待测图像（缺陷或者非缺陷）生成其对应的动态无缺陷模板,再通过对待测图像和动态模板进行模板匹配，阈值分割以获取像素级分割结果。为了提升弱特征（低对比度，小面积，边缘的缺陷）的检测能力，该方法设计了缺陷注意力模块作用于解码器的标签上，以增加模型对缺陷区域的关注。同时基于SSIM和L1设计了缺陷循环一致损失 以提高模型对结构与灰度特征的检测能力。
论文英文名： Defect attention template generation cycleGAN for weakly supervised surface defect segmentation
论文链接：
论文地址 Pattern Recognition

下面是该论文的详细内容

摘要

表面缺陷分割对于工业生产的质量检测非常重要，是一个重要的模式识别问题。 尽管深度学习（DL）在表面缺陷分割方面取得了显着的成果，但这些结果大部分是通过使用具有像素级注释的海量图像获得的，这在工业现场很难获得。 本文提出了一种弱监督缺陷分割方法，该方法基于由图像级注释训练的改进的循环一致生成对抗网络（CycleGAN）生成的动态模板。 为了为弱信号缺陷生成更好的模板，我们提出了一个缺陷注意模块，通过将缺陷残差应用于鉴别器来加强缺陷区域的消除并抑制背景的变化。 通过将结构相似性（SSIM）添加到原始 L1 损失以包括灰度和结构特征来设计缺陷循环一致损失； 建议的损失可以更好地对缺陷的内部结构进行建模。 获得无缺陷模板后，通过简单的图像比较和阈值分割，可以很容易地得到缺陷分割图。 实验表明，所提出的方法既高效又有效，明显优于其他弱监督方法，并且在三个工业数据集（DAGM 2007、KSD 上的交集（IoU））上取得了与监督方法相当甚至优于监督方法的性能 和 CCSD 数据集分别为 78.28%、59.43% 和 68.83%）。 所提出的方法也可以用作结合主动学习的半自动注释工具。

1. 介绍

表面缺陷检测在产品检测和过程控制中起着至关重要的作用。 随着计算机视觉的飞速发展，基于机器视觉的表面缺陷检测被广泛应用于工业自动化水平的显着提升。 传统方法是针对不同的工业场景手动设计的，通用性较差。 近年来，深度学习 (DL)，尤其是卷积神经网络 (CNN)，在图像分类、目标检测 和图像分割等计算机视觉任务 中取得了优异的性能。 许多研究人员将上述方法应用于表面缺陷检测，并取得了显着的成果。 然而，挑战依然存在。 对于众多对检测精度要求较高的缺陷检测任务，需要通过缺陷分割方法来获得精确的像素级 缺陷区域，这也需要大量像素级注释来训练。 像素级标注是通过手动准确标记缺陷区域获得的，这通常需要专业人员投入大量精力和时间进行标注，如图1（a）所示，因此，标注难以实现 实际工业生产。 此外，由于缺陷的边界不明确、面积小、结构复杂，如图1（b）所示，许多缺陷图像难以准确标记，即使是有经验的工人也是如此。

Fig 1. 工业图像人工标注过程中存在的问题。 (a) 不同的人工时间对应于不同级别的注释。 像素级标注的时间成本明显高于图像级标注的时间成本。 (b) 由于缺陷边界不清楚、线性形状、内部结构复杂等，工业缺陷图像难以精确和手动注释。

与像素级注释相比，图像级注释更容易获得，如图1（a）所示。因此，许多研究人员采用图像级注释的缺陷类别，分别基于图像补丁方法和弱监督方法在补丁或像素级别获得检测结果。一方面，许多研究人员将工业图像切割成图像块，并对每个图像块进行分类，以获得缺陷图像的类型和位置。然而，这种方法是在补丁级别执行的并且很耗时，因为必须为整个图像检测多个图像补丁。另一方面，弱监督学习目前在计算机视觉领域取得了长足的发展。一般来说，弱监督学习的主要原理是通过图像级标注训练的预训练分类模型获得类激活图（CAMs），然后根据其他理论进行分割。一些研究人员将弱监督学习应用于表面缺陷检测。然而，CAMs 只能获得缺陷的激活位置，并没有强约束来获得准确的像素级结果。因此，大多数弱监督学习方法无法获得缺陷的精确位置和形状，但需要精确分割缺陷 [8] 以满足严格的工业检测要求。此外，这些方法的实时性能很差。

为了解决上述问题，引入了基于模板的方法。获得无缺陷模板来测量与测试图像的相似度，以实现没有像素级注释的像素级缺陷分割。然而，基于模板的方法通常用于具有重复背景和固定纹理的工业图像，例如印刷电路板 (PCB) 和集成电路 (IC) ，而几乎不可能获得缺陷-free 模板，用于具有复杂背景、不规则、非循环、不一致纹理 且没有关键点可匹配的工业图像，例如金属或织物表面。生成对抗网络 (GAN) 通常用于工业检测中的数据增强和图像预处理，具有强大的图像生成能力。因此，一个有前景且可行的想法是建立一个基于 GAN 的基于模板生成的分割模型。此外，为了确保模板生成模型能够为信号弱的缺陷图像生成准确的模板，应考虑图 7 和图 8 所示的小区域、弱对比度、边缘区域和复杂的内部结构，因为它们决定了检测性能的上限限制。

在本文中，我们提出了一种新的基于动态模板生成的弱监督缺陷分割方法。我们首先设计了一个名为 DAT-Net 的缺陷注意模板 (DAT) 生成网络，该网络仅使用图像级注释进行训练，通过改进循环一致的 GAN（Cycle-GAN）。为了为弱信号缺陷生成更准确的无缺陷模板，我们设计了一个缺陷注意模块（DAM），通过将缺陷残差应用于鉴别器来加强缺陷区域的消除并抑制无缺陷区域在检测过程中的变化。训练过程。为了更好地对缺陷的内部结构进行建模，我们通过基于结构和灰度将结构相似性 (SSIM) 添加到原始 L1 损失来设计缺陷一致损失。最后，与其他基于模板的方法类似，通过图像比较和阈值分割获得缺陷的精确区域。所提出的方法成功地将基于模板的想法扩展到具有复杂背景的工业场景，例如金属和织物表面。

2 方法

Fig.2 基于提出的 DAT-Net 提出的弱监督缺陷分割方法的流水线。 该方法由两个阶段组成。 (1) 训练阶段。 训练包含两个生成器 G p 和 F ng 以及两个鉴别器 D p 和 D ng 的缺陷注意动态模板生成网络。 p、p 和 p 分别代表真实的、生成的和重建的无缺陷图像，而 ng、ng 和 ng 分别代表真实的、生成的和重建的缺陷图像。 (2) 测试阶段。 为每张测试图像生成相应的模板，然后根据图像比较和阈值分割得到准确的缺陷分割图。

Fig.3 (a) 具有复杂背景的工业图像的传统基于模板的方法。 (1) 测试缺陷图像。 (2) 真正的无缺陷图像。 (3)(1)和(2)的图像比较的缺陷显着图。 (4) (1) 和 (2) 同一行的灰度值。 (b) 所提出的弱监督学习分割方法的测试阶段。 (1) 测试缺陷图像。 (2) 生成无缺陷模板。 (3) (1) 和 (2) 图像比较后的缺陷显着图。 (4)分割结果。 (5) (1) 和 (2) 某条线的灰度值。

2.1 网络

Fig 4. G p 和 D p 的结构。 G p 包含一个跳跃连接。 DAM 通过形成 T att 为 D p 设计，T att 是通过将缺陷残差图 Res 添加到原始标签 T norm 获得的。

生成器

生成器 G p 的主要目的是生成对应于缺陷图像的无缺陷模板。我们采用并修改带有跳过连接 [37] 作为生成器的自动编码器，如图 4 所示。跳跃连接是指将每个下采样层的输出作为同级上采样层的输入，可以保留缺陷图像无缺陷区域的许多低级特征。由于工业图像的特征层次低、语义少，因此基于CNN提取特征的特殊性，减少了生成器的网络层数。结果，缺陷图像可以更好地恢复为相应的无缺陷图像，并且检测速度增加。我们的方法旨在从缺陷图像生成无缺陷模板；也就是说，图像的结构而不是样式发生了变化。因此，我们使用批量归一化而不是实例归一化作为层归一化。

由于低级跳过连接，生成器是一个“复制机”，这意味着输出与训练开始时的输入相似。然后，生成器的输出逐渐接近无缺陷模板。因为缺陷图像和无缺陷模板在无缺陷区域应该是一致的，所以生成器从缺陷图像中擦除缺陷显然比从头开始生成无缺陷模板更好。

解码器

鉴别器用于将输入图像分类为真实图像或生成图像。 在这项工作中，我们选择马尔可夫鉴别器 [24]。 马尔可夫鉴别器不是对整个图像进行判别，而是将图像划分为 N*N 个图像块，然后对每个图像块分别进行分类，最后对它们进行平均以获得最终结果。 由于马尔可夫判别器更多地关注纹理和样式等低级特征，因此适用于低语义的工业图像。 此外，缺陷通常只占工业形象的一小部分。 因此，马尔可夫判别器非常适合工业图像，因为它的判别单元是一个图像块； 也就是说，它更注重局部特征。

2.2 缺陷注意模块

为了使模型更加注重消除缺陷区域，我们设计了如图 4 所示的 DAM。 上述马尔可夫判别器的原始标签是 T norm ，它是一个 N ∗N 矩阵，用 1 填充，T 0 ，用 0 填充。 图像中每个图像块的重要性对于基于这些标签的判别器来说是完全相同的，这对于图像风格迁移是合理的，并且是整个图像的任务。 然而，缺陷区域往往只占工业图像的一小部分，最重要的任务是在生成无缺陷模板的同时消除缺陷区域，这是局部图像的任务。 DAM 旨在专注于缺陷区域。 在 G p 的训练过程中，我们得到工业异常图像 ng 和生成的缺陷图像模板 G p (ng) 或 p 之间的残差图像。 为避免缺陷区域与背景对比度差异的影响，对每幅图像的残差进行归一化处理。 通过使用与鉴别器相同的池化策略，将残差图 Res 池化为 N ∗N 的大小，其中图像映射到大小为 N ∗N 的输出。

将缺陷残差图 Res 添加到 T norm 在同一位置形成软标签 T att，其中缺陷部分的标签大于无缺陷区域的标签。 根据反向传播，该模型更关注缺陷区域的恢复，并在训练 G p 期间抑制无缺陷区域的变化。 λ 在方程中 (3) 表示 DAM 的权重，在本工作中设置为 0.5。

由于初始状态下生成器的输出接近于输入，所以初始状态的残差图像全为零。 因此，初始状态与原始 patchGAN 相同。 随着训练的进行，缺陷块的标签变得比无缺陷部分的标签大，模型对缺陷区域更加关注。

2.3 损失

对抗损失

身份鉴别损失

无缺陷输入图像的模板为本身

缺陷循环一致损失

灰度损失

结构损失 SSIM 亮度，对比度，结构

这里只使用了SSIM的结构部分

总的损失

3.实验

实验主要是在 DAGM2007 KSDD以及换向器表面的私有数据上做的

3.1消融实验

缺陷注意力模块: 可以对弱特征缺陷生成更好无缺陷模板（缺陷抹去的更干净）,进而获取更好的分割结果（分别是低对比度，小面积，和边缘 缺陷图像）
Fig 7. 没有和有注意力模型的分割结果。 (a) 原始图像。 (b) 缺陷扩大。 ©-(e) 分别生成无缺陷模板、显着图和没有注意模型的检测结果。 (f)-(h) 分别使用注意力模型 CBAM [34] 生成无缺陷模板、显着图和检测结果。 (i)-(k) 分别使用所提出的 DAM 生成无缺陷模板、显着图和检测结果。

缺陷循环一致损失: 提升对缺陷内部结构的检测能力

Fig 8. 具有不同循环一致性损失的分割结果。 (a) 原始图像。 (b) 缺陷扩大。 ©-(d) 分别具有原始循环一致损失 (L 1 ) 的显着图和检测结果。 (e)-(f) 显着图和检测结果分别具有缺陷周期一致性损失 (L dcycle )。

3.2 对比实验

对比的方法包括了四种监督学习和两种弱监督学习方法，该方法可以获取和监督学习方法相近的并且显著高于弱监督方法的结果

DAGM 10子数据集的结果
图 9. DAGM 2007 上 T1-10 的建议方法和最新方法的分割结果。(a) 图像。 (b) 放大图像。 © 注释。 (d) Q 的 [13] 。 (e) D 的 [14]。 (f) C 的 [5] 。 (g) T 的 [16] 。 (d)-(g) 具有像素级注释的监督方法。 (h) H 的 [39]。 (l) F 的 [7] 。 (i) 我们的。 (h)-(i) 具有图像级注释的弱监督方法。

KSDD

Fig 10. 在 KSD 上使用所提出的方法和最先进的方法的分割结果。 （一）图像。 (b) 注释。 © Q 的 [13]。 (d) D 的 [14]。 (e) C 的 [5] 。 (f) T 的 [16] 。 ©-(f) 具有像素级注释的监督方法。 (g) H 的 [39]。 (h) F 的 [7] 。 (l) 我们的。 (g)-(l) 具有图像级注释的弱监督方法。

换向器金属表面

Fig 11. 在 CCSD 上使用所提出的方法和最先进的方法的分割结果。 （一）图像。 (b) 注释。 © Q 的 [13]。 (d) D 的 [14]。 (e) C 的 [5] 。 (f) T 的 [16] 。 ©-(f) 具有像素级注释的监督方法。 (g) H 的 [39]。 (h) F 的 [7] 。 (l) 我们的。 (g)-(l) 具有图像级注释的弱监督方法。