毕设论文基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用（合肥工业大学2021届物联网工程毕业论文）

Posted 2021-12-07 u25th_engineer

  论文的tex源码已经上传到GitHub了。

基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用
Application of data enhancement method based on pix2pix in Surface Defect Detection of Industrial Chips

摘要

  工业芯片被广泛应用于各个领域，种类繁多，效用良好、效益非凡，同经济社会的发展紧密不可分割，对于第四次工业革命与新型基础建设不可或缺。因此，工业芯片的设计制造受到广泛关注，而工业芯片检测是其生产工序的关键步骤，芯片检测达标与否直接决定该芯片能否出厂。基于深度学习的目标检测技术推陈出新，检测精度与速度不断提高，其检测的高精度与实时性符合大规模工业环境下芯片检测的需求故而被企业采用。深度学习目标检测算法对数据的依赖性极大，只有高质量、大规模的数据才能使模型得到充分训练，而获取工业芯片样本的代价较为可观。

  为了解决芯片检测算法数据依赖性和工业芯片样本获取困难之间的冲突，本文尝试使用原始的缺陷芯片图像数据集，基于生成对抗网络GAN生成一定数量与原数据集同分布的缺陷芯片图像，将之用于扩增原始数据集以达到提高缺陷检测算法精度的目的。具体内容如下：

  1）提出了一种基于Pix2Pix GAN的可用于生成指定坐标与面积的芯片缺陷的方法。该方法根据已有芯片缺陷的标注，在正常芯片对应区域涂抹白斑作为mask，将mask图像与缺陷图像一同输入Pix2Pix GAN进行训练。实验表明，该方法生成的工业缺陷芯片图像与目标图像具有较高的逼真度，缺陷区域的拟合性较好，用于缺陷检测器的数据增强可提高检测精度。

  2）针对Pix2Pix GAN生成图像的缺陷区域不够真实的问题，本文提出一种芯片缺陷生成对抗网络（Chip Defect Synthesis-GAN，CDS-GAN）。该模型使用深度残差网络作为生成器的骨干架构，并添加自注意力机制引导专注缺陷区域的合成，判别器采用两个不同尺度的感受野对生成-真实缺陷图像对进行判别；为了提高生成图像与目标图像在人眼视觉上的相似度，使用感知损失减小两者高级语义特征的差异；此外，引入WGAN-GP梯度惩罚函数对判别器的更新进行约束，使模型训练稳定并趋于收敛。实验结果表明，本文模型较之Pix2Pix GAN以及其他变种GANs所生成的工业芯片图像质量更高、多样性更丰富，并且具有良好的鲁棒性与泛化性，可用于其他类型的工业表面缺陷图像，另外本文模型在公开数据集的图像翻译任务上优于Pix2Pix GAN。本文模型生成图像提升SSD缺陷检测器精度的效果优于Pix2Pix GAN。

关键词：


深度学习；生成对抗网络；数据增强；缺陷检测

ABSTRACT

  Industrial chips are widely used in various fields, with miscellaneous types, good utility and remarkable benefits. They are closely inseparable from the development of economy and society and are indispensable for the 4th industrial revolution and new infrastructure construction. Therefore, the design and manufacture of industrial chips are widely concerned as the industrial chip detection is the crucial step in the production process. Whether the chip detection meets the standard directly determines whether it can be delivered. The object detection technology based on deep learning is bringing forth the new through the old and the detection accuracy and speed are constantly improved. The high precision and real-time performance of the detection satisfy the demands of chip detection in large-scale industrial environment, therefore, it has been adopted by enterprises. The deep learning object detection algorithm has a great dependence on data that only high-quality and large-scale data can the model be fully trained while the cost of obtaining industrial chip samples is considerable.

  In order to solve the conflict between the data dependence of chip detection algorithm and the difficulty of obtaining industrial chip samples, this thesis attempts to use the original defect chip image data set to generate a certain number of defect chip images distributed with the primitive data set based on the Generative Adversarial Networks, which is used to expand the initial data set to improve the accuracy of the defect detection algorithm. The details are as follows:

  i) A method based on Pix2Pix GAN is proposed to produce chip defects with specified coordinates and area. According to the existing chip defect labeling, white spots are smeared on the corresponding area of the normal chip as mask, and then the mask image and defect image are input into Pix2Pix GAN for training. The experimental results show that the industrial defect chip image generated by this method has high fidelity with the target image and the fitting of the defect area is good. The detection accuracy can be improved when it is used to enhance the data of the defect detector.

  ii) Aiming at the problem that the defect area of images produced by Pix2Pix GAN are not real enough, this thesis proposes a chip defect synthesis GAN (CDS-GAN). In this model, the deep residual network is used as the backbone of the generator, moreover, the self-attention mechanism is added to guide the synthesis of focused defect regions. The discriminator uses two receptive fields of different scales to discriminate the generated and real defect image pairs; In order to improve the visual similarity between the generated image and the target image, the perceptual loss is used to reduce the difference between the two high-level semantic features; In addition, WGAN-GP gradient penalty function is introduced to constrain the update of the discriminator, so that the training of the model is stable and tends to converge. Experimental results present that compared with Pix2Pix GAN and other variants of GANs, the image quality generated by the proposed model is higher, the diversity is richer and it has good robustness and generalization, which can be used for other types of industrial surface defect images. Furthermore, the proposed model is superior to Pix2Pix GAN in image translation task of public data set. The results find that the model can improve the accuracy of SSD better than Pix2Pix GAN.

KEYWORDS:

Deep Learning; Generative Adversarial Networks; Data Augmentation; Defect Detection

绪论

选题背景与意义

  芯片是现代大规模集成电路的产物，因其具有功能强、精度高、体积小、功耗低与可扩展等特点，而被广泛用于各个领域，如计算机领域、互联网领域、电子通信领域、现代电子设备领域、航天航空领域、载具开发领域、国家高新科技开发领域，等等。芯片可谓与人们的日常生活息息相关，已经深入到社会生产生活、科研活动、国防建设的方方面面，并且这种关联还有持续增强的趋势[1, 2]。

  正因为芯片是一种关乎国计民生的重要产品，因此它的制作工艺与流程备受关注。在当前的工业体系中，芯片还无法达到一步到位的单一化生产模式，其制程包含若干阶段和若干流程，芯片的生产流程如图1.1所示。在经过一系列制程步骤得到芯片产品后，因为完整的芯片在其繁杂的制备流程的任一阶段都可能被破坏、污染，从而产生缺陷，无法直接投入使用，仍需要进行抽样检测。芯片的表面缺陷在导致其损毁无法使用的因素中占了很大比重，因此快速、准确地检测出芯片样品中含表面缺陷的所有芯片，对于芯片制作厂商具有巨大的意义。

  基于深度学习方法被发现较之传统的检测方法，对于工业表面缺陷检测更加优越，无论是缺陷检测的准确率、检测速率、覆盖率都得到了显著提升[3]。为此，大量基于深度学习的目标检测算法被用于工业缺陷表面检测的场景[4, 5, 6, 7, 8, 9, 10]。

  深度学习是机器学习的一种实现方式，后者是人工智能技术的一个重要分支。深度学习作为表现最为优越的机器学习算法，目前已经俨然成为人工智能领域研究的主流。目标检测算法作为深度学习中最为活跃的研究方向之一，自提出伊始就得到了学界与工业界的大量关注，近年来更是发展迅猛。多数具有代表性的目标检测算法均从多个方面尝试改进网络深度学习网络架构，按照检测步骤可以分为基于回归的one-stage框架和基于候选框的two-stage框架[11]。two-stage算法分为两个阶段，预先选取一系列候选框，再对候选框进行定位分类。one-stage算法采用回归的方法通过单一的CNN网络，直接获取图像中的目标位置与类别。当下流行的目标检测算法提出的时间，如图1.2所示。

  值得一提的是，基于深度学习的目标检测网络结构一般都层数较深、参数量庞大，其性能极大地依赖于训练数据的质量和数量。有鉴于此，包含大量自然场景的数据集被设计出来，如在PASCAL
VOC挑战赛中被广泛使用而得名同名数据集VOC，Microsoft公司建立的MSCOCO数据集，美国斯坦福大学贡献的ImageNet数据集，还有其他包含生物特征、姿态形体、生物医药数据的数据集，作为公开的基准数据用于验证深度学习目标检测算法。这些公开数据集在一定程度上促进了深度学习目标检测算法的发展，同时，其又因此而得以不断完善补全。

  本文的研究课题来自企业项目，合作企业专注基于机器视觉的半导体封装检测产品研发。基于深度学习的算法往往都需要在大量数据集上进行多次训练才能得到理想的效果。然而，对含有表面缺陷的芯片进行人工标注依赖专家完成，代价高昂、获取周期长、困难较大，且采样的训练样本必然不可能包含所有缺陷特征。与此同时，标注数据的高质量和多样性对于基于深度学习的目标检测算法更不可或缺。不论是标注数据质量低或多样性不足，都会造成芯片目标检测网络过拟合等负面效果。过拟合是指模型过甚拟合了训练集的数据分布，在训练集上表现良好，但在交叉测试集上性能表现不充分，泛化能力差，具体对芯片目标检测来说，即在训练集上损失函数值很小，但在测试集上损失函数值很大。标注样本过少是造成过拟合的主要原因之一[12]。自然地，可知解决这个问题的手段之一即是针对芯片图像数据进行增强，从而获取更多特征的训练样本，进而提高目标检测算法的检测精度，该工作对于提供工业缺陷检测效率、降低人工采样成本意义重大。

  当前的数据增强方法已经较为成熟，然而流行的数据增强工作主要集中于自然图像领域，在工业表面缺陷，尤其是芯片表面缺陷上的研究缺乏代表性的成果。故而在芯片表面缺陷数据上的数据增强仍有待进一步研究。Goodfellow[13]等于2014年基于"零和博弈"思想提出来的生成对抗网络（Generative Adversarial Network，GAN）是一种有望解决该问题的理想工具，它可以通过学习目标样本的数据分布，生成大量与原始样本独立同分布的数据样本，而这正好契合了数据增强的初衷。受此启发，本文的目的是将GAN应用于芯片表面缺陷数据增强，设计一种适用于芯片图像增强且具有一定普适性和通用性的网络模型，并对其性能表现进行验证，使之有助于解决芯片表面缺陷检测中正负样本极度失衡问题带来的模型过拟合。GAN的基本结构如图1.3所示。

研究现状

  因本文的研究主题是使用生成对抗网络GAN给工业表面缺陷（本文以芯片为例）这一任务做数据增强，故该部分内容的介绍本文分为两个板块来讲述国内外研究现状与发展趋势。首先，本文将介绍近年来国内外所提出的GAN的代表性工作；其次，描述基于GAN对工业表面缺陷数据进行数据增强的研究动向。本文将分析这些典型网络的优缺点，以及本文的研究如何规避GAN中的问题，并借其完成工业芯片表面缺陷数据增强的工作。

生成对抗网络GAN的研究进展

  至今，学界对GAN的研究余热未消，近年来的CVPR[14, 15]、ICCV[16, 17]、NIPS[18, 19]、ACM MM[20, 21]等会议以及TPAMI[22, 23]、IJCV[24, 25]、IEEE TIP[26, 26]等刊物每年都会收录若干关于GAN的研究论文，因此可以判定，GAN自今后一段时间仍将是计算机视觉领域关注的焦点话题。也正由于该因素，GAN的变种网络及其研究应用，自2014伊始就接连被学者提出。较为典型的GANs各自提出时间，如图1.4所示，下面将对其中的几种进行介绍。

  1）条件生成对抗网络CGAN

  原始GAN虽然能够生成与原始数据同分布的样本，但生成数据模式不受控，无法满足研究人员的需要，且极易引发模式崩溃（model collapse）。为了解决这一问题，Mirza等[28]于2014年，即原始生成对抗网络GAN发表的同期提出了条件式生成对抗网络（Conditional Generative Adversarial Network，CGAN）。CGAN是在GAN的基础上引入约束条件，亦即在生成器（Generator）和判别器（Discriminator）中添加各一个条件变量$y$，$y$的选择具有宽泛性。条件变量$y$的加入使模型的有效增益得到了加强，训练过程因$y$的约束可控性有所增加，正因如此有学者将CGAN归入有监督学习的范畴[29]。CGAN的基本结构如图1.5所示。

  CGAN通过在网络结构中引入约束变量$y$，使之可借辅助信息进行模型训练，显著提升了生成样本的质量。然而，由于约束变量$y$所提供的外部信息单一化，难以彻底解决GAN生成样本可控性低的问题。但值得一提的是，CGAN为后续GAN的改进工作明确了可行方向，即将约束条件应用到GAN中，可以帮助解决其生成样本质量差、多样性不足的问题。

  2）深度卷积生成对抗网络DCGAN

  卷积神经网络（Convolutional Neural Network，CNN）[30]是深度学习领域划时代的产物，诞生以来就备受学界推崇[31, 32, 33)]。深度卷积生成对抗网络DCGAN[34]首次将卷积神经网络CNN引入GAN中，利用CNN强大的特征提取能力来增益GAN的模型性能。为了加快收敛速度、提升生成样本质量，并支持更多元化的真实数据，如高分辨率的图像作为输入[35]，DCGAN对原始GAN的生成器和判别器进行了修改。DCGAN生成器的基本结构如图1.6所示。

  由于采用了CNN结构，DCGAN提取图像特征的能力得到了极大提高，因而在图像处理领域得到了广泛应用。但是，DCGAN中的多层神经卷积网络会造成生成图像的棋盘状纹理，即使采用了批归一化、卷积核大小整除步长等技巧仍无法完全消除，而层数过少的神经卷积网络无法充分提取图像特征，两者难以平衡。

  3）WGAN与WGAN-GP

  GAN极具启发性与开创性，功能也非常强大，但其本身仍具有收敛速度慢、难以训练（训练不稳定）、生成样本多样性单一等弊端。对于原始GAN所存在的问题，许多研究者提出了不同的解决方法，有的是专注于某一特定场景的具体应用，而有的则尝试分析原始GAN的问题所在，给出针对性的改进方案。大多数研究都无法从根本上解决GAN产生的收敛速度慢、训练不稳定、生成样本单一、模式崩溃等问题，而WGAN（Wasserstein GAN）成功地做到了这一点。

  Martin Arjovsky等[36]设计了所谓的Wasserstein距离用以取代原始GAN中的JS散度作为惩罚函数，得到了一种可以稳定训练的生成对抗网络WGAN。Tim Salimans[37]等在WGAN中增添梯度惩罚项GP，提出了WGAN的改进版WGAN-GP，其比WGAN收敛得更快，生成样本的质量也更高。

  理论上，WGAN-GP拥有比WGAN更快的收敛速度、生成样本的质量也愈高，实验结论一般与此相符合，WGAN-GP往往比WGAN更易于训练。

  4）CycleGAN

  CycleGAN（Cycle-Consistent Generative Adversarial Network，循环一致性生成对抗网络）[38]是一种基于对偶学习的GAN网络模型，其不需要成对的训练数据就可实现源域数据到目标域数据的风格转换。所谓风格转换就是将一种风格的图像转变成为另一种不同风格的图像[39]，如将W风格的画作转换为M风格的画作，如图1.7所示，CycleGAN并不要求转换中的W与M具有一一对应的关系。

  CycleGAN先学习从源域数据到目标域数据的映射，再完成从目标域数据到源域数据的逆转映射，利用对偶学习的思想消除了训练数据配对的限制。CycleGAN的基本结构如图1.8所示。

  CycleGAN最出色的贡献在于将对偶学习与GAN进行成功结合，训练时不要求源域数据与目标域数据相互配对，可以胜任许多成对数据获取困难的场景，同时在图像风格转换方面取得了巨大的成功，但是CycleGAN仍然存在不足与值得改进之处。

  首先CycleGAN的生成器采用的是原始GAN的生成对抗损失函数，即使有循环一致性损失的约束，依然无法完全规避生成样本质量低、多样性差，且难以稳定训练，会发生模式崩溃的情况。CycleGAN在图像风格转换上的成功是有目共睹的，但这仅限于对图像的纹理与色彩进行转换，当图像的目标区域与背景差别较小（如灰度图）时，难以胜任图像转换任务，另外，CycleGAN对几何形状分明物体图像转换效果不理想[37]。

  5）Pix2Pix GAN

  Pix2Pix[39]是一个通用的图像翻译（Image Translation）网络，其可以看作是CGAN的延伸。Pix2Pix完成的任务也是将源域图像转换为目标域图像，类似于将一种语言翻译为另一种语言，故也被称作"图像翻译"。Pix2Pix采用了CGAN对模型添加约束变量的思想，但由于Pix2Pix的应用场景要求输入是配对的图像，因此需对CGAN的结构进行改进。Pix2Pix的基本结构如图1.9所示。

  Pix2Pix较之CycleGAN的明显短板就是前者需要配对的图像作为输入，而这在现实场景中并不总是成本可控的，但是Pix2Pix由于使用了CGAN的思想，将源域图像作为约束变量，在提高生成样本质量的同时，也在一定程度上使训练过程中损失函数趋于收敛。值得一提的是，Pix2Pix是一个普用的图像转换工具，且生成图像纹理清晰、色彩区分度高、几何形状轮廓显著，即使目标区域与背景差距不显仍然能够胜任工作，这恰是本文的工作场景所需；另外，Pix2Pix对于数据量的要求较低，较小的数据集也能取得令人满意的效果。

  本文的任务是完成芯片表面缺陷的图像增强工作，缺陷图像是随正常芯片一起通过高分辨率相机拍摄芯片样本获得的，数据来源固定，保证了正常图像与缺陷图像对的数量；芯片图像都经过处理转换为灰度图，缺陷与背景的区分度有所缩减。

  综上所述，本文采用Pix2Pix GAN作为基准模型，对芯片表面缺陷进行图像增强，并针对Pix2Pix GAN网络的不足做出改进。下面介绍近几年国内外基于GAN对工业表面缺陷进行数据增强的相关工作。

基于GAN的工业表面缺陷数据增强相关工作

  2014年至今，针对某些特定的工业场景，如：原始缺陷数据采集不便，采集的缺陷图像所含缺陷类别不平衡，原始缺陷样本数量过少等，而采用GAN进行工业表面缺陷图像的数据增强，生成与原始缺陷样本相似的图像，达到扩充训练数据集的目的。相关工作不断被学者探讨研究，一些实验室效果表现良好的模型被提出，有关研究成果脱胎于实验室环境，尝试面向真实的工业场景应用，本文列举了一些采用GAN实现工业表面缺陷图像增强的工作，这些工作都在不同的表面缺陷数据集上进行了有益的尝试，并在最后对GAN无法大规模工业运用的原因进行了总结分析。

  国内外学者从多个途径改进GAN使之应用于工业表面缺陷的数据增强，下面介绍这个方向的进展。

  杜虎强[40]提出了一种基于Pix2Pix的网络模型来生成含缺陷的晶元图像，该方法需针对晶元图像的特征采用某种模式识别算法筛选满足条件的晶元图像，用以作为GAN的训练数据，其生成的晶元图像与真实样本具有较高的拟合度。张晋等[41]通过将DCGAN生成器$G$的输入随机噪声$z$转换为高斯噪声，提出了用于生成含缺陷的磁瓦图像的高斯混合型DCGAN网络，该模型增益了生成小样本且具有同类特征图像的能力，使得所生成的磁瓦图像质量及其所含缺陷类别有所提高。谢源等[42]也提出了一种改进DCGAN网络来生成含表面缺陷的注塑瓶图像，针对DCGAN的判别器$D$无法有效识别缺陷区域，在判别器$D$损失函数中添加二分类损失函数用于判断图像的特定块是否含缺陷，并加入梯度惩罚函数使得训练更稳定；该模型生成的含缺陷图像对于提升分类器的准确率较为显著。刘坤等[43]针对太阳能电池的EL表面缺陷数据与正样本不平衡的问题，提出了一种NSGGAN用于生成负样本，该方法使用高斯噪声作为判别器$G$的唯一输入，并在判别器中添加负样本引导损失函数，增强对负样本的判别能力，改进WGAN的梯度惩罚函数使判别器的梯度更新适于模型在当前数据集训练时收敛；通过实验，表明该方法的改进对于太阳能电池EL表面缺陷图像的生成是有效的，所生成样本能够改善缺陷检测的精确度与召回率。Gangjie Zhang等[44]通过在生成器$G$中添加SPADE正则化机制得到缺陷的空间分布与图像特征，该操作便于使生成图像所含缺陷分布更为随机，且为了提高不同类别的缺陷将随机噪声高斯化，在判别器$D$的损失函数中添加分类损失使生成的缺陷与目标类别保持一致，另外，该模型将缺陷生成分为两个步骤：先使用SPADE正则化得到缺陷"前景"，再在正常图像的表面添加缺陷前景，即使用缺陷转移的方法来生成含表面缺陷的样本；该模型在CODEBRIM上的实验结果优于同类方法，其生成的缺陷样本具有一定的保真度与多样性。Juhua Liu等[4545]将纺织物的表面缺陷生成分为两个阶段，采用VGG提取经随机裁剪仅含缺陷的纺织物的图像特征，所得缺陷特征作为约束变量用于训练第一阶段的GAN，生成的纺织物缺陷当作前景镶嵌到另一张纺织物图像的空白裁剪区域，参与第二阶段GAN的训练，为了增强生成样本与真实图像的拟合度，该阶段的生成器$G$损失函数引入重构损失与感知损失，而最终得到含表面缺陷的纺织物图像；实验结果表面，该模型所生成的含表面缺陷的纺织物图像可提升分类器的性能。Bin Li等[46]使用$D2$[47]损失函数取代CycleGAN的判别器$D$损失函数中的对抗损失，并在CCSD-L与CCSD-NL数据集上对模型进行实验，结果表明该方法所生成的含表面缺陷样本的FID值比基准模型有小幅降低，将生成样本用于缺陷识别与分类，结果表明扩充后的数据集有正向增益。Rippel等[48]提出了一种改进CycleGAN用于纺织物表面缺陷图像的生成，其使用mask语义图像与带有表面缺陷的纺织物图像作为输入，mask以二值图像方式标记出缺陷位置，通过增加判别器patchGAN对图像不同面片（patch）的感知权值，实现缺陷位置的准确定位识别，同时，为了增加训练的稳定性，该方法将最小方差（Least Square Error，LSE）结合谱归一化（Spectral Normalization）应用于生成对抗损失；实验结果表明，该模型生成的含表明缺陷的纺织物图像质量较高，但缺陷类型单一。

  通过回顾近些年国内外学者的工作可以认识到，仅仅针对某种或某类工业表面缺陷改进现有的GAN，无法满足工业条件下多样性的数据要求，更不能解决工业表面缺陷数据正负样本不均衡所引起的识别、检测及分类等问题。当前，无法将GAN应用于工业环境的数据增强，原因可以概括如下：

  1）原始GAN只能生成如MNIST数据集和低分辨率面部灰度图的样本。工业场景一般对图像的分辨率有较高要求，或需模型可自适应输入图像的分辨率，低分辨率图像丢失了原有的纹理、色彩、轮廓等频域信息与尺寸等空域信息，所能表达的特征不足以使后续模型完成对图像的检测、识别和分割。

  2）原始GAN生成的样本特征单一。数据增强的目的之一是获得具有更为丰富特征的样本，从而提高后续模型的泛化能力，原始GAN无法提供获取多样性样本的途径，不能完美解决数据增强的任务。

本文研究内容与工作安排

本文研究内容

  芯片诞生于"第三次工业革命"，是人类智慧的结晶，芯片制造归属于集成电路产业，随着集成电路的快速发展，芯片的制造工艺也日益复杂化，每一道工序都可能在芯片表面造成缺陷。鉴于芯片表面缺陷的多样化与复杂化，人工抽检的周期长，实时性差，准确性低，并不适用于芯片的表面缺陷检测，其不符合企业生产标准。近几年，深度学习与机器视觉推陈出新，为工业表面缺陷检测提供了许多强有力的工具。然则，这些方法大都基于有监督的深度学习，需要大量带有标签的训练数据。样本采集的成本高、周期长，且所得数据包含所有缺陷样本的概率为零。

  本文针对采用深度学习方法，进行工业芯片表面缺陷检测时所面临的数据缺乏，设计一种适用于芯片表面缺陷图像生成，同时具备一定通用性与泛化性的图像增强方法，称之为CDS-GAN（Chip Defect Synthesis），来解决工业芯片表面缺陷的负样本匮乏问题。本文选取了两种类型的工业芯片数据集作验证所需，一种是应用点胶工艺制成的LED芯片，该类型芯片表面可能包含气泡、缺铜等缺陷，另一种是采用电泳法生产的GPP芯片，该类型芯片可能包含玻璃层损伤、划损等缺陷。两类芯片及其含表面缺陷，如图1.10所示。

本文工作安排

  本文共分为5个章节，全文的组织结构安排如下：

  第一章，介绍了基于生成对抗网络GAN进行工业芯片表面缺陷图像增强的研究背景与研究意义，列举了具有代表性的改进GAN网络，通过梳理文献并回顾前人采用GAN在工业表面缺陷方向的研究工作，总结分析了GAN在工业缺陷数据增强上的不足。章末阐明了本文的创新点与组织结构。

  第二章，重点阐述了GAN的基本原理及其结构性问题，而后介绍了基于Pix2Pix GAN进行芯片表面缺陷的图像增强，并指出该方法的应用具有哪些局限性。

  第三章，提出了一种基于Pix2Pix GAN的模型CDS-GAN，用于完成生成含表面缺陷芯片图像的工作，详细阐述了CDS-GAN的网络结构与优化方法。

  第四章，为了证明所提CDS-GAN的有效性和鲁棒性，在多个数据集上进行了实验，并选取恰当的GAN评价指标定量评估，与Pix2Pix、CycleGAN、DCGAN进行了对比；用CDS-GAN与Pix2Pix所生成图像，以及复制粘贴的图像分别扩增原始数据集，用于训练分类器，并选择mAP作为评价指标，对照实验结果表明CDS-GAN可用于工业表面缺陷的数据增强；通过消融实验，证明CDS-GAN各个模块的有效性。

  第五章，对Pix2Pix和本文所提CDS-GAN用于工业芯片表面缺陷的数据增强进行总结，列举了二者的优缺点并展望了未来的工作方向。

生成对抗网络GAN的原理与应用

  本文1.2.2节介绍了生成对抗网络GAN的若干改进网络，但并未详细阐述原始GAN的基本原理，下面对此进行详细论述，并介绍原始GAN的结构性问题，最后给出1.2.2节所介绍的Pix2Pix GAN，即本文的基准模型，其用于芯片表面缺陷的图像增强的示例。

GAN的基本原理

  Goodfellow等[13]基于博弈理论中"零和博弈"的思想将GAN划分为两个模块：生成器（Generator，$G$）与判别器（Discriminator，$D$），生成器$G$与判别器$D$之间不断进行对抗学习。原始GAN的基本结构，如图2.1所示。

  生成器$G$的输入是服从某一先验分布$p_z(z)$的随机噪声$z$，输出是服从某一分布$p_g(x)$的高维数据$G(z)$。本文假设真实数据服从分布$p_{data}(x)$，$G$的目标是令生成数据分布$p_g(x)$与真实数据分布$p_{data}(x)$尽可能接近以欺骗$D$。与之相反，$D$的目标是准确地判断其输入数据是来自真实样本$x$还是生成样本$G(z)$，最终给出一个$[0,1]$的数值：其值与0的差距愈小，$D$认为其来自生成样本$G(z)$的概率愈大；其值为1，$D$认为其更可能来自真实样本$x$。

  为了定量评估两个分布$p_{data}(x)$与$p_g(x)$的差异，引入目标函数$V(G,D)$，如式2.1所示。

V ( G , D ) = E x ∼ p d a t a ( x ) [ log ⁡ D ( x ) ] + E x ∼ p g ( x ) [ log ⁡ ( 1 − D ( x ) ) ] (2.1)

以上是关于毕设论文基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用（合肥工业大学2021届物联网工程毕业论文）的主要内容，如果未能解决你的问题，请参考以下文章

基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用

基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用

合肥工业大学2021届物联网工程毕业设计《基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用》

合肥工业大学2021届物联网工程毕业设计《基于pix2pix的数据增强方法在工业芯片表面缺陷检测中的应用》

本科毕设研究记录————小样本综述

毕业设计 基于C#的KTV点歌管理系统毕设论文源码+论文+数据库+使用说明|寻找C站宝藏