Automated defect analysis in electron microscopic images-论文阅读笔记

Posted 2022-07-04 wyypersist

Automated defect analysis in electron microscopic images

电子显微镜图像中的自动缺陷分析

//2022.6.29下午17:02开始阅读笔记

论文地址

Automated defect analysis in electron microscopic images (nature.com)

论文贡献

本文基于基于计算机视觉的方法开发了一种自动识别工具；它依次应用了级联目标检测器、卷积神经网络和局部图像分析方法。我们证明，自动工具在查全率和查准率方面的性能与手动人体检测相当或更好，并实现了接近人类平均水平的定量图像/缺陷分析指标。该方法适用于不同对比度、亮度和放大率的图像。这些有希望的结果表明，这种和类似的方法值得探索，以检测多种缺陷类型，并有可能定位、分类和测量一系列缺陷类型、材料和电子显微镜技术的定量特征。

论文内容

1.介绍

电子显微镜是从微米到埃级研究材料结构和形态特性的最重要方法之一。电子显微镜图像通过显示电子与材料相互作用的响应，为研究人员提供了有关重复结构单元（例如晶体的单位细胞）和缺陷区域（例如晶界、杂质、缺陷簇）的丰富信息。在这项工作中，我们专注于电子显微镜的一个特殊但广泛应用的应用，即分析金属合金在辐照下缺陷的位置和大小。1虽然我们专注于辐射损伤的缺陷，但本文开发的工具可以很容易地进行修改，以评估微观图像中的多种特征，从计算纳米颗粒到识别线位错。

核应用材料的辐照损伤极大地影响了现有核反应堆设施和先进反应堆设计的耐久性。了解辐照对材料特性和性能的影响对于核反应堆的安全可靠运行至关重要。研究辐照损伤过程和机制，以及测试新的核材料，需要对辐照材料进行一系列实验，并使用电子显微镜重复生成数据。需要重复生成微观结构图像，以获得关于不同类型预先存在和辐射诱导增强缺陷（如晶界、沉淀、位错线和环、层错四面体、空洞、气泡和“黑点”缺陷）总数和分布的统计显著信息。

手动识别缺陷并计算相关属性以获得统计上准确的值有四个主要问题。（1） 手动识别可能很耗时，尤其是对于显微镜图像的大数据集（例如，>25–50个图像），通常每个图像只需要几分钟到大约一个小时。（2） 手动识别容易出错，因为很容易遗漏缺陷或错误识别缺陷。（3） 手动识别缺乏一致性和再现性。分析可能会受到人类偏见和特定研究人员培训的显著影响，因此很难跨组比较结果或确定绝对行为。（4） 手动识别不能很好地缩放。新的高速探测器使电子显微镜能够每秒拍摄数万到数千张图像，3而自动样本探测可能会生成包含数千或数百万张图像的数据集。即使每张图像只有几分钟的时间，自动化分析对于利用这些新兴且不可避免地不断增加的数据生成功能也是必不可少的。开发用于缺陷检测的图像分析工具可以将分析所需的时间减少到几乎为零；提供准确、一致和无偏的结果；并使用可用的计算资源近似线性扩展。

早期的图像识别系统主要使用尺度不变特征变换、二值特征直方图、方向梯度直方图（HOGs）来提取图像特征，然后将这些图像特征输入分类器。近年来，计算机视觉领域不断发展，并在各种图像识别任务中取得了一系列成功。保罗·维奥拉（Paul Viola）和迈克尔·琼斯（Michael Jones）开发了一种更成功的方法，他们提出了一种称为“人脸检测级联目标检测器”应用程序的快速目标检测结构。最近，卷积神经网络（CNN）已成为图像识别任务的一种非常强大的方法。CNN-一种直接对原始像素强度数据进行卷积运算的人工神经网络，由卷积、非线性和池的几个重复层组成，后边跟着一个全连接层。CNN是一个最近正在发展的领域，并且新的CNN架构仍然持续被提出。

计算机视觉和机器学习（ML）的最新进展已被引入电子显微镜图像分析领域，例如医学图像中的检测和分割，微观结构图像的无监督统计表示，各种材料图像中的聚类或分类，扫描透射电子显微镜（STEM）图像中原子水平的化学识别和局部转变跟踪和电子衍射图案分析。据我们所知，关于使用计算机视觉或深度学习方法识别微观图像中纳米和中尺度缺陷的位置并提取定量信息的已发表研究工作非常有限。Ziatdinov等人最近报告了他们使用深度学习来检测原子分辨率图像中原子种类和晶格缺陷类型的位置的工作，但他们的方法没有检测到更大范围（>1 nm）的缺陷，也没有提取缺陷的定量形状或轮廓信息。检测显微图像中的缺陷结构存在两个主要挑战：（1）缺乏足够的注释显微图像进行训练；（2）难以自动提取准确的缺陷轮廓。关于第一个问题，我们使用了一个大型手动标记数据库和图像增强方法，但我们注意到，TEM图像的直接模拟可以提供更大的数据集，尽管它们不会来自物理材料测量。关于第二个问题，现有的图像分析工具，如边缘提取和/或霍夫变换，通常涉及手动调整图像对比度或亮度、多参数输入和缓慢的图像处理速度。目前的ML方法能够准确识别图像中的物体，但没有提取定量缺陷结构和缺陷分布信息（如缺陷尺寸和面积密度）的机制。

本文开发了一种用于自动缺陷检测和分析的方法，该方法将任务分为三个阶段。我们在每个阶段应用了不同的计算机视觉技术，从而实现了几种方法的综合优势。图1描述了自动检测工作流中涉及的基本步骤：（1）带有级联目标检测器的检测模块I；（2） 带CNN的筛选模块II；（3） 分析模块三采用两种局部图像分析方法——分水岭洪水算法查找缺陷轮廓，区域属性分析获取缺陷轮廓的大小信息。

2.结果

辐照钢的微观结构图像通常包含几种显著类型的缺陷：内部有基质的开放圆形/椭圆形环、闭合圆形/椭圆形固体环和线位错。缩微图像可以具有各种对比度，亮度和聚焦度（锐度），有时包含不同类型的缺陷，可能会分散彼此的注意力。图2显示了从材料试验反应堆中辐照的铁素体合金获得的样品显微图像，以引入各种缺陷尺寸和数量密度。在电子显微镜图像中的所有类型缺陷中，开放椭圆环缺陷检测（图2中的插图3）是一项特别具有挑战性的任务。这里我们定义了一个开放的椭圆环，它是一个a/2〈111〉 研究材料的位错环，作为在环段上具有白色-黑色-白色对比度的缺陷，并显示缺陷内部的像素强度显著降低。完美闭合椭圆不是必不可少的，部分环也被定义为开放椭圆环，因为它们截断了试样的自由表面。在缩小的环尺寸通常小于10 nm时，开放椭圆环和黑点（图2中的插图1）之间的区别变得模糊，易于解释。在这里，正如后面详细讨论的那样，我们使用两位经验丰富的研究人员的专业知识来限制训练数据集中开放椭圆环定义中的模糊区分。平面a内的开环〈100〉 图2中的插图4中的环很容易区分，因为它们在环的单个部分上表现出明显的白-黑-白-黑-白对比。

开放椭圆环的缺点是有效信息有限（只有环轮廓上或附近的像素是有用的像素）、背景噪声大、图案模糊和分散注意力的图案（线错位、开放圆环和闭合环）。因此，在证明自动缺陷分析方法对开椭圆环缺陷的有效性时，我们将其用于辐照材料中最困难的缺陷检测问题之一，这表明该方法可能也适用于其他类型的缺陷。

2.1 策略

图1显示了成功提取和表征图2中由模块组织的缩微图像中所有开放椭圆状环缺陷的关键步骤。在模块I中，我们训练了一个用于缺陷识别的级联对象检测器，使其能够准确确定内部包含单回路缺陷的边界框。探测器定位了图像中几乎所有的缺陷位置，但经过专门调整，具有较高的错误检测误差。为降低错误检测错误而进行的调整会导致检测器错过图像中大量的真实环路。模块II中添加了一种筛选方法，以有效降低误检率。缺陷筛选方法基本上是基于单个缺陷图像特征的二值图像分类问题。筛选方法由15层CNN组成，包括一个图像输入层、三个卷积层、四个非线性层和三个池层，池层具有两个完全连接的层、一个softmax层和一个类输出层（有关更多信息，请参阅方法部分）。

在运行模块I和II之后，我们获得了一个边界框列表，每个边界框理想地包含一个环。为了从模块III中检测到的边界框中提取回路形状，我们采用了Luc Vincent和Pierre Soille引入的分水岭洪水算法。33分水岭算法是一种基于浸入过程模拟的图像分割方法，其中使用像素队列有效模拟图片中的水泛滥。我们实现了我们自己的分水岭洪水算法，专门用于微结构回路缺陷，并实现了高精度的缺陷边缘提取，无论原始图像的亮度和对比度如何。我们还使用Matlab regionprops工具34在模块III中进行了区域属性分析，用椭圆拟合提取的环路形状，以获得环路的形状度量，例如长轴的长度和环路的方向。通过这三个模块的管道，我们成功地识别了环并以最小可调参数自动提取感兴趣的环形状信息。。

2.2 数据准备和增强

我们收集了298张显微图像的数据集，人类共有9566个线圈缺陷，其中包括在不同实验条件下辐照的几种铁素体合金，以引入不同的缺陷尺寸和数量密度。所有图像都是使用分区干成像技术生成的，该技术可以减少背景变化并提高信号色调比35（更多信息请参见方法部分）。数据集按固定的9:1比例分为训练集和测试集。测试集是从完整的图像库中随机选择的。请注意，没有绝对严格地判断模式是否为环的方法，不同的研究人员可能对模糊模式持不同意见。然而，为了评估性能，我们必须设置一些“ground-truth”标签作为真正正确的标签。因此，训练和测试数据集都是由两位在回路标记方面经验丰富的研究人员共同手动标记的；两位研究人员多次重新检查了测试数据集中的标签，以确保正确的标签。这两位研究人员商定的标签是测试自动检测模型性能的ground-truth。经过数据集分割，我们获得了一个由270幅图像组成的训练集和由28幅图像组成的测试集，分别包含8424和1142个人类识别的环。通过对图像进行旋转和镜像操作，将显微图像的训练数据集增加到总共1605个图像（39596个人类识别的环路）。图像增强可以为模型提供更多的训练实例，并使模型对旋转或翻转的图像输入保持不变。图像增强通过添加更多训练示例和使级联对象检测器能够使用更多阶段，提高了级联对象检测器的整体性能。

2.3检测精度评估指标

为了评估自动缺陷分析方法的性能以及该方法中链接的每个模块的准确性，我们使用了两组评估指标：（1）召回和精度指标37来定义在图像中找到环路缺陷正确位置的能力；和（2）缺陷尺寸分布度量，包括图像中缺陷的总数、图像中环形缺陷的平均直径（长轴长度）和图像中环形缺陷直径的标准差。这些指标用于定义正确收集图像中回路统计信息的能力，这些信息最终将用于材料表征和分析。召回被定义为在所有人类标记的回路位置中正确预测的百分比。精度定义为所有机器标记位置中正确预测的百分比。根据回路边界框的中心给出回路位置，如果两个值相同，则认为获得了一致性≤在X和Y方向上间隔20像素。该值考虑到地面真相的环路位置存在一些不确定性。在1024X1024的图像的每个方向上，该值约为2%。在图像中，20个像素大致相当于2.84–9.48 nm，因此该指标需要纳米精度才能进行环路预测。总的来说，召回衡量机器能够避免丢失人类标记的回路的程度，而精度衡量机器能够避免提供虚假标识（将非回路模式标记为回路缺陷）的程度。由于模块I和II提供回路位置作为输出，因此它们各自由第一组召回和精度指标进行评估。由于模块III提供了实际的缺陷尺寸分布，因此使用第二组缺陷尺寸分布指标对其进行了评估。自动缺陷分析方法的总体性能是组合模块I和II的召回率和精度以及模块III的图像分析结果的组合。

2.4 级联目标探测器

级联对象检测器使用级联来组装多级分类器，使用从给定分类器的输出收集的所有信息作为级联中下一个分类器的附加信息。级联目标检测器的训练涉及向检测器提供一组带环的图像和相应的包围盒坐标，以及一组没有环的图像作为反例。在对检测器进行训练后，可以将其应用于图像并检测图像中的环路。为了在整个帧中搜索环路缺陷，可以在图像上移动各种大小的搜索窗口，并检查探测器的每个位置。成功通过级联目标检测器中所有阶段的检查窗口然后作为图像中检测到的环输出。

在1605幅图像的增强图像训练数据集上训练了40级级联目标检测器。训练后，将级联目标检测器应用于包含28幅图像的非增强测试图像集。测试集中所有图像的平均召回率为0.904，所有测试图像的平均准确率为0.639。这些结果表明，平均每个图像中90%的环被检测到，64%的检测到的环也被人类研究人员手动标记为环。这些数据包含在表1所示的摘要中。

2.5 CNN筛选

在级联目标检测器之后添加了15层CNN。CNN筛选提高了环路识别的精度，并增加了调整检测器精度和召回分数的灵活性。为了训练用于环/非环图像分类的CNN，我们通过在增强的训练数据集上应用级联对象检测器，构建了一个内部有/没有环的裁剪图像的CNN训练集。我们构建了一个由输入层、三个卷积层、四个非线性层、三个最大池层、两个完全连接的层、一个softmax层和一个类输出层。卷积层是一个特征提取层，使用各种核卷积整个图像，以及以前的特征映射来获得新的特征。非线性层决定了如何将提取的特征传递到下一层，池层通过对卷积层提取的特征进行下采样来降低特征维数。与其他基于机器学习的方法相比，CNN的独特优势在于其稀疏连接和共享局部权重的有效特征提取，这既减少了模型的内存需求，又提高了其统计效率。

为了测试CNN的有效性，我们首先收集了测试图像集上由级联对象检测器生成的所有边界框。根据检测器的预测，每个边界框被视为包含一个回路缺陷。然后将每个候选框输入CNN，以确定它是真环还是假环。与级联对象检测器使用的局部二进制模式（LBP）相比，CNN筛选通过添加额外的筛选阶段，具有更强大的自学习特征表示，大大提高了级联对象检测器的性能。在28幅测试图像上使用级联目标检测器和CNN的链式方法的平均召回率为0.858，平均精度为0.865。表1总结了这些结果。将CNN筛选添加到级联对象检测器中，我们将平均精度从0.639提高到0.865，而平均召回率从0.904降低到0.858，这一点很小。

2.6 缺陷提取及与人类平均水平的比较

在使用模块I和模块II进行环路检测和筛选后，在模块III中，我们分别使用分水岭洪水算法和区域属性分析提取环路边缘和形状信息34。本文对分水岭洪水算法进行了修改，用于环边缘提取，旨在适用于内部只有一个环的每个图像，而不管图像之间亮度、对比度和噪声水平的变化。改进的洪水算法分为四个步骤：（1）找到回路的质心位置，并将其设置为内部区域；（2） 将边界框的边缘设置为外部区域；（3） 通过添加像素强度低于阈值的相邻像素，逐渐分别增加像素强度值阈值并扩展内部和外部区域；（4）将内部和外部区域的交点标记为回路边缘。对于区域特性分析，我们使用连接分量分析（根据像素连通性将图像像素分组为分量）38来获得环路区域，并测量环路形状信息，例如质心点和长轴/短轴长度，以及长轴和图像x轴之间的角度。区域属性函数“regionprops”直接从Matlab的图像处理工具箱中用于连接成分分析。

为了评估线圈形状信息结果的准确性，我们比较了人体分析结果和机器识别结果中的线圈密度、线圈缺陷的平均长轴长度和长轴长度的标准差。为了评估可能是环或非环的模糊缺陷以及人类标记错误的影响，我们从测试图像集中选择了六幅代表性图像，并收集了五位经验丰富的专家（在该领域工作超过5年）在辐射损伤表征领域为这六幅图像指定的标签。通过相同的教程视频（见补充信息第二节），使用相同的电子显微镜图像通用图像分析软件（ImageJ39），对所有五名研究人员进行了环路标记方面的标准培训。为了比较缺陷尺寸分布指标，我们收集了环数、平均长轴和从所有的研究标签和机器标签的每个图像的长轴的标准差。对于召回和精确性指标，我们将所有人类标记和机器标记与由两位经验丰富的研究人员在回路标记中生成的基本groud-truth进行了比较（请参阅“数据准备和增强”部分）。请注意，这两名研究人员不属于生成人类比较的五名研究人员组；因此，这两名研究人员没有用于评估召回和准确度与ground-truth，因为他们的评估用于确定ground-truth。

图3显示了由五名研究人员和我们的自动化程序分析的缺陷大小分布度量的比较。图4显示了s从测试图像中选择的六幅图像进行自动编程，用于人机比较。我们可以看到，总体而言，该机器在确定总环数方面做得很好，与人类标签提供的环数相似。对于平均直径，自动缺陷检测算法也显示出与人类标记的良好一致性，可能在图像3和4中除外。自动缺陷检测算法在图像3中获得了一个略低的值，因为它产生了一个错误，并错过了一个具有高纵横比的非常大的环。

程序错过大回路的原因可能是高纵横比大回路的训练实例不足，因为这种类型的缺陷在提供的显微图像中并不常见。虽然针对较大环路的更多图像增强可能会减少这种误差，但我们认为，进一步优化最好留给未来的研究，该研究还将探索其他方法、多个缺陷和更大、更多样的输入数据集（例如，来自多个仪器和材料的数据集）。该算法在图像4中获得了一个略低的值，因为机器倾向于为这种类型的深色模糊图像提供更多的环路预测，并且这些环路的直径通常小于平均值。

为了更详细地了解预测误差如何与测试图像特征相关，我们评估了不同亮度、对比度和环路大小的环路缺陷的自动模型召回和精度分数。分析表明，模型性能与变量没有直接相关性。模型性能受到数据集中环频率的高度影响，即，某一类型的环在数据集中出现的频率越高（例如典型亮度的环），自动模型对该类型的性能越好。补充信息（SI）第一节提供了召回和精度分数随测试图像不同图像特征变化的图。另一个可能的误差源是重叠回路。自动模型能够正确识别测试数据集中的小重叠或紧密接触的回路（参见图4b（2）和图4b（4）中的一些回路）。然而，我们也可以看到，自动化模型可能会遇到系统性问题，其中存在大量环缺陷重叠。在我们的数据集中，大重叠回路是罕见的，但我们确实发现，在我们考虑的一些示例中，我们的模型只能识别一个大重叠回路（见图4b（5）中的一个示例）。

机器在标准偏差方面也与人类标签非常一致，可能除了图像3。使用该算法确定的图像3的标准偏差中的误差可以用与观察到的图像4的直径问题相同的方式来解释，即几乎没有大的异常环尺寸。尽管这些差异提出了改进机器标记的方法，但模型的预测大致在每种情况下五种人类预测的分布范围内，图像3的环直径除外。这些结果表明，该模型能够在广泛的图像范围内获得关于环路形状特性的合理结果。

图5比较了五名研究人员和机器标记的召回率、精度和时间效率与地面真实值标记的比较（见“数据准备和增强”部分）。五名研究人员对六幅图像的平均回忆率为0.804（±0.029）（括号代表平均值的一个标准差），研究人员的平均准确度为0.790（±0.023）。机器的平均召回率为0.842（±0.054），机器的平均精度为0.837（±0.031）。这些较大的机器与人类的召回率和精度值表明，在六幅图像测试集上，机器的性能高于人类的平均水平。机器性能与人的性能的成功对比清楚地证明了机器模型与地面真实性的高质量，同时也证明了人类评估的局限性。

具体来说，不同的研究人员在缺陷标记方面存在很大差异。造成这种差异的一个主要原因可能是，研究人员在分析模糊环的方式上有所不同，并且考虑到研究人员在处理基本groud-truth标记中的模糊环的方式可能有所不同。根据图5c，研究人员的平均检测时间为2440（±555）s，ML方法的平均检测时间为27（±1）s，比人类标记快80倍以上（括号中的值表示时间的标准差）。通过允许更多中央处理单元（CPU）和图形处理单元（GPU）核心并行计算，可以进一步加快机器标记。图中的比较。3和5证明了自动图像分析的性能与人类平均水平相当。比还表明，自动化机床提供了更一致的分析结果——与传统的分析方法相比，在不同的显微照片集、显微镜和研究设施中，分析结果更可靠、可重复-与标记测试图像的巨大人类变异性相比，显微镜技术和研究设备保持不变。此外，虽然该测试对于自动和手动标记的相对准确性并不确定，但它确实表明了如何训练ML方法来代表最有经验的研究人员的技能。经过仔细的训练，这个特性可以成为手动标记的一个显著优势，特别是对于该领域的初学者。

3.讨论

本研究证明并评估了一种使用当代ML、计算机视觉和图像分析技术的错位环缺陷自动检测方法。开发的方法在相同的数据集上实现了与人类平均水平相似的性能。我们的结果表明，计算机视觉技术在微观图像分析中非常有前景，可以取代人力并产生标准的分析输出。开发自动图像分析技术可以大大减少人类标记图像的劳动和时间，并减少与人类标记相比的可变性，这两者都将有利于微观社区。

当前模型仅使用有限数量的显微图像进行训练，通过提供更多注释良好的图像，可以进一步提高性能。我们还可以设想，当使用由不同研究人员针对一系列材料、仪器和成像模式生成的各种亮度、对比度、焦点和缺陷尺寸尺度的更多显微照片进行训练时，自动化模型可以对系统问题变得更稳健。我们注意到，该模型仅在一种材料上进行了训练，并在同一种材料上进行了评估。对于具有类似显微照片的材料，我们期望模型具有良好的性能。但是，对于具有缺陷的材料，其在某些方面看起来类似于环，例如广泛的背景位错，或具有非常不同的环境（例如，环上有许多重叠的黑点或沉淀），该模型可能会给出非常差的结果。然而，我们预计，随着此类模型的进一步开发和暴露于数量级以上的数据中，对新材料、显微镜、辐照条件等的传输能力将非常强大。

当前模型仅使用单个CPU和GPU开发。提高CPU/GPU性能和并行图像处理可以进一步加快速度。可以充分提高速度，以允许实时图像识别，该识别可以嵌入电子显微镜系统中，并直接在监视器屏幕上提供原位分析。这样一个系统将使研究人员能够根据数据实时调整其特征。虽然我们的方法主要用于环路缺陷识别，但如果可以通过实验或高保真度模拟获得包含这些类型缺陷的显微图像，那么创建新模型来检测显微图像中其他类型的缺陷或模式是值得探索的。我们提出，任何研究人员都可以通过在线系统提供注释图像来训练模型，这可能是开发此类模型的有效方法。我们设想，自动图像识别可以通过允许多个数量级的图像自动、几乎即时地进行全面分析，从而显著改变当前的微观表征工作流程。

4.方法

4.1 数据集搜寻

数据集收集是橡树岭国家实验室高通量同位素反应堆内辐射的铁-铬-铝（FeCrAl）材料的大规模表征工作的一部分。日期集包括一系列已发布的和未发布的数据。收集工作历时3年完成，跨越了不同FeCrAl合金的范围，包括模型、商业和工程级合金辐照到轻水反应堆-相关条件（例如，每个原子的位移小于15，标称温度为285–320°C）。

所有图像均由聚焦离子束制备的样品生成，样品厚度在40-175 nm之间，并使用200 kV下工作的JEOL JEM2100F场发射枪杆（FEG-STEM）成像。使用其他FEG-STEM仪器完成了类似成像，但未包含在数据库中。各种技术可以对本研究中感兴趣的椭圆环进行成像，包括双光束和弱光束暗场成像，1,44但这些更传统的技术容易因弹性对比度而发生背景变化。为了在大面积（>1–5微米）上快速提供数千个位错环、大范围放大（100–500k×）的图像，应用了带内茎成像技术。35,45数据集中的所有图像都是通过沿[100]区域轴成像来收集的，该区域轴允许辐射引起的缺陷，其Burgers矢量为a/2〈111〉 在体积的二维投影中成像为椭圆。46所有图像均使用亮场探测器拍摄，导致缺陷在白色背景上显示为黑色前景。以不同的放大倍数、探测器分辨率和像素停留时间拍摄图像，以限制仪器偏差进入数据集。在未辐照的参考样品上以相同的方式拍摄负片。

4.2 数据集准备

对于用于训练级联物体检测器的数据集，我们使用名为ImageJ39的开源软件手动注释微观图像上的环缺陷位置。我们生成了包含每个对应图像的环边界框的标记文件。对于用于训练CNN的数据集，我们将级联目标检测器应用于增强训练集中的显微图像，并将检测器预测与地面真值标记进行比较。每个显微图像内部有10-200个环。我们将正确的预测分组为一组带有环的裁剪图像，将错误的预测分组为一组没有环的裁剪图像。CNN训练集共有60000张64×64像素的图像，其中30000张图像包含环，30000张图像不包含环。通常，CNN可以通过宽度、高度和通道数的输入层拍摄具有红色、蓝色和绿色通道的图像。在这里，由于我们的显微图像是灰度图像（只有一个强度通道），我们通过在每个图像上再添加两层来向CNN提供更多信息，一个是增加的对比图像，其8%的像素强度饱和到最大值/最小值，另一个是高斯模糊图像。因此，每个图像的大小为64×64×3。在每张图像中再添加两层的目的是提供有关各种对比度或模糊的更多信息。

4.3 模型训练

级联目标检测器使用积分图像表示从原始图像中快速提取特征16，并使用自适应boosting（AdaBoost）方法8训练简单高效的分类器，以选择少量重要特征。随后，将更复杂的分类器组合成级联结构，通过将注意力集中在图像中有前景的区域，显著提高了检测速度。对于特征提取方法，使用LBP47作为特征类型，将局部边缘信息编码为特征向量。与较慢的Haar16和更快、更不准确的HOG6特征提取方法相比，选择LBP特征作为训练时间和检测器性能之间的折衷。我们使用增强的训练集和负片图像训练了一个40级级联目标检测器。我们将最大假阳性率设置为0.3，最小真阳性率设置为0.997，以使整体真阳性预测尽可能高，并获得公平的精度性能。我们使用了Matlab计算机视觉工具箱提供的级联目标检测器训练功能。48检测器训练时间随着数据集中图像数量的增加而增加。利用扩充的训练数据集，我们在6核Intel Xeon E5-1650 CPU上训练了40级级联目标检测器约6天。

CNN在Matlab的深度学习包中进行训练。我们在单个GTX 1070 GPU上训练网络。我们基于Matlab的深度学习教程构建了自己的神经网络结构。49我们调整了我们的网络结构，通过改变每层中过滤器的层数、大小和步幅、maxpool层的数量和完全连接层的大小来找到用于显微照片筛选的最佳模型的目的。我们通过验证集上的性能确定了最终的CNN结构。我们将CNN构建为一个输入、三个卷积、四个非线性、三个最大池、两个全连接层、一个softmax层和一个类输出层。图像输入层的大小为64×64×3，具有零中心归一化，然后是包含64个滤波器的卷积层，大小为10×10×3，步长[1 1]和填充[2 2]。我们使用ReLu（整流线性单元）函数在卷积层后提供非线性，并在ReLu层后应用最大池，滤波器大小为3×3，步长为[2 2]和填充[0]。我们重复了两次卷积块、ReLu和最大轮询层。每个重复层的滤波器大小、步长和填充与第一个块中的对应层相同，但下一个卷积层包含64个大小为10×10×64的滤波器，最后一个卷积层包含128个大小为10×10×64的滤波器。在三个卷积块–ReLu–MaxPool层之后，我们使用一个由64个节点组成的全连接层，然后是一个ReLu层和另一个由2个节点组成的全连接层作为分类层，分类为环和非环。对于最终输出节点，我们使用softmax函数为每个输入图像提供输出类别。我们在使用40级级联目标检测器生成的CNN训练集上训练CNN。我们开始训练用随机分配的权重初始化的CNN，数据以128的小批量输入CNN。以动量为优化器，采用随机梯度下降法优化二元分类的交叉熵损失，动量设置为0.9，L2正则化设置为0.08。初始学习率为0.001，学习率下降系数为0.05，学习率下降周期为8。考虑到训练集标记中的人为错误，我们将训练精度停止阈值设置为0.95，以避免过度拟合。整个训练在Nvidia GTX1070 GPU上5小时内完成。

4.4 数据可用性

支持本研究结果的训练图像数据和源代码可在材料数据设施中获得，标识符为doi:10.18126/M2692Z。源代码也可以在GitHub上找到：

(GitHub - uw-cmg/MATLAB-loop-detection).

//本文仅作为日后复习之用，并无他用。