综述：增材制造中的机器学习

Posted 2021-04-27 EngineeringForLife

机器学习（ML）是人工智能（AI）的子集，在增材制造（AM）研究中越来越受欢迎。增材制造（也称为3D打印或快速原型制作（RP））定义为一组由计算机辅助设计（CAD）模型控制的逐层制造工艺。机器学习被定义为使用示例数据或过去的经验来优化性能标准的计算机编程，对于增材制造中的机器学习，除了通过数据拟合进行预测的典型应用之外，研究界还在探索将机器学习和AI算法集成到AM中的新方法。机器学习算法，应用程序和平台正在帮助AM练习者提高产品质量，优化制造过程并降低成本。

近日，来自 印第安纳大学-普渡大学印第安纳波利斯分校 的 Jing Zhang团 队 在 JOM期刊 上发表了题为“ Machine Learning in Additive Manufacturing: A Review ”的文章，对机器学习（ML）在增材制造（AM）领域中的最新应用进行了回顾。这些应用程序（例如参数优化和异常检测）被分为不同类型的机器学习任务，包括回归，分类和聚类。比较和评估了这些类型的增材制造AM任务中各种机器学习算法的性能。最后，提出了一些未来的研究方向。

当前AM领域的主要挑战是打印产品质量的不一致，其高度依赖于许多处理参数，例如打印速度和层厚。这些过程-结构-属性（PSP process-structure–property）关系已在许多评论文章中进行了讨论。要解决这一挑战有两种方法。一种方法是进行实验或高保真度仿真，以获得可靠的数据并帮助优化处理参数，但两者都是耗时或昂贵的。确保零件质量和过程可靠性的另一种方法是现场监测系统的应用，但是需要一种使用现场数据（例如图像）的有效缺陷检测方法。在以上两种方法中，迫切需要一种有效且高效的工具来进行数据分析和数据挖掘。机器学习解决了这一需求。

有了可靠的训练数据集，机器学习模型可以从训练集中学习知识，并根据该知识进行推断。一方面，训练有素的机器学习模型可以有效地进行预测并确定最佳处理参数。另一方面，他们也可以实时处理原位数据以进行缺陷检测。最近的文献中还报道了其他一些机器学习应用，例如几何偏差控制，成本估算和质量评估。通常，机器学习应用程序可以视为数据处理的技术。机器学习在工业4.0中扮演重要角色。

机器学习任务可分为三大类：监督学习，无监督学习和强化学习。图1显示了在增材制造领域中ML的分类法和相应的应用程序。在监督学习中，每个输入数据都标有一个输出, 训练集由许多输入输出对组成，每个输入都是一个包含所有相关特征的向量，，这些特征可能会影响其输出。若输出是对质量的评估（好或坏），相应的机器学习类别是分类。若输出的是目标参数（例如孔隙率和抗拉强度），相应的机器学习类别为回归。在无监督学习中，每个输入数据都没有输出，模型会研究输入数据之间的关系。无监督学习的一个典型应用是聚类，即根据所有数据的相似度将它们聚为一组。而强化学习是学习如何将情境映射为行动上，从而最大化数字奖励信号。其应用包括自动驾驶汽车和国际象棋。图1说明了一些在AM领域的应用实例及其相应的机器学习类别。在AM领域，大多数机器学习应用都属于监督学习范畴。

图1

机器学习是一种数据处理工具。图2显示了AM领域可在PSP（过程-结构-属性）关系链中进行分析和利用的各种类型的数据。广泛使用的PSP关系中的“过程”一词分为“处理参数”和“处理结果数据”两个术语，以区分该过程之前和过程中可用的数据。这些数据之间存在许多关系，包括但不限于：

（ 1 ）加工参数，例如激光粉末床熔合（ L-PBF ）中的激光功率，打印速度和层厚显著影响打印零件的结构，从而决定其质量和性能；

（2）设计形状对打印成本和打印产品的几何偏差至关重要；

（3）监控系统获取的图像和声发射（AE acoustic emission）可用于实时检测缺陷的发生及其类型。

因此，如果使用包含至少两种类型的PSP关系链中的相关数据的数据集来训练机器学习模型，则机器学习模型将能够基于这些数据进行推断。这是应用机器学习模型的一般步骤。

图2

原文作者首先回顾了机器学习在AM领域的最新应用：

机器学习可以用于AM工艺参数优化及性能预测。对于设计者来说，使用某种加工参数组合的零件质量直到最终被打印出来之前都是不确定的。因此，必须进行一系列工作，例如打印一些样品并测试其性能，以确保零件质量，这使设计过程昂贵，耗时。在这方面需要加工参数和零件质量之间的直接关系。为此，实验和仿真是有助于建立这种关系的有用方法，但是当涉及许多输入特征时，使用这两种方法来获得最佳处理参数是不切实际的。而机器学习模型可以用作替代模型，以协助流程优化。

给定一系列感兴趣的属性的可靠训练数据（输出）以及一些加工参数的组合（输入），机器学习的回归模型可以预测感兴趣的属性值。图3a展示了L-PBF工艺中316L无应变钢的熔池深度（输出），激光功率和扫描速度（输入）方面的预测结果, 它可以作为替代模型对输入特征（也就是加工参数）的任何组合下的输出进行预测，因此减少了对实验和计算研究的需求，它可以提供每个输入与输出的相关性，从而得到最优的输入组合。图3b则显示了用于生成回归模型的数据点以及预测的误差。

图3

机器学习可用于缺陷检测、质量预测和闭环控制。现场监测系统的开发使得能够获取实时数据，这些数据可用于AM的缺陷检测和闭环控制。这些实时数据，包括光谱，图像，AE（acoustic emission声发射）和计算机断层扫描（CT），可以通过以下几种方式由机器学习模型加以利用：（1）通过实验结果或人类知识来标记这些数据是否带有缺陷（可能带有缺陷类型），然后使用标记的数据训练监督学习模型以检测缺陷和质量实时预测，这是机器学习分类模型的典型应用，将在“分类”部分中进行讨论；（2）使用无监督学习模型进行聚类分析，对异常数据进行聚类，以实现无需标记过程的缺陷检测（3）训练机器学习回归模型以及一些实时可控处理参数的数据，以实时调整这些处理参数。第三种方法的示例是Wang等人在物料喷射过程中的电压电平控制。其过程控制框架包括三个主要部分，如图4所示。首先，电荷耦合器件（CCD）摄像机用于捕获液滴的动态图像。接着从图像中提取液滴的属性（韧性，体积和速度）以训练神经网络（NN）机器学习模型以及当前电压。然后将训练后的机器学习模型用于确定最佳电压水平，并将其发送到电压调节系统以控制液滴的喷射行为。

图4

几何精度低和表面完整性差是增材制造零件的常见缺陷。这些几何缺陷阻碍了增材制造在航空航天和医药等多个行业中的应用。在这方面，机器学习模型可以识别几何缺陷的发生，量化几何偏差并为几何误差补偿提供指导。例如，Francis等人使用卷积神经网络(CNN) 机器学习模型为L-PBF过程开发了一个几何误差补偿框架，如图5所示。训练后的机器学习模型以热历史和部分加工参数为输入，以变形量为输出，预测变形量，然后反向导入CAD模型，实现误差补偿。通过这种方法，可以显著提高补偿型CAD模型加工的零件的几何精度。

图5  L-PBF工艺中Ti-6Al-4 V的几何误差补偿程序。输入数据是（a）热历史和（b）处理参数。输出数据是（c）使用深度学习模型的预测失真。通过反转CAD模型中的失真来实现误差补偿。CAMP-BD代表使用大数据进行增材制造预测的卷积和人工神经网络。

机器学习还可用于费用估算。打印成本和时间是制造商，客户和供应链中其他利益相关者共享信息的重要组成部分。尽管可以通过设计形状的体积粗略地估算它们，但仍需要一种更准确，有效的成本估算工具。最近，Chan等人提出了成本估算的应用。图6展示了他们提出的成本估算框架：（1）客户使用3D模型提交制造工作; （2）从3D模型生成特征并形成输入向量，然后将其输入到经过训练的机器学习模型中，以基于相似的工作使用聚类分析进行成本预测；（3）如果客户喜欢或机器学习模型的训练数据集大小较小，则将3D模型转发给仿真模型以预测成本，这也将成为机器学习模型的训练数据；（4）结合机器学习和仿真预测对最终的预计成本进行估算。（5）最终的预测被转发给客户端。

图6

在AM领域得到应用的机器学习类型可以分为监督学习与非监督学习。

在监督学习中，所有输入数据都用输出标记。输出可以是参数，相应的机器学习任务是回归；可以是类，而相应的机器学习任务是分类。由于AM中的大多数机器学习应用旨在预测目标参数或类别，因此监督学习是AM领域机器学习应用的主要类型。监督学习又可以分为回归与分类两种任务。

在回归任务中，每个输入的输出都是参数，例如印刷产品的孔隙率，效率，熔池深度，机械性能等。AM算法从训练数据集中学习输入和输出参数之间的相关性，然后使用所学的相关性从新输入对其输出进行推断。表1显示了最近在AM领域的回归应用以及机器学习模型。根据表1在最近的文献中用于AM领域的两种主要的用于回归任务的机器学习模型是神经网络（NN）和高斯过程（GP）。受生物神经系统启发的人工神经网络是由简单（通常为自适应）元素及其分层组织的大规模并行互连网络组成的计算系统。典型的神经网络包含一个输入层，一个或多个隐藏层和一个或多个输出层。每层由许多神经元组成。每个神经元的信息根据其权重传播到下一层。当神经元与神经元的连接形成循环时，它将被归类为递归神经网络，否则是前馈。在训练过程中，一旦将新的观测值输入到神经网络中，就会通过学习规则优化每个神经元的权重。神经网络中最流行的学习规则是反向传播（BP）算法，该算法根据梯度下降来调整权重。但是，由于BP算法的强大学习能力，神经网络通常会遇到过度拟合问题，可以通过正则化来缓解。

表1

Caiazzo等人利用30个训练数据应用BP-NN进行轨迹几何预测，均方根误差约为5%。Rong-Ji等人用5 - 10个隐藏神经元测试BP-NN的性能，结果显示隐藏神经元越多，预测效果越好。Zhang等人在ME材料挤出过程中使用了递归神经网络来预测印刷产品的抗拉伸强度，均方根误差约为2%。图7展示了他们构建的神经网络:在训练期间(图片底部)，每个输入组合的输出在神经网络中向后传播，以调整每个输入特征的相关性。训练后（顶部），新的输入特征组合正在向前传播，以预测拉伸强度。他们的结果表明，在此应用中，递归神经网络的性能优于随机森林和支持向量回归算法。总体而言，神经网络在回归任务中表现出色，但还需要调整一系列超参数，例如隐藏神经元的数量和层数。

图7

高斯过程被定义为随机变量的集合，其中的任意有限个随机变量具有联合高斯分布，就像高斯分布中的均值和方差，GP由均值函数和协方差函数完全指定，是包含所有输入特征的输入向量。协方差函数是由单个或多个核函数组合定义的，对GP的性能至关重要。

Tapia等人应用GP预测了L-PBF过程中的孔隙度和熔池深度。图3绘出了熔池深度在激光功率和扫描速度方面的过程图以及相应的不确定性.GP在嘈杂的环境中显示了出色的回归性能，并且训练数据数量有限。总体而言，GP在具有少量输入功能和少量数据集的回归任务中非常有效。当涉及的输入特征的数量很大或训练数据集的大小太大时，由于执行矩阵求逆时的高计算成本，GP可能会失去效率。

一般来说，GP和NN都能够处理AM领域的回归任务。NN比GP更复杂，需要更多的知识来调整超参数。ML模型的选择应该基于训练数据集的复杂性(即训练数据点的个数和输入特征)。对于低复杂度任务，建议使用GP。对于复杂度较高的任务，推荐使用神经网络。

监督学习除了用于解决递归任务，还可用于分类任务。在分类任务中，每个输入的输出是一个类别或类别，例如不同的缺陷类型或质量评估等级。像回归任务一样，ML模型学习如何从训练集中进行分类，然后对新输入进行分类。在AM领域中，有不同类别的各种类别可用于区分零件质量，例如缺陷和非缺陷，质量好坏，质量等级评估（从1到10）以量化质量，如果通过某些分类示例在不同的输入设置下训练机器学习模型，此后它将能够对新输入进行分类。因此，机器学习分类模型可以在三个主要方面用于AM领域：（1）它可以使用原位数据（例如图像和AE）进行缺陷预测，以帮助实时检测缺陷；（2）可以预测不同加工参数下的零件质量，并且（3）可以使用打印零件的几何信息来辅助质量评估。由于几何偏差可以用几种类型来描述，例如平移和旋转，因此机器学习分类模型也可以实现几何偏差控制。

表2显示了AM领域中最近的分类应用以及ML模型。用于分类任务的典型ML算法是决策树（DT），支持向量机（SVM）和卷积神经网络（CNN）。

表2

决策树是用于分类任务的一种常见的ML算法。与神经网络相比，决策树具有更强的可解释性。Khanzadeh等人和Tootooni等人分别使用包括决策树在内的多种ML模型进行缺陷检测和质量评估。在这两篇文章中，决策树在许多分类器中显示了中等的性能。总的来说，决策树是一种相对简单的方法，可以处理AM领域的分类任务。虽然它的性能可能不是最好的，但建议在应用其他模型时使用它作为对比，以便更好地展示其他模型的性能。

支持向量机（SVM）旨在处理二进制分类问题，但也可以将其推广到多类问题。在二进制问题中，因为训练集中的每个输入-输出对都包含一个高维输入向量包含所有输入特征和一个目标类别作为输出，SVM使用高维空间中的超平面来划分两个组。根据表2，SVM是AM应用中非常流行的分类器。比较多个分类器，SVM表现出与其他算法相当的性能。

SVM也可以应用于基于图像的问题。图8演示了使用图像作为输入的过程，用于在L-PBF工艺中检测Ti-6Al-4 V钛合金的缺陷。对于每个标记为多孔或非多孔的热图像，都会从图像中提取一些几何特征并将其用于训练ML模型。Zhang等人将SVM应用到图像作为输入的缺陷检测中。在他们的文章中，尽管CNN的效果更好（准确度为92.8％），但SVM在此三组分类任务中的准确度为90.1％。Ye等人将支持向量机用于使用AE作为输入的缺陷检测，这也需要像图像一样的特征提取过程。在这个二元分类问题中，支持向量机（98.01％的准确性）优于深度信任网络（95.87％）。Gobert等人将SVM应用到CT图像层作为输入的缺陷检测中，他们优化的SVM模型的F1得分为0.62。总体而言，SVM是分类问题的理想选择。

 

图8

神经网络是分类问题中最常用的算法。正常神经网络通常是应用于只组成的输入参数和类问题,一种特殊类型的神经网络,称为卷积神经网络(CNN),旨在处理与图像和声发射问题Scime等人使用多尺度CNN做图像缺陷检测和整体异常检测，精度分别为97%,85%,和93%,分别。他们实现的多尺度CNN如图9所示。利用卷积将图像的信息在神经网络中传播。

图9

Shen等人将CNN用于使用体素网格作为几何输入特征的几何误差补偿，并获得了0.95的整体F1分数。总体而言，在AM领域中，NN是用于分类任务的现有算法中一个复杂而强大的模型，适用于大多数分类任务。通常，应基于输入要素的类型来选择不同的分类模型。尽管大多数分类器（包括DT，KNN，NN和SVM）都可以处理AM中常见的参数输入问题，但建议用SVM和CNN解决图像和基于AE的问题。

监督学习的机器学习模型从训练数据中学习知识，然后使用该知识进行预测。因此，如果将训练数据用于测试ML模型的性能，则模型倾向于在这些训练数据中做出完美的预测，这看起来不错，但可能会陷入过度拟合的问题。图10显示了在L-PBF工艺中使用GP进行熔池深度预测时这种情况的示例。它反映了一个事实，即永远不要对训练数据集进行验证。这种情况的另一个例子是神经网络的100％F1分数。

图10

过拟合是一种现象，即模型自我调整，过于精确地拟合训练数据集。也就是说，随着训练误差的减小，对未来观测结果的预测误差趋于增加。这在监督学习中是一个常见的问题，应该通过一些方法来避免。三种常用的帮助检测和避免过拟合问题的方法是hold-out法、k-fold交叉验证法和正则化方法。

hold-out方法，也称为数据拆分，是监视过度拟合的一种简单方法。它将整个数据集划分为两个子集，即训练集和测试集。训练集用于训练模型，测试集用于测试模型的性能。通过这种方式，测试集中的数据将不会用于训练模型，而对于测试模型的性能以及是否发生过度拟合非常有用。训练集的适当大小通常约为整个数据集的70％。但是，这种方法的主要缺点是：当限制数据点的数量时，它将进一步减小训练数据集的大小，这是增材制造的常见情况，因为每个数据点获取成本，消耗的时间和人力通常很高。此方法通常用于上述大多数应用程序中。

k折交叉验证（CV）方法是一个迭代过程，可以监视过拟合问题并提高数据利用率。它将整个数据集划分为大小大致相同的k个子集。在每次迭代中，将一个子集留作测试集，而所有其他子集用于训练模型。重复迭代直到所有子集都被留作测试集了一次。此方法的一种特殊情况是，是数据点的数量，也称为n折交叉验证方法。与简单hold-out方法相比，k折交叉验证方法减轻了AM领域中数据集大小受限的常见问题。

正则化方法是通过在训练期间添加信息来阻止ML模型变得过于复杂的过程。通常，ML模型的目标是使损失函数最小化

其中E是累积误差，m是训练数据点的数量，E k 是每个训练数据点的误差。但是，如果训练数据中存在噪声，则ML模型还将使用等式学习噪声，并倾向于过拟合。为了避免这种情况，正则化方法在损失函数中增加了一项，以惩罚模型的复杂性。常用的正则化方法称为L 2 正则化它让参数的平方和较小。例如，针对神经网络使用L2正则化的损失函数为：

其中λ∈（0,1）是调优参数，它决定了在模型复杂度中增加多少惩罚，W t 是每个神经元的权重。应该仔细选择调优参数，并且通常通过交叉验证进行估计调优参数。

总体而言，必须使用一种或多种方法来监视和避免过拟合问题，才能使机器学习模型变得健壮。

除了监督学习，无监督学习也被应用到AM领域中在无监督学习中，所有数据均未标有输出。无监督学习中最常见的任务是聚类分析，其中基于数据的相似性将数据分为几组。非监督学习的另一种主要类型是主成分分析（PCA），它通过正交变换将具有可能相关变量的数据集转换为线性不相关变量的值集，称为主成分。

在聚类分析中，所有的数据都是根据它们的相似度来分组的。通常，聚类分析通常需要较大的数据集。然而，在AM领域中数据集的大小通常是有限的，这阻碍了聚类分析的应用。因此，目前关于聚类分析在AM中的应用报道较少。在Chan等人提出的成本估算框架中，应用的ML模型是最小绝对选择和收缩算子（LASSO）和弹性网（EN）模型。用于聚类分析的另一个典型的ML模型是自组织映射（SOM），它是一种用于无监督学习的神经网络。最近Khanzadeh等人使用SOM进行几何精度分析，使用SOM，数以百万计的几何偏差数据被分割成簇，然后可以评估使用每个加工参数组合制造的零件的总体几何精度:簇出现的越多，在方向和大小方面的偏差类型就越多。Wu等人进行了聚类分析在缺陷检测中的另一项最新应用：从AE传感器获取的AE信号中提取特征，然后将其导入SOM进行聚类，如图11所示。异常（故障）案例往往与正常案例有所不同，可以从正常集群中提取异常案例的集群，从而实现缺陷检测。这两种用于AM中缺陷检测的应用程序是聚类分析的主要功能，称为异常检测。与基于监督的基于学习的缺陷检测相比，该方法具有显着的优势，即不需要人工干预即可标记数据。因此，聚类分析可以作为缺陷检测的有力替代方法。

图11

本文从学习任务类型的角度综述了ML在AM领域的最新应用，针对每种特定类型的任务，包括回归，分类，聚类等等，讨论了相应的应用程序和一些流行的算法，并评估了一些流行算法的性能。虽然ML已经发展了几十年，但在AM领域中发现ML的应用才有几年历史。这些应用程序涵盖了处理参数优化，属性预测，缺陷检测，几何偏差控制，质量预测和评估等。首先，机器学习模型可以使用现有数据了解处理参数与属性之间关系的相关性，从而为优化提供指导。这些处理参数。其次，机器学习模型可以在训练后根据设计的几何形状预测几何偏差，并为几何误差补偿提供指导。第三，ML模型擅长处理打印过程中的图像和声发射，并实时检测缺陷的形成。然而，可以从加工参数-加工-微结构-特性图中提取的可用数据尚未得到充分利用。在这方面，开发更多的数据获取方法，探索更多的机器学习应用以及开发更好的算法将是这个发展中研究领域的主要研究方向。

 

-- 长按二维码，阅读英文原文 --

论文链接：

https://doi.org/10.1007/s11837-020-04155-y

欢迎专家学者提供稿件（研究成果、前沿技术、学术交流等）。 投稿邮箱： [e-mail]

最受关注文章Top 10

---

•   

• ）

点个“在看”分享一下