简述神经网络的训练过程？

Posted 2021-07-05 Data+Science+Insight

简述神经网络的训练过程？

训练神经网络由以下基本步骤构成：

步骤1：神经网络的初始化（Weights Initalization）：初始化权值（weights）和偏差（bias）。可以理解为方程Y =wX+b中的w和b。

步骤2：正向传播（前向传播, forward propagation）：使用给定的输入X、权重W和偏差b，对于每一层，我们计算输入和权重的线性组合值，然后将激活函数应用于该线性组合值。

在最后一层，如果是一个二分类问题使用sigmoid函数计算概率值，如果是多分类使用softmax激活函数计算多类别的概率值。并基于概率给出最终预测y_hat或者y_pred值。如果是回归类问题则在最后一层统一一个神经元直接给出数值。

步骤3：计算损失函数（Loss Function）：损失函数在其表达式中包括实际标签y和预测标签y_hat。它显示了我们的预测离实际目标有多远，我们的主要目标是使损失函数最小化，最好是0，虽然一定会过拟合，但是我们会朝着这个方向前进。