单神经元的神经网络基本算法

Posted 2021-03-01 wang2804355025

　　假设条件：我们有m个样本，每个样本有n个特征。我们的目的是通过神经网络的训练，使模型能够识别每张图片是否是指定的图像。

　　首先每个样本有n个特征值，我们的最终模型需要包含n个w，1个b。模型通过公式temp=wx，计算每一个特征值的temp的值，最后累加，这里的每个x特征值都对应一个自己的w。最后加上一个通用的b，得到Z。最后通过激活函数，得出最终的判定结果A。这里的A的值可能因为激活函数不同而改变。

　　以上是神经网络对该样本的判定过程，那么怎么训练呢？

　　我们首先给所有的w赋初值。然后对于每一个特征值的w，通过公式w=w-r*(x*(a-y))进行梯度下降，公式里的r是学习率，x是该特征的特征值，a是模型当前的预测结果，y是正确结果。同样的道理b=b-r*(a-y)进行梯度下降。

　　通过一遍遍的前向传播和反向传播，不断更新w和b，最终得到的w和b参数配合激活函数已经能预测样本了。