深度卷积网络原理—实例讲解梯度下降法参数更新过程

Posted wangyong

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了深度卷积网络原理—实例讲解梯度下降法参数更新过程相关的知识,希望对你有一定的参考价值。

 首先,先回顾梯度下降公式:(下面利用均方差MSE损失来进行演示)

          技术分享图片

梯度下降的训练公式:

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

 

 接下来,按照上面的公式进行求最大值的案例讲解

技术分享图片

技术分享图片

  令,学习速率技术分享图片为0.1,初始化参数w1=0,w2=0,b=0

 样本一:x1=0.1,x2=0.8

 输出:

OUT=w1x1 + w2x2 + b =0*0.1 + 0*0.8 + 0 = 0

期望输出=0.8

损失:

LOSS=(OUT-期望输出)2=(0 - 0.8)2=0.64

 

回顾此前的公式:

技术分享图片

 

因此,新的权重:

技术分享图片

 

继续看下一组样本:

输入:x1=0.5x2=0.3

输出:

技术分享图片

 

期望输出=0.5

 损失:

LOSS=(OUT-期望输出)2 = (0.2064-0.5)2 = 0.0862

 

得到新权重:

 技术分享图片

训练几百个样本后,参数w1=0.5w2=0.5b=0.166667

 

以上是关于深度卷积网络原理—实例讲解梯度下降法参数更新过程的主要内容,如果未能解决你的问题,请参考以下文章

神经网络中自适应的梯度下降优化算法(二)

随机梯度下降法实例

梯度下降法原理和步骤

深度学习之梯度下降法

梯度下降法改进过程:从 SGD 到 Adam算法

SIGAI深度学习第七集 卷积神经网络1