反向传播与参数更新

Posted yongfuxue

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了反向传播与参数更新相关的知识,希望对你有一定的参考价值。

 

反向传播原理比较简单,先定义损失函数,然后使用梯度下降算法找到最小化损失函数的W和b,梯度下降算法需要计算损失函数对w和b的偏导,求偏导只使用了一个链式法则。

 

1、反向转播

 技术分享图片

 

 

2、参数更新

 技术分享图片

 

η是学习率

以上是关于反向传播与参数更新的主要内容,如果未能解决你的问题,请参考以下文章

计算梯度:网络的前向与反向传播 和 优化方法:更新模型参数的方法

反向传播算法的理解

一个batch的数据如何做反向传播

正向传播和反向传播

正向传播和反向传播

解读反向传播算法(BackPropagation)