梯度消失梯度爆炸

Posted ymjyqsx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了梯度消失梯度爆炸相关的知识,希望对你有一定的参考价值。

https://blog.csdn.net/cppjava_/article/details/68941436

 

 

技术分享图片

 

 

 

2.解决梯度爆炸问题的方法

通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内. 
算法步骤如下。

    • 首先设置一个梯度阈值:clip_gradient
    • 在后向传播中求出各参数的梯度,这里我们不直接使用梯度进去参数更新,我们求这些梯度的l2范数
    • 然后比较梯度的l2范数||g||与clip_gradient的大小
    • 如果前者大,求缩放因子clip_gradient/||g||, 由缩放因子可以看出梯度越大,则缩放因子越小,这样便很好地控制了梯度的范围
    • 最后将梯度乘上缩放因子便得到最后所需的梯度 
    • https://blog.csdn.net/u010814042/article/details/76154391  

以上是关于梯度消失梯度爆炸的主要内容,如果未能解决你的问题,请参考以下文章

深度学习梯度爆炸与梯度消失

梯度消失和梯度爆炸问题详解

梯度消失和梯度爆炸问题详解

出现梯度消失和梯度爆炸的原因及解决方案

再聊聊梯度消失与梯度爆炸

深度学习面试题08:梯度消失与梯度爆炸