什么是梯度消失？怎么解决？

Posted 2022-03-02 pacino12134

累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。

在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。

根本原因是sigmoid函数的缺陷。

方法：

1、好的初始化方法，逐层预训练，后向传播微调。

2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。