梯度爆炸是什么？有什么后果？如何判断梯度爆炸？如何避免梯度爆炸？
Posted Data+Science+Insight
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了梯度爆炸是什么？有什么后果？如何判断梯度爆炸？如何避免梯度爆炸？相关的知识，希望对你有一定的参考价值。
梯度爆炸是什么？有什么后果？如何判断梯度爆炸？如何避免梯度爆炸？
梯度爆炸是什么？有什么后果？
梯度爆炸会引发哪些问题？ 在深度多层感知机网络中，梯度爆炸会导致网络不稳定，最好的结果是无法从训练数据中学习，最坏的结果是由于权重值为NaN而无法更新权重。 在循环神经网络（RNN）中，梯度爆炸会导致网络不稳定，使得网络无法从训练数据中得到很好的学习，最好的结果是网络不能在长输入数据序列上学习。
如何判断梯度爆炸？
训练过程中出现梯度爆炸会伴随一些细微的信号，如：
模型无法从训练数据中获得更新（如低损失）
模型不稳定，导致更新过程中的损失出现显著变化。
训练过程中，模型损失变成 NaN。
如果你发现这些问题，那么你需要仔细查
以上是关于梯度爆炸是什么？有什么后果？如何判断梯度爆炸？如何避免梯度爆炸？的主要内容，如果未能解决你的问题，请参考以下文章