《梯度下降法的步长到底怎么确定？》
Posted cx2016
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了《梯度下降法的步长到底怎么确定？》相关的知识，希望对你有一定的参考价值。
一张图搞定人生系列：
1, 看趋势（图2）
loss往上走甚至产生小山包（黄线） or 下降的特别急（绿线）， 后几个epoch没变化， lr过高， 调低。
绿线还可以考虑lr decay
loss趋近于线性(蓝线)， lr过低， 调高。
2， 看震荡（图1）
loss波动的很厉害， 略微略微（强调！！！）调低lr.
3， 以图二为主。
以上是关于《梯度下降法的步长到底怎么确定？》的主要内容，如果未能解决你的问题，请参考以下文章