学习率衰减局部最优Batch NormSoftmax回归

Posted 2023-01-23 劳埃德·福杰

目录

1.学习率衰减(Learning rate decay)

在训练初期，梯度下降的步伐大一点，开始收敛的时候，小一些的学习率能让步伐小一些。

1 epoch = 遍历一遍训练集

学习率衰减公式：

例：假设衰减率decayrate = 1，=0.2

epochNum	α
1	0.1
2	0.067
3	0.05
4	0.04

其它学习率衰减公式：α=0.(指数衰减)。。。等等

2. 局部最优(local optima)的问题

梯度下降的时候可能会困在一个局部最优中，而不会抵达全局最优。

3.