Tensorflow学习之（学习率）

Posted 2022-10-09 answerthe

学习率learning_rate: 学习率表示每次参数更新的幅度

1.表达式：Wn+1 = Wn - learning_rate * ▽ 

Wn+1：更新后的参数

Wn：当前参数

learning_rate：学习率

▽：损失函数的梯度（导数）

也就是参数的更新向着梯度下降的方向

2.定义损失函数 loss = (w + 1)²   梯度 ▽ = (α * loss) /  (α * w) = 2w + 2

假设w初始化为5， 学习率为0.2  带入第一步中的学习率表达式后，则更新后的参数为

第一次  参数：5　　　　　　5 - 0.2 * (2 * 5 + 2) = 2.6

第二次  参数：2.6　　　　　 2.6 - 0.2 * (2 * 2.6) = 1.16

第三次  参数：1.16　　　　  1.16 - 0.2 * (2 * 1.16 + 2) = 0.296

.......

我们知道当w = -1时的loss最小，那么通过代码来实现这一过程