权重衰退 Weight Decade 动手学深度学习v2 pytorch

Posted 2022-04-02 AI架构师易筋

1. 权重衰退 Weight Decade

红色的点便是真实的y值，如果w变化波动比较快，蓝色的线就是结果，会是过拟合；如果限制w的变化比较平缓，就是绿色的线。


在黄圈和绿圈的交叉点是个平衡点，如果w往下走，l黄圈减少的项不足予弥补率圈的增加项。总体上来说w往原点走，w*变小，那么模型的复杂度变低。

weight decade 一般选择，0.001,0.01, 0.1 不断的换 尝试

2. 代码从零开始实现

数据越简单，模型越复杂，就越容易过拟合。

3. 简介实现 pytorch

参考

https://www.bilibili.com/video/BV1UK4y1o7dy?p=1