深度学习之权重衰减——2020.27

Posted 2020-11-28 somedayli

?????过拟合现象，即模型的训练误差远?于它在测试集上的误差。虽然增?训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价?昂。本节介绍应对过拟合问题的常??法：权重衰减（weight decay）。

一、方法

?????权重衰减等价于 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较?，是应对过拟合的常??段。我们先描述 范数正则化，再解释它为何?称权重衰减。
?????范数正则化在模型原损失函数基础上添加 范数惩罚项，从?得到训练所需要最?化的函数。 范数惩罚项指的是模型权重参数每个元素的平?和与?个正的常数的乘积。以3.1节（线性回归）中的线性回归损失函数