正则化系数

Posted 2021-03-04 jing-yan

正则化 --在原有损失函数的基础上加上一个正则化项

通常用到的有均方根误差rmse和平均绝对误差mae

通过限制参数过多或者过大，避免模型更加复杂,简单来说就是降低模型的泛化错误率,避免模型过拟合

L1与L2的区别

L1可以实现让参数矩阵稀疏, 且L1正则化的损失函数不不是连续可导的,

L2也称岭回归功效是解决过拟合问题。当模型过于复杂，就会容易出现过拟合

L1范数惩罚（参数稀疏性惩罚）,所有参数的绝对值之和，对应Lasso回归；

原有的损失函数（loss function）后面加一个正则化项（regularizer）

 

L2范数惩罚（权重衰减惩罚）,所有参数的平方和，对应岭回归

在Python中调用

from sklearn.linear_model import LogisticRegression as LR包中

LR(penalty="l1", solver="liblinear",C=0.5,max_iter=1000)

penalty默认情况下是l2,

当选择L2后模型还是过拟合又或者因为模型的特征过多,想通过转换成稀疏矩阵的方式可选L1

矩阵的稀疏性:通俗的解释是,剔除一些不是重要的特征从而减少时间与空间的复杂