L1和L2范式

Posted 2020-10-12 raul313

监督机器学习问题无非就是再规则化参数的同时最小化误差。

• *最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据

规则化参数的作用：

• *使得模型简单，且具有好的泛化性能（也就是测试误差小）
• *将人对这个模型的先验知识融入到模型的学习当中，使得模型具有稀疏、低秩、平滑等等特性。

规则化符合奥卡姆剃刀原理

• *思想：在所有可能选择的模型中，我们应该选择很好地解释已知数据并且十分简单的模型。规则化是结构风险最小化策略的实现，是在经验风险上加了一个正则化项（regularizer)或者惩罚项(penalty term).

一般监督学习可以看做最小化下面的目标函数：

 
- *机器学习大部分模型目标函数基本都是如此，无非就是变换这两项而已。 
-第一项LOSS函数： 
– square loss, 那就是最小二乘; 
– log-Loss, 那就是Logistic Regression; 
–Hinge Loss, 那就是SVM; 
–exp-Losss, 那就是牛逼的Boosting了;