正则化和归一化

Posted 2020-09-18 Amazing_Man

http://blog.sina.com.cn/s/blog_4a1853330102w2en.html

http://blog.csdn.net/oppoa113/article/details/22102103

正则化，归一化（标准化和正规化）：对数据进行预处理的两种方式，目的是让数据更便于计算和获得更加泛化的结果，但并不改变问题的本质。

 

正则化：要求一个逻辑回归问题，假设一个函数，覆盖所有可能：y=wx，其中w为参数向量，x为已知样本的向量，用yi表示第i个样本的真实值，用f(xi)表示样本的预测值，从而确定损失函数L(yi,f(xi))=yi?sigmoid(xi)。该损失函数代表一种误差。对于该模型y=wx的所有样本的损失平均值，我们称为经验损失（empirical loss）。

　　显然，经验损失（或称经验风险）最小化（empirical risk minimization）就是求解最优模型的原则。为了达到这个目的，模型的设定会越来越复杂，最后可能造成模型只适用于当前的样本集，即出现过拟合（over fitting）问题。

　　为了解决过拟合问题，通常有两种办法，第一是减少样本的特征维度；第二就是正则化（又称惩罚“penalty”）。正则化的一般形式是在整个平均损失函数后增加一个正则项（常见L2范数正则化，也有其他形式的正则化，它们的作用也不同。详见http://blog.csdn.net/zouxy09/article/details/24971995/）

　　λ=0代表不进行正则化；=1通常代表合适的惩罚；举个例子=100的时候，会因为过度惩罚而造成“欠拟合”问题

　　 

归一化：主要看模型是否具有伸缩不变性。有些模型在各个维度进行不均匀伸缩后，最优解和原来不等价，例如SVM。

　　　　对于这样的模型，除非本来各维数据的分布范围就比较接近，否则必须进行标准化，以免模型参数被分布范围较大或较小的数据支配。

　　　　有些模型在各个维度进行不均匀伸缩后，最优解和原来等价，例如logistic regression（逻辑回归）。

　　　　对于这样的模型，是否标准化理论上不会改变最优解。但是，由于实际求解往往使用迭代算法，如果目标函数的形状太扁，迭代算法可能收敛得很慢甚至不收敛。所以对于具有伸缩不变性的模型，最好也进行数据标准化。

https://www.zhihu.com/question/20455227