奥卡姆剃刀是什么？机器学习实践中那些学习模型或者那些评估指标践行了这一理论？

Posted 2021-06-29 Data+Science+Insight

奥卡姆剃刀是什么？机器学习实践中那些学习模型或者那些评估指标践行了这一理论？

 

奥卡姆剃刀：无无必要，勿增实体。

 

奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单（特征尽量少，把没有必要的特征干掉、因为碍事还没价值或者价值边际递减的非常厉害）才是最好的，也就是应该选择的模型。

 

从模型角度来看：

从套索（Lasso）模型的角度来看，Lasso回归使得一些系数变小，甚至还是一些绝对值较小的系数直接变为0，因此特别适用于参数数目缩减与参数的选择，因而用来估计稀疏参数的线性模型。模型通过L1正则化控制了结构风险并实现了特征筛选，L1正则化也常被成为稀疏因子；

从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较小的先验概率，简单的模型有较大的先验概率。

 

从评估准则的角度来看（AIC和BIC类似）：

AIC信息准则即Akaike information criterion

AIC是衡量统计模型拟合优良性(Goodness of fit)的一种标准，由于它为日本统计学家赤池弘次创立和发展的，因此又称赤池信息量准则。它建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。

在一般的情况下，AIC可以表示为： AIC=2k-2ln(L)

其中：k是参数的数量，L是似然函数。

AIC指标是越小越好，赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。

参考：AIC赤池信息准则

参考：lasso

参考：奥卡姆剃刀