LAD-lasso和线性规划算法

Posted 2021-01-20 grace-luke

本文参考资料列表：

【1】Robust Regression Shrinkage and Consistent Variable Selection Through the LAD-Lasso 

【2】维基百科 https://en.wikipedia.org/wiki/Least_absolute_deviations

LAD-lasso简介

LAD-lasso是一种将 lasso的 regression shrinkage and selection 和LAD （least absolute deviation）对于outliers和heavy-tailed errors的稳健性结合起来的办法。 

LAD-lasso准则

lasso准则是：

lasso准则对所有的变量施加相同的tuning parameter，得到的估计量是有偏的，修改lasso得到以下准则：

lasso*准则中使用的是Ordinary Least Square，对于outliers比较敏感，改为least absolute deviation：

LAD-lasso求解

LAD-lasso可以转化为无惩罚的LAD问题求解：

而LAD问题的求解，最推荐的是线性规划方法，如何将LAD问题转化为线性规划问题呢？

我们想要：

该问题等价于：

其中的constraints会在最小化目标函数的同时，强制每个 u_i 等于| y_i -a₀-...-a_kx_ik |，因此等价于原始的目标函数。

LAD-lasso性质

待补充。。

线性规划

基于单纯形的方法是解决最小绝对偏差问题的“首选”方法。单纯形法是一种解决线性规划问题的方法。 最流行的算法是Barrodale-Roberts modified Simplex算法。