弹性网惩罚项的可视化分析（R语言）

Posted 2021-10-24 统计学小王子

目录

• 0引言
• 1、函数构建
• • 1.1代码
  • 1.2图片
  • 1.3动图
• 2、总结

0引言

在博客《变量选择——lasso、SCAD、MCP的实现（R语言》中介绍了R语言做变量选择常用的函数和包，其中msaenet和glmnet是做的弹性网，弹性网是岭回归和lasso类惩罚的回归。下面以二维为例，介绍岭回归、lasso、弹性网惩罚项的区别，因为我们知道惩罚回归是似然函数或者最小二乘求条件极值，具体的形式以限制条件给出，给定常数C有：
岭回归，
$$x^2+y^2=C,$$
lasso:
$$|x|+|y|=C,$$
弹性网，给定0-1的$\alpha$有：
$$\alpha (|x|+|y|)+(1-\alpha )(x^2+y^2)=C.$$
可以看出当$\alpha =1$时退化为lasso，当$\alpha =0$时退化为岭回归。
下面取C=1,对上述三个可行域可视化。

1、函数构建

1.1代码

# 2.2函数调用
O <- par(mfrow = c(2, 3))
netplot(C = 1, alpha = 0)
text(0,0.8,paste0("alpha = ",0),col = "blue", cex = 4)
netplot(C = 1, alpha = 0.1)
text(0,0.8,paste0("alpha = ",0.1),col = "blue", cex = 4)
netplot(C = 1, alpha = 0.2)
text(0,0.8,paste0("alpha = ",0.2),col = "blue", cex = 4)
netplot(C = 1, alpha = 0.5)
text(0,0.8,paste0("alpha = ",0.5),col = "blue", cex = 4)
netplot(C = 1, alpha = 0.8)
text(0,0.8,paste0("alpha = ",0.8),col = "blue", cex = 4)
netplot(C = 1, alpha = 1)
text(0,0.8,paste0("alpha = ",1),col = "blue", cex = 4)
par(O)

1.2图片

1.3动图

2、总结

最后希望可以帮助大家学习R语言。水平有限发现错误还望及时评论区指正，您的意见和批评是我不断前进的动力。当然如果有更好的改进方案欢迎评论区交流。
本文的代码已整理好，实在刚需移步下面链接下载研究。