构建线性模型(Lasso)并通过系数(coefficients)可视化分析特征重要度

Posted 2021-06-26 Data+Science+Insight

构建线性模型(Lasso)并通过系数(coefficients)可视化分析特征重要度

 

Lasso方法最早由Robert Tibshiran于1996年提出，文章发表在“统计四大”之一的皇家统计学会期刊上，尽管至今已有二十多年，但依然有着广泛的应用，由其发展出的方法层出不穷。

 

关于特征工程（Feature Engineering），已经是很古老很常见的话题了，坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位。

 

我要是的学习得到预期的效果就必须了解、分析我们的特征；

 

#设定超参数alpha的取值范围

# alpha spaces
# However, if we increase α to a much higher value, we see that literally none of the features are being used
# ie. all features weight will be 0
alphas = np.logspace(-10, 1, 100, base = 10)

 

#构建lassocv模型

# Create lasso regression with three alpha values
regr_cv = LassoCV(alphas=alphas, cv = 5, max_iter = 1e4,selection = \'random\',random_state=42)
#regr_cv = LassoCV(alphas=alphas, cv = 5, max_iter = 1e6)

# Fit the l