机器学习特征筛选：方差选择法VarianceThreshold

Posted 2021-09-14 Data+Science+Insight

机器学习特征筛选：方差选择法VarianceThreshold

方差是衡量一个变量的离散程度(即数据偏离平均值的程度大小）；
变量的方差越大，我们就可以认为它的离散程度越大，也就是意味着这个变量对模型的贡献和作用
会更明显，因此要保留方差较大的变量，反之，要剔除掉无意义的特征。

#  方差选择法；

# 方差选择法
# 自己手写理论公式来实现功能
def VarianceThreshold(df, threshold=0.):
    dfc = df.iloc[:, :4].copy()
    print(\'>>>特征名：\\n\', dfc.columns.tolist())
    # 1 求方差
    var = np.sum(np.power(np.matrix(dfc.values)-np.matrix(dfc.mean()), 2), axis=0)/(dfc.shape[0]-1)
    T = []
    # 2 筛选大于阈值的特征
    for index, v in enumerate(var.reshape(-1, 1)):
        if v > threshold:
            T.append(index)
    dfc = dfc.iloc[:,