RFECV 中的准确度值完全相同

Posted 2023-03-12

【中文标题】RFECV 中的准确度值完全相同

【英文标题】：Exactly same values for accuracy in RFECV

【发布时间】：2021-07-29 17:18:49

【问题描述】：

我正在尝试使用 RFECV 拟合逻辑回归。这是我的代码：

log_reg = LogisticRegression(solver = "lbfgs", 
                             max_iter = 1000)
random.seed(4711)
rfecv = RFECV(estimator = log_reg,
              scoring = "accuracy", 
              cv = 10)

Model = rfecv.fit(X_train, y_train)

我不认为我的数据或我的代码有什么问题，但几乎每一个不同的特征大小值的准确度都是完全相同的：

Model.grid_scores_
array([0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
       0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
       0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76200776,
       0.76200776, 0.76200776, 0.76200776, 0.76200776, 0.76556425,
       0.80968999, 0.80962074])

怎么会这样？我的数据很大（超过 20000 次观察）。我无法想象在交叉验证的每一个折叠中，都正确估计了相同的情况。但如果是这样，这怎么可能发生？ 1 个变量可以解释 19 个变量，但不能解释 20 个变量？那为什么不拿第一个和第20个呢？我真的很困惑。

【问题讨论】：

嗨托比！你发布的数组是什么？是特征重要性吗？

嗨阿图罗！这是rfecv.grid_scores_。是从 1 到 22 的每个特征大小的准确度（完整模型）？

【参考方案1】：

我相信你所有的准确度都是一样的，因为LogisticRegression 默认使用 L2 正则化。也就是说，penalty='l2' 除非你传递其他东西。

这意味着即使Model 使用了所有 22 个特征，底层算法log_reg 也在使用 L2 正则化来惩罚 beta 系数。因此，如果您修剪最不重要的特征，它不会影响准确性，因为具有 22 个特征的底层 logit 模型已将最不重要的特征的系数推到接近于零。

我建议你试试：

# Model with no penalty
log_reg = LogisticRegression(solver='lbfgs', 
                             max_iter=1000,
                             penalty='none')

# Set seed
random.seed(4711)

# Initialize same search as before
rfecv = RFECV(estimator=log_reg,
              scoring='accuracy', 
              cv=10)

# Fit search
rfecv.fit(X_train, y_train)

# Tell us how it went
rfecv.grid_scores_

【讨论】：

非常感谢！不幸的是，我收到以下错误消息：Logistic Regression supports only penalties in ['l1', 'l2'], got none :(

log_reg 是 sklearn.linear_model.LogisticRegression 对象吗？

对，就是：from sklearn.linear_model import LogisticRegression

你能检查一下你的版本吗？ sklearn.__version__

嗯...让我再考虑一下。一旦我想出一些东西，我会更新答案。