递归特征消除（RFE）+ 交叉验证

Posted 2023-03-22

参考技术A 递归特征消除（Recursive feature elimination）

递归特征消除的主要思想是反复构建模型，然后选出最好的（或者最差的）特征（根据系数来选），把选出来的特征放到一边，然后在剩余的特征上重复这个过程，直到遍历了所有的特征。在这个过程中被消除的次序就是特征的排序。

RFE的稳定性很大程度上取决于迭代时，底层用的哪种模型。比如RFE采用的是普通的回归（LR），没有经过正则化的回归是不稳定的，那么RFE就是不稳定的。假如采用的是Lasso/Ridge，正则化的回归是稳定的，那么RFE就是稳定的。

from sklearn.feature_selection import RFE
from sklearn.feature_selection import RFECV
from sklearn.linear_model import LinearRegression,Ridge,Lasso
from pandas import read_csv
import numpy as np
from scipy.stats import pearsonr
from sklearn.model_selection import StratifiedKFold
from sklearn.ensemble import RandomForestClassifier
import csv

tps = read_csv('E:\workfile\data\trade\tps.csv', header=0)
label = np.array(tps)[:, 0]
feature = np.array(tps)[:, 1:]

def RFErfe():

看一下RFE的输入参数：
estimator：估计函数，底层的回归模型。一个监督学习的估计函数，有fit方法，fit方法，通过 coef_ 属性或者 feature_importances_ 属性来提供feature重要性的信息。
n_features_to_select : int or None (default=None)选择(最优)feature的数量，超出的部分按照关联性排序。如果选择 None , 就选择一半的feature。
step：int or float, 可选(default=1)如果大于等于1，step对应于迭代过程中每次移除的属性的数量（integer）。如果是（0.0，1.0），就对应于每次移除的特征的比例，四舍五入。

可以调用的属性：
n_features_ : int所选特征的数量。

这是n_features_to_select=2时候的运行结果，可以看出来，两个部分的属性应该是最好的，超过的部分按照属性相关的强弱一次排序。

support_ : array of shape [n_features]，[n_features]大小的array，所选特征的一种模糊的表示，可以看出来，打印结果就是true和false，最优的是true，别的是false。
ranking_ : array of shape [n_features]，[n_features]大小的array，特征的排序，比如 ranking_[i] 表示的就是第i个特征的排名位置。估计最佳的属性被排为1.

tps = read_csv('E:\workfile\data\trade\tps.csv', header=0)
label = np.array(tps)[:, 0]
feature = np.array(tps)[:, 1:]

这是运行结果。
按照惯例跟进去看一下源码。
传入参数：
estimator：和上面的一样。

step：和上面的一样。

cv：int，交叉验证的生成器或者迭代器。可选。
cv可选择的输入为：
-None，使用默认的3折交叉验证。
-integer，指定交叉验证的折数。
-一个object用作交叉验证的生成器。
-一种迭代的训练/测试集的分割。
对于None或者integer的输入。如果“y”是二分类或者多分类，就要用
class: sklearn.model_selection.StratifiedKFold
如果估计函数是一个分类器，或者“y”不是二分类也不是多分类，就要用
class: sklearn.model_selection.KFold
这里可以使用多种交叉验证的方法。
我这里使用的是回归的数据，因此可以知道使用的是KFold。
跟进去看一下KFold的源码。
n_splits : int, default=3，交叉验证的折数，默认3，最少是2。
shuffle : boolean, optional，可选。是否在分割成若干批次之前对数据进行洗牌。
random_state : int, RandomState 实例，或者None, optional, 可选default=None默认None。
如果是int, random_state是随机数生成器的种子。（指定一个，不指定的话每次结果都会不一样）
如果是RandomState 实例, random_state是随机数生成器。
如果是None,随机数是通过 RandomState 实例 np.random 生成的。此时 shuffle == True.

scoring : string, callable（可调用的） or None, optional,可选的 default: None，默认：None，评分标准。一个string型（参考model evaluation documentation模型评估文档）或者一个可以调用的评分object/function
with signature scorer(estimator, X, y) .
可调用的属性：
n_features_ : int，通过交叉验证得到的特征选择的数量。
support_：和上面一样。
ranking_：和上面一样。
grid_scores_：array of shape [n_subsets_of_features]，交叉验证的分数，比如 grid_scores_[i] 第i个特征子集的CV分数。 grid_scores_ is equal to ceil((n_features - 1) / step) + 1,
estimator_ :和上面一样。

通过 Sklearn 的 RFECV（带有交叉验证的递归特征消除）选择特定数量的特征

【中文标题】通过 Sklearn 的 RFECV（带有交叉验证的递归特征消除）选择特定数量的特征

【英文标题】：Selecting a Specific Number of Features via Sklearn's RFECV (Recursive Feature Elimination with Cross-validation)

【发布时间】：2018-12-13 08:06:15

【问题描述】：

我想知道 Sklearn 的 RFECV 是否可以选择固定数量的最重要特征。例如，在处理具有 617 个特征的数据集时，我一直在尝试使用 RFECV 来查看其中 5 个特征是最重要的。但是，RFECV 没有参数“n_features_to_select”，这与 RFE 不同（这让我感到困惑）。我该如何处理？

【问题讨论】：

除了下面的答案之外，look at this example 说明了 RFECV 的工作原理。正如答案所建议的那样，RFECV 会自行调整功能的数量，因此不要提供可供选择的功能。

【参考方案1】：

据此quora post

RFECV 对象有助于使用交叉验证调整或查找此 n_f​​eatures 参数。对于消除“步”数特征的每一步，它都会计算验证数据的分数。在验证数据上给出最高分数的步骤中剩余的特征数被认为是您数据的“最佳 n_features”。

这表示 RFECV 确定最佳特征数 (n_features) 以获得最佳结果。 拟合的 RFECV 对象包含一个属性 ranking_ 和特征排名，以及 support_ 掩码以选择找到的最佳特征。 但是，如果您必须从 RFECV 中选择前 n_features，则可以使用 ranking_ 属性

optimal_features = X[:, selector.support_] # selector is a RFECV fitted object

n = 6 # to select top 6 features
feature_ranks = selector.ranking_  # selector is a RFECV fitted object
feature_ranks_with_idx = enumerate(feature_ranks)
sorted_ranks_with_idx = sorted(feature_ranks_with_idx, key=lambda x: x[1])
top_n_idx = [idx for idx, rnk in sorted_ranks_with_idx[:n]]

top_n_features = X[:5, top_n_idx]

参考： sklearn documentation, Quora post

【参考方案2】：

我知道这是一个老问题，但我认为它仍然相关。

我不认为 shanmuga 的解决方案是正确的，因为同一等级内的特征没有按重要性排序。也就是说，如果selector.ranking_ 有 3 个排名为 1 的特征，我认为列表中的第一个不一定比第二个或第三个更重要。

对此问题的一个简单的解决方案是运行RFE，同时将n_features_to_select 设置为所需的数字并“手动”交叉验证它。

如果你想从最优的 m 个特征中获得 n 个特征（使用 n

# selector is a RFECV fitted object
feature_importance = selector.estimator_.feature_importances_  # or coef_
feature_importance_sorted = sorted(enumerate(feature_importance), key=lambda x: x[1])
top_n_idx = [idx for idx, _ in feature_importance_sorted[:n]]

您应该注意，多个特征可能具有相同的重要性或系数，您可能会在这种方法中遗漏。