如何预测特征数量是不是与测试集中可用的特征数量不匹配？ [复制]

Posted 2023-03-12

【中文标题】如何预测特征数量是不是与测试集中可用的特征数量不匹配？ [复制]

【英文标题】：How to predict if number of features are not matching with number of features available in testset? [duplicate]如何预测特征数量是否与测试集中可用的特征数量不匹配？ [复制]

【发布时间】：2019-02-03 23:16:35

【问题描述】：

我正在使用 pandas get_dummies 将分类变量转换为虚拟/指标变量，它在数据集中引入了新功能。然后我们将这个数据集拟合/训练成一个模型。

由于X_train 和X_test 的维度保持不变，当我们对测试数据进行预测时，它与测试数据X_test 配合得很好。

现在假设我们在另一个 csv 文件中有测试数据（输出未知）。当我们使用get_dummies 转换这组测试数据时，生成的数据集可能与我们训练模型时使用的特征数量不同。后来，当我们将模型与该数据集一起使用时，它失败了，因为测试集中的特征数量与模型的不匹配。

知道我们该如何处理吗？

代码：

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# Load the dataset
in_file = 'train.csv'
full_data = pd.read_csv(in_file)
outcomes = full_data['Survived']
features_raw = full_data.drop('Survived', axis = 1)
features = pd.get_dummies(features_raw)
features = features.fillna(0.0)
X_train, X_test, y_train, y_test = train_test_split(features, outcomes, 
test_size=0.2, random_state=42)
model = 
DecisionTreeClassifier(max_depth=50,min_samples_leaf=6,min_samples_split=2)
model.fit(X_train,y_train)

y_train_pred = model.predict(X_train)
#print (X_train.shape)
y_test_pred = model.predict(X_test)


from sklearn.metrics import accuracy_score
train_accuracy = accuracy_score(y_train, y_train_pred)
test_accuracy = accuracy_score(y_test, y_test_pred)
print('The training accuracy is', train_accuracy)
print('The test accuracy is', test_accuracy)

# DOing again to test another set of data
test_data = 'test.csv'
test_data1 = pd.read_csv(test_data)

test_data2 = pd.get_dummies(test_data1)
test_data3 = test_data2.fillna(0.0)
print(test_data2.shape)
print (model.predict(test_data3))

【参考方案1】：

以前似乎有人问过类似的问题，但最有效/最简单的方法是遵循Thibault Clement 描述的here 的方法

# Get missing columns in the training test
missing_cols = set( X_train.columns ) - set( X_test.columns )
# Add a missing column in test set with default value equal to 0
for c in missing_cols:
    X_test[c] = 0
# Ensure the order of column in the test set is in the same order than in train set
X_test = X_test[X_train.columns]

还值得注意的是，您的模型只能使用它所训练的特征，所以如果 X_test 与 X_train 中有额外的列而不是更少，那么在预测之前必须删除这些列。