我的 r-squared 得分为负数，但我使用 k-fold 交叉验证的准确度得分约为 92%

Posted 2023-03-12

【中文标题】我的 r-squared 得分为负数，但我使用 k-fold 交叉验证的准确度得分约为 92%

【英文标题】：My r-squared score is coming negative but my accuracy score using k-fold cross validation is coming to about 92%

【发布时间】：2018-04-02 13:25:30

【问题描述】：

对于下面的代码，我的 r-squared 得分是负数，但我使用 k-fold 交叉验证的准确度得分是 92%。这怎么可能？我使用随机森林回归算法来预测一些数据。数据集的链接在下面的链接中给出： https://www.kaggle.com/ludobenistant/hr-analytics

import numpy as np
import pandas as pd
from sklearn.preprocessing import LabelEncoder,OneHotEncoder

dataset = pd.read_csv("HR_comma_sep.csv")
x = dataset.iloc[:,:-1].values   ##Independent variable
y = dataset.iloc[:,9].values     ##Dependent variable

##Encoding the categorical variables

le_x1 = LabelEncoder()
x[:,7] = le_x1.fit_transform(x[:,7])
le_x2 = LabelEncoder()
x[:,8] = le_x1.fit_transform(x[:,8])
ohe = OneHotEncoder(categorical_features = [7,8])
x = ohe.fit_transform(x).toarray()


##splitting the dataset in training and testing data

from sklearn.cross_validation import train_test_split
y = pd.factorize(dataset['left'].values)[0].reshape(-1, 1)
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.2, random_state = 0)

from sklearn.preprocessing import StandardScaler
sc_x = StandardScaler()
x_train = sc_x.fit_transform(x_train)
x_test = sc_x.transform(x_test)
sc_y = StandardScaler()
y_train = sc_y.fit_transform(y_train)

from sklearn.ensemble import RandomForestRegressor
regressor = RandomForestRegressor(n_estimators = 10, random_state = 0)
regressor.fit(x_train, y_train)

y_pred = regressor.predict(x_test)
print(y_pred)
from sklearn.metrics import r2_score
r2_score(y_test , y_pred)

from sklearn.model_selection import cross_val_score
accuracies = cross_val_score(estimator = regressor, X = x_train, y = y_train, cv = 10)
accuracies.mean()
accuracies.std()

【参考方案1】：

您的问题有几个问题...

对于初学者，您犯了一个非常基本的错误：您认为您将准确性用作指标，而您处于回归设置中，而实际使用的指标是 mean squared error ( MSE)。

准确率是分类中使用的一个指标，它与正确分类示例的百分比有关 - 请查看Wikipedia 条目以了解更多详细信息。

您选择的回归器（随机森林）内部使用的指标包含在您的 regressor.fit(x_train, y_train) 命令的详细输出中 - 请注意 criterion='mse' 参数：

RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=None,
           max_features='auto', max_leaf_nodes=None,
           min_impurity_split=1e-07, min_samples_leaf=1,
           min_samples_split=2, min_weight_fraction_leaf=0.0,
           n_estimators=10, n_jobs=1, oob_score=False, random_state=0,
           verbose=0, warm_start=False)

MSE 是一个正的连续量，它的上限不是 1，即如果你的值为 0.92，这意味着……嗯，0.92，不是 92%。

了解这一点后，最好将 MSE 明确包含在交叉验证的评分函数中：

cv_mse = cross_val_score(estimator = regressor, X = x_train, y = y_train, cv = 10, scoring='neg_mean_squared_error')
cv_mse.mean()
# -2.433430574463703e-28

出于所有实际目的，这是零 - 您几乎完全符合 training 集；为了确认，这里是您的 training 集的（再次完美）R 平方分数：

train_pred = regressor.predict(x_train)
r2_score(y_train , train_pred)
# 1.0

但是，与往常一样，当您将模型应用于 test 集时，关键时刻就会到来；您的第二个错误是，由于您使用缩放的y_train 训练回归器，因此您还应该在评估之前缩放y_test：

y_test = sc_y.fit_transform(y_test)
r2_score(y_test , y_pred)
# 0.9998476914664215

你会在 test 集合中得到一个非常好的 R 平方（接近 1）。

MSE 呢？

from sklearn.metrics import mean_squared_error
mse_test = mean_squared_error(y_test, y_pred)
mse_test
# 0.00015230853357849051