为啥在测试数据上调用 transform() 会给出数据尚未拟合的错误？

Posted 2023-03-12

【中文标题】为啥在测试数据上调用 transform() 会给出数据尚未拟合的错误？

【英文标题】：Why calling transform() on test data is giving error that the data is not fitted yet?为什么在测试数据上调用 transform() 会给出数据尚未拟合的错误？

【发布时间】：2020-01-06 14:06:51

【问题描述】：

我刚刚开始使用 python 进行机器学习。我在数据预处理中遇到了句法问题。

在执行特征缩放时，而不是将变量分配给 StandardScaler()，当这样编码时：

from sklearn.preprocessing import StandardScaler

x_train = StandardScaler().fit_transform(x_train)

x_test = StandardScaler().transform(x_test)

它给出了以下错误：

NotFittedError: This StandardScaler instance is not fitted yet. Call 'fit' 
with appropriate arguments before using this method.

然而，以下代码可以正常工作（在为StandardScaler() 提供标识符之后）：

from sklearn.preprocessing import StandardScaler

sc_x = StandardScaler()

x_train = sc_x.fit_transform(x_train)

x_test = sc_x.transform(x_test)

这里，x_train 是训练数据集，x_test 是测试数据集。

有人可以解释一下吗？为什么会这样？

【参考方案1】：

当您调用 StandardScaler() 时，您创建了一个 new（也称为 unfitted）standscaler 类的对象。如果你想使用它，你必须先适应它，然后才能用它转换任何数据。

你“告诉”代码要做的是（伪代码）：

创建一个新的缩放器对象 使其适合您的训练数据 创建另一个新的缩放器对象 不适合任何东西，而是用它来转换一些数据

在第二个示例中，您创建了一个单独的缩放器对象，将其拟合到您的数据中，然后使用相同的对象来转换您的测试数据（这是正确的使用方法）

【讨论】：

感谢您的澄清！

【参考方案2】：

始终建议在训练数据集上使用fit()，在测试数据集上使用transform()。由于μ 和σ 是根据训练数据集计算得出的，因此需要对测试数据集进行归一化处理。

避免使用fittransform()，因为它结合了训练数据集的两个步骤。