Python SKLearn 拟合值错误输入

Posted 2023-03-12

【中文标题】Python SKLearn 拟合值错误输入

【英文标题】：Python SKLearn fit Value Error Input

【发布时间】：2019-01-21 16:17:23

【问题描述】：

我正在尝试将一些数据拟合并转换为稍后在模型中使用的分类器，但它总是给我一个错误，我不明白为什么。 请问，谁能帮帮我？

##stores the function Pipeline with parameters decided above    
inputPipe = getPreProcPipe(normIn=normIn, pca=pca, pcaN=pcaN, whiten=whiten)
print inputPipe
print

#print devData[classTrainFeatures].values.astype('float32')

print devData[classTrainFeatures].shape
print type(devData[classTrainFeatures].values)

##fit pipeline to inputs features and types
inputPipe.fit(devData[classTrainFeatures].values.astype('float32'))

##transform inputs X
X_class = inputPipe.transform(devData[classTrainFeatures].values.astype(double))
## Output Y, i.e, 0 or 1 as it is the target
Y_class = devData['gen_target'].values.astype('int')
#print Y_class

输出：

Pipeline(memory=None,
 steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=None, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)), ('normPCA', StandardScaler(copy=True, with_mean=True, with_std=True))])

(32583, 2)
<type 'numpy.ndarray'>

代码结尾出错：

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Code

Error part 1

Error part 2

【问题讨论】：

请以明文形式添加代码和错误，以便于帮助您。另请参阅：***.com/help/how-to-ask

你能做一个包含错误的最小可执行示例吗？

【参考方案1】：

您必须检查您使用的数据（不是代码）是否包含 NaN（不是数字值），在 numpy 中有函数 .isnan()（https://docs.scipy.org/doc/numpy/reference/generated/numpy.isnan.html）用于此 How to get the indices list of all NaN value in numpy array?

还可以使用 .isinf() 检查无限值

在这个 kaggle 内核中是用于在数据集中填充 NaN 和 Infs 的示例代码，然后用于分类器 https://www.kaggle.com/mknorps/titanic-with-decision-trees ，另请参阅 https://datascience.stackexchange.com/questions/25924/difference-between-interpolate-and-fillna-in-pandas?rq=1 for interpolate()

删除包含 NaN 和 Infs 的行由

完成

indx = devData[classTrainFeatures].index[devData[classTrainFeatures].apply(np.isnan)]
devData=devData.drop(devData.index[indx]).copy()
devData=devData.reset_index(drop=True)

（获取 NaN 的索引，使用索引删除所有包含 NaN 的行，重置数据帧的索引）

【讨论】：

我在下面添加了这些输出

【参考方案2】：

我发现这种错误有 3 种可能性：

您的数据中可能包含 Inf。在这种情况下，您可能需要删除这些样本。要查找 Infs 尝试。 df.index[np.isinf(df).any(1)] 您的数据中可能包含 NaN。使用df.index[np.isnan(df).any(1)] 进行检查。在这种情况下，您可以将 NaN 替换为执行 df.fillna(df.mean()).dropna(axis=1, how='all') 的列的平均值。 最后但最有可能的是，你有一个恒定或几乎恒定的特征，一旦它被标准化并除以标准偏差，就会得到 NaN 或 Infs。在这种情况下，您应该使用 VarianceThreshold 删除该功能

【讨论】：

我为这些添加了下面的输出