sklearn SVM / SVC 总是为任何给定的输入预测相同的类

Posted 2023-03-12

【中文标题】sklearn SVM / SVC 总是为任何给定的输入预测相同的类

【英文标题】：sklean SVM / SVC always predicting the same class for any given input

【发布时间】：2021-10-06 04:20:27

【问题描述】：

我正在尝试使用语音数据训练 SVM，此处使用 RAVDESS 数据集，您可以在此处找到：https://www.kaggle.com/uwrfkaggler/ravdess-emotional-speech-audio

这个数据集有 24 个目录，但我只使用前 20 个目录。

首先，我将这 20 个目录中所有文件的目录路径导航并保存到一个数组中。

然后我遍历数组，将类保存到另一个数组中并提取音频文件的特征。我将特征保存在数据框中。

我可以看到这些类在某种程度上是平衡的：

>>from collections import Counter
>>print(Counter(klass).keys()) # equals to list(set(words))
>>print(Counter(klass).values()) # counts the elements' frequency

dict_keys(['neutral', 'calm', 'happy', 'sad', 'angry', 'fearful', 'disgust', 'surprised'])
dict_values([76, 152, 152, 152, 152, 152, 152, 152])

接下来，我正在对数据框进行预处理和规范化：

from sklearn.preprocessing import StandardScaler

x2 = x.copy()
x2.drop(["file","start","end"], axis = 1,inplace = True)

scaler = StandardScaler()
print(scaler.fit(x2))
x2 = scaler.transform(x2)
x2 = pd.DataFrame(x2)

现在我开始用这个训练 SVM：

from sklearn.model_selection import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(x2, klass, test_size = 0.20,random_state = 1)

当然还有优化之前的超参数（gamma、C 等）。

之后我检查了看起来相当不错的最佳参数和分数。

Accuracy Training:  0.9857456140350878
Accuracy Test:  0.6271929824561403

到目前为止，一切都很好。我已经提取了特征并用情感分类训练了 SVM。现在我想预测模型未知的新音频文件的情绪。这里我从数据集的第 24 个目录中随机选择一个音频文件。 这就是问题所在：

import random
Xnew = pd.DataFrame()
EvalFile = glob.glob('\**\*24.wav'.format(PATH_RAVDESS),recursive=True)

Xnew = Xnew.append(smile.process_file(EvalFile[random.randint(0, len(EvalFile)-1)]))
Xnew = Xnew.reset_index()
Xnew.drop(["file","start","end"], axis = 1,inplace=True)

#Standardising is skipped because it makes no sense with one file

Ynew = grid.predict(Xnew)
print("File=%s \nPredicted=%s" % (rdfile, Ynew))

选择哪个文件并不重要。该模型总是预测同一个类'angry'。

我做错了什么？

【参考方案1】：

你在代码中注释：

#Standardising is skipped because it makes no sense with one file

标准化不仅确实有意义（即使是单个文件），它也是不是可选的；由于您的模型已经使用标准化数据进行了训练，因此它希望将此类标准化数据用于任何未来的预测。不这样做可能会导致像您描述的那样的行为。

因此，在预测您的Xnew 之前，您应该使用已经安装的scaler 对其进行转换：

Xnew = scaler.transform(Xnew)
Ynew = grid.predict(Xnew)

【讨论】：

我认为，标准化单个文件会使所有值都为零......好吧，我的错。但即使我试图标准化单个文件，就像你说的那样，不幸的是它没有任何区别。 SVM 仍然每次都预测相同的“愤怒”类别

【参考方案2】：

解决了问题！ Xnew 必须再次标准化为 scaler.transform(Xnew)。但scaler.fit 不得再次使用。那是我的错。

【讨论】：

嗯...这不正是我在回答中建议的吗？