将权重分配给多标签 SVM 以平衡类别

Posted 2023-02-23

【中文标题】将权重分配给多标签 SVM 以平衡类别

【英文标题】：Assigning weights to a multilabel SVM to balance classes

【发布时间】：2016-07-29 17:18:55

【问题描述】：

这是怎么做到的？我正在使用 Sklearn 来训练 SVM。我的课不平衡。请注意，我的问题是多类、多标签，所以我使用的是 OneVsRestClassifier：

mlb = MultiLabelBinarizer()
y = mlb.fit_transform(y_train)

clf = OneVsRestClassifier(svm.SVC(kernel='rbf'))
clf = clf.fit(x, y) 
pred = clf.predict(x_test)

我可以在某处添加一个“sample_weight”参数来解决不平衡的类吗？

---

当我向 svm 添加一个 class_weight 字典时，我得到了错误：

ValueError: Class label 2 not present

这是因为我使用 mlb 将标签转换为二进制。但是，如果我不转换标签，我会得到：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead. 

class_weight 是一个字典，将类标签映射到权重：1: 1, 2: 1, 3: 3...

这里是x和y的详细信息：

print(X[0])  
[ 0.76625633  0.63062721  0.01954162 ...,  1.1767817   0.249034    0.23544988]
print(type(X))
<type 'numpy.ndarray'>

print(y[0])
print(type(y))
[1, 2, 3, 4, 5, 6, 7]
<type 'numpy.ndarray'>

注意 mlb = MultiLabelBinarizer(); y = mlb.fit_transform(y_train) 将 y 转换为二进制数组。

---

建议的答案会产生错误：

ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.

因此，问题归结为将标签（np.array）转换为稀疏矩阵。

from scipy import sparse
y_sp = sparse.csr_matrix(y) 

这会产生错误：

TypeError: no supported conversion for types: (dtype('O'),)

我将为此打开一个新查询。

【问题讨论】：

你能提供一个 x 和 y 的元素吗？ print type(x[0]) print x[0] 和 print type(y[0]) print y[0]

这里的 y 不是二进制的。看看mlb.classes_是否给你一个数组，其中值 2 存在。

我尝试将标签转换为二进制。它会产生上面列出的错误：ValueError: Class label 2 not present（因为所有标签都是二进制格式）。如果我不转换为二进制，我会收到错误：ValueError：您似乎正在使用旧的多标签数据表示。不再支持序列序列；请改用二进制数组或稀疏矩阵。

【参考方案1】：

你可以使用：

class_weight : dict, ‘balanced’, 可选

对于 SVC，将第 i 类的参数 C 设置为 class_weight[i]*C。如果没有给出，所有的类都应该有一个权重。 “平衡”模式使用 y 的值自动调整权重，与输入数据中的类频率成反比，如n_samples / (n_classes * np.bincount(y))

clf = OneVsRestClassifier(svm.SVC(kernel='rbf', class_weight='balanced'))

source

【讨论】：

谢谢，能给个代码示例吗？当我尝试这个时，我得到错误：ValueError: Class label 2 not present，因为我已经将我的标签转换为二进制。但是，如果我不转换标签，我会得到： valueError：您似乎正在使用旧的多标签数据表示。不再支持序列序列；请改用二进制数组或稀疏矩阵。

你能给我错误信息吗？这是random example

这个错误是否与属性class_weight有关？你以前有过这个错误吗？

顺便说一下，错误似乎表明您的训练集中只有一个类。这可能吗？

与不使用class_weight='balanced' 相比，这对我来说会导致更长的运行时间。为什么会这样，有可能改变吗？我用max_iter限制了迭代次数，但是准确率比不使用平衡类还要差。

【参考方案2】：

此代码适用于 class_weight 属性的 'balanced' 值

>>> from sklearn.preprocessing import MultiLabelBinarizer
>>> from sklearn.svm import SVC
>>> from sklearn.multiclass import OneVsRestClassifier

>>> mlb = MultiLabelBinarizer()
>>> x = [[0,1,1,1],[1,0,0,1]]
>>> y = mlb.fit_transform([['sci-fi', 'thriller'], ['comedy']])

>>> print y
>>> print mlb.classes_
[[0 1 1]
 [1 0 0]]
['comedy' 'sci-fi' 'thriller']

>>> OneVsRestClassifier(SVC(random_state=0, class_weight='balanced')).fit(x, y).predict(x)
array([[0, 1, 1],
   [1, 0, 0]])

【讨论】：

我一直在使用balanced，但是想指定自定义权重。