手动计算SVM的决策函数

Posted 2023-03-12

【中文标题】手动计算SVM的决策函数

【英文标题】：Calculating decision function of SVM manually

【发布时间】：2015-04-14 18:01:01

【问题描述】：

我正在尝试使用 python 库 SKLearn 手动计算 SVC 分类器的决策函数（而不是使用内置方法）。

我尝试了几种方法，但是，只有当我不扩展我的数据时，我才能让手动计算匹配。

z 是一个测试数据（已被缩放），我认为其他变量不言自明（另外，如果从代码中看不出来，我使用的是 rbf 内核）。

以下是我尝试过的方法：

1循环方式：

dec_func = 0
for j in range(np.shape(sup_vecs)[0]):

    norm2 = np.linalg.norm(sup_vecs[j, :] - z)**2 
    dec_func = dec_func + dual_coefs[0, j] * np.exp(-gamma*norm2)

dec_func += intercept

2 向量化方法

diff = sup_vecs - z
norm2 = np.sum(np.sqrt(diff*diff), 1)**2
dec_func = dual_coefs.dot(np.exp(-gamma_params*norm2)) + intercept

但是，它们都不会返回与decision_function 相同的值。我认为这可能与重新调整我的价值观有关，或者更可能是我一直在寻找的一些愚蠢的东西！

任何帮助将不胜感激。

【问题讨论】：

您是否尝试过使用kernel=precomputed 并传入您自己计算的内核？

@AndreasMueller，我使用了包含在 SVC 类中的“现成”rbf 内核，C = 1000 和 gamma = 0.01。训练后，我打电话给clf.decision_function(z) 并得到一个值，但是，这个值与我手动执行计算时产生的值不匹配，如上所示...我想知道我的数学是否有问题libsvm 中的错误？

是的，我也想知道，我很想得到确认。我提议的是使用预先计算的内核，因为这样可以确保 libsvm 中内核的计算与您所做的相同。之前有人报告了类似的问题，我担心在某处引入了符号错误。

np.sqrt(diff*diff) 这是计算abs 的diff 的错字还是花哨的方法？

@AndreasMueller，恐怕我没跟上：在计算diff时，为什么z和sup_vecs的大小总是一样的？它们可能是两种截然不同的东西，不是吗？

【参考方案1】：

所以经过更多的挖掘和挠头，我想通了。

正如我上面提到的，z 是一个经过缩放的测试数据。为了扩展它，我必须从 preprocessing.StandardScaler() 对象中提取 .mean_ 和 .std_ 属性（当然是在我的训练数据上调用 .fit() 之后）。

然后我使用这个缩放的z 作为手动计算和内置函数的输入。然而，内置函数是管道的一部分，它已经将 StandardScaler 作为管道中的第一个“管道”，因此z 被缩放了两次！ 因此，当我从管道中删除缩放时，手动答案“匹配”了内置函数的答案。

顺便说一句，我在引号中说“匹配”，因为我发现我总是必须翻转手动计算的符号以匹配内置版本。目前我不知道为什么会这样。

最后，我误解了管道的工作原理。

对于那些感兴趣的人，这是我的手动方法的最终版本：

diff = sup_vecs - z_scaled
# Looping Method
dec_func_loop = 0
for j in range(np.shape(sup_vecs)[0]):
    norm2 = np.linalg.norm(diff[j,:]) 
    dec_func_loop = dec_func_loop + dual_coefs[j] * np.exp(-gamma*(norm2**2))

dec_func_loop = -1 * (dec_func_loop - intercept)

# Vectorized method
norm2 = np.array([np.linalg.norm(diff[n, :]) for n in range(np.shape(sup_vecs)[0])])
dec_func_vec = -1 * (dual_coefs.dot(np.exp(-gamma*(norm2**2))) - intercept)

附录

对于那些有兴趣为多类 SVC 实现手动方法的人，以下链接很有帮助：https://***.com/a/27752709/1182556

【讨论】：

符号被翻转是因为sklearn 支持所有类型的目标（例如字符串）并在内部按升序映射它们。这意味着像y=0 或y=-1 这样的较小值（在二进制分类的情况下）将映射到+1 类，而像y=1 这样的较大值将映射到-1 类。这基本上翻转了对偶系数的符号。这也是截距在文档中有减号的原因。

请注意，这被认为是a bug，因此您的代码将在 sklearn 0.16+ 上中断。该修复引入了健全性检查测试，因此您可以找到重现 decision_function 的代码。基本上dual_coef_和intercept_的符号是倒置的。