SVM - 我可以标准化 W 向量吗？

Posted 2023-03-12

【中文标题】SVM - 我可以标准化 W 向量吗？

【英文标题】：SVM - Can I normalize W vector?

【发布时间】：2016-05-25 09:35:27

【问题描述】：

在 SVM 中，标准化 W 向量存在一些问题，例如：for each i W_i = W_i / norm(W) 我很困惑。乍一看，结果sign(<W, x>) 似乎是相同的。但如果是这样，在损失函数 norm(W)^2 + C*Sum(hinge_loss) 中，我们可以通过执行 W = W / (large number) 来最小化 W。 那么，我哪里错了？

【参考方案1】：

我建议你阅读我的最小5 ideas of SVMs 或更好

[Bur98] C. J. Burges，“A tutorial on support vector machines for pattern recognition”，数据挖掘和知识发现，第一卷。 2，没有。 2，第 121-167 页，1998 年。

回答您的问题：SVM 定义了一个超平面来分离数据。超平面由法线向量 w 和偏置 b 定义：

如果你只改变 w，这将给出另一个超平面。然而，SVM 做了更多的技巧（见我的 5 个想法），并且权重向量实际上被归一化为与两个类之间的边距有关。

【讨论】：

你的“五个想法”是一个非常简洁的总结。

【参考方案2】：

我认为您错过了以下约束： 对于所有示例，r(wTx+w0)>=1，因此对权重向量进行归一化将违反此约束。

事实上，这个约束首先在 SVM 中引入，以实际实现一个独特的解决方案，就像你提到的那样，仅通过缩放权重向量就有无限可能的解决方案。

【讨论】：

感谢您的回答。实际上，在学习过程之后，还有一些事情阻止我做 W = W / ||W|| ?

如果在测试集的推理过程中，你使用 sign(wTx+w0) 那么归一化根本不重要，但是说不正确的分类对你来说代价高昂，你想计算你的置信度在分类中使用sigmoid = 1/1+e-(wTx+w0)，所以基本上你离边界越远你对分类越有信心，在这种情况下归一化不是一个好主意.将权重的比例可视化为定义距离度量的比例，而归一化值（定义权重向量的方向）定义边界。