支持向量机中的“支持”是啥意思？

Posted 2023-03-13

【中文标题】支持向量机中的“支持”是啥意思？

【英文标题】：What does the "support" mean in Support Vector Machine?支持向量机中的“支持”是什么意思？

【发布时间】：2014-03-08 19:49:28

【问题描述】：

在有监督学习模型的支持向量机上下文中，“支持”一词的含义是什么？

【参考方案1】：

从***复制粘贴：

使用两个类别的样本训练的 SVM 的最大边距超平面和边距。 边缘的样本称为支持向量。

【讨论】：

请注意，在图片中，支持向量是“支持”决策边界加上边距。

训练样本（由矢量箭头或元组表示的数据点）可以被认为是“支持”或“保持”最优超平面。因此得名 SVM。

【参考方案2】：

在内核空间中，表示分离超平面的最简单方法是到数据实例的距离。这些数据实例称为“支持向量”。

内核空间可以是无限的。但是，只要您可以计算与支持向量的核相似度，您就可以测试一个对象在超平面的哪一侧，实际上并不知道这个无限维超平面是什么样子。

在 2d 中，您当然可以只为超平面生成一个方程。但这并没有产生任何实际的好处，除了了解 SVM。

【参考方案3】：

在 SVM 中，生成的分离超平面归因于数据特征向量的子集（即，它们相关的拉格朗日乘数大于 0 的那些）。这些特征向量被命名为支持向量，因为直观地你可以说它们“支持”分离超平面，或者你可以说对于分离超平面，支持向量与建筑物的支柱起到相同的作用。

现在正式转述 Bernhard Schoelkopf 和 A​​lexander J. Smola 的书“Learning with Kernels”第 6 页：

“在唯一最优超平面的搜索过程中，我们考虑具有法向量 w 的超平面，这些超平面可以表示为训练模式的一般线性组合（即具有非均匀系数）。例如，我们可能想要消除离决策边界非常远的模式的影响，因为我们希望它们不会改善决策函数的泛化误差，或者因为我们希望降低评估决策函数的计算成本。然后，超平面将仅依赖于称为支持向量的训练模式子集。”

也就是说，分离超平面依赖于那些训练数据特征向量，它们影响它，它基于它们，因此它们支持它。