SVM：VC维度和内核维度数之间的关系

Posted 2023-03-13

【中文标题】SVM：VC维度和内核维度数之间的关系

【英文标题】：SVM: Relation between VC dimension and number of kernel dimensions

【发布时间】：2014-01-21 02:50:05

【问题描述】：

我正在使用 Thorsten Joachims 的 SVM-light 探索 SVM 主题。

现在根据一些介绍论文：

"Rⁿ 中定向超平面集合的 VC 维数为 n+1 [...]"

"当 C = inf 时，最优超平面将是完全分离的超平面 数据（假设存在）[...]"

我准备了一个二维线性可分数据集，想看看我们从很多插图中知道的二维硬边距分类器。

所以我选择了以下参数：

多项式内核 (a*b+c)^d d = 2 C = 999（以便接近 inf）

我得到了 3 个支持向量，这很好，但估计的 VC 维数超过 10,000。

现在我想知道如果内核只有二维，是否有可能有这么高的 VCdim？

【参考方案1】：

您似乎在这里混淆了几件事：

多项式核不是“二维核”，多项式核映射到大致 O(m^d) 维空间 经验 VC 维度不是真正的 VC 维度，真正的 VC 维度是分析对象，不能直接“从数据”计算，它需要严格的证明，并且一个（很少存在）说对于 n 维空间，线性分类器的 VC 维是 n+1，无论你如何“到达”这个空间，它都成立。 支持向量的数量在某种程度上与模型的泛化能力有关，VC 维度也是如此。不幸的是，支持向量的数量和数据的 VC 维度之间没有简单的“一对一”依赖关系。事实上，据我所知，没有已知的证据证明 SVM 模型的 VC 维数（我们知道，它是一个容差分类器，应该具有较低的 VC 维数，但它远非维度证明）。

【讨论】：

>"事实上，据我所知，没有已知的支持向量机模型的 VC 维度的证明" 据我所知，这取决于您使用的内核。我记得之前读过 RBF 内核具有无限 VC 维数的证明，并且有一个 sin 内核的例子也是无限的。但你是对的，我认为 VC Dimension 没有通用的（独立于内核的）证明

RBF 核的无限维是显而易见的。我指的是线性情况下的实际 VC 尺寸，可以采用基于边距的近似 min D^2/M^2, d+1 ，其中 D 是边界球体大小，M 是边距。然而它们都不是 SVM 本身的参数。

线性 SVC 的 VC 维度？好吧，线性情况只是一个线性分类器，线性分类器可以粉碎的最大数据集大小对于一般情况是 3。如果添加非线性依赖限制，则 R^n 将是 n+1。我可能又误解了你指的是什么。

我相信我们在谈论两个不同的事情，你在谈论经验估计（这是讨论容差概念的背景），我在谈论理论上的 VC 维度对于一般算法。无论如何，我同意你的观点，这似乎不是举行这个（有趣的）讨论的合适场所。

(1) 是的，应该是 3 (2) 不是，是的。它仍然是超平面，但不再是在二维空间中，而是在特征空间中，在 d=2 的情况下，它具有二次方更多的维度。如果您将决策边界投影到输入空间，那么它显然不再是一条线，因此也不是超平面（但这只是通过查看真实表面的一部分引起的错觉）

【参考方案2】：

VC 维度不映射到给定解决方案的 SV 数量。

VC 维度是对于与这些点关联的标签的任何组合，模型可以完美粉碎的数据集样本的最大数量。另一方面，支持向量是定义超平面的点。

编辑：

根据您的评论，我正在扩展我的答案。

首先，当你这样说时：

“当 C = inf 时，最优超平面将是完全分离数据的超平面（假设存在）[...]”

这并不意味着 C 和 VC 维度之间存在直接关系（正如您在说 C=999 会产生 10000 的 VC 维度时所建议的那样）。这意味着使用 C = inf 您将强制执行所有约束，从而生成硬边距模型（一个完全分离数据的超平面）

“当应用映射到二维的多项式核时，R^n 中的定向超平面集合的 VC 维是 n+1 的事实是否仍然成立”

这在特征空间中是正确的，但请记住，输入空间中的决策边界将不再是超平面，实际上将是非线性的。

"多项式内核 (a*b+c)^d with d = 2" ... " 如果内核只有二维？"

该内核不是双向的，它会根据其他参数进行不同的映射。

【讨论】：

问题是当应用映射到二维的多项式内核时，R^n 中定向超平面集的 VC 维是 n+1 的事实是否仍然成立。不幸的是，我不能选择不使用内核。

@user1850980 很抱歉造成混乱，这不是我从您的问题中所理解的。我想指出一些观点，但是这个空间太短了，所以我将编辑我的答案