支持向量机（SVM）

Posted 2020-10-06 TsReaper

支持向量机是一种分类模型。模型认为，离分类超平面越远的点，判定结果越准确，所以模型的训练目标就是让离分类超平面最近的样本点距离最大。我们先从最基本的线性可分支持向量机（硬间隔支持向量机）开始推导，之后再推广到可以容纳一定误分类点的线性支持向量机（软间隔支持向量机），最后介绍核函数与 SMO 算法。

支持向量机是一种分类模型。模型认为，离分类超平面越远的点，判定结果越准确，所以模型的训练目标就是让离分类超平面最近的样本点距离最大。我们先从最基本的线性可分支持向量机（硬间隔支持向量机）开始推导，之后再推广到可以容纳一定误分类点的线性支持向量机（软间隔支持向量机），最后介绍核函数与 SMO 算法。

 

支持向量机解决的问题

假设我们正在进行一个二分类问题，并且已经画好了一条分类线。如下图，现在我们有 3 个点（ABC）等待判断。

虽然按照我们的分类线，这 3 个点都应该属于 X 类。可是 A 点离分类线最远，应该来说我们将它分为 X 类的把握最大；而 C 点离分类线很近，万一分类线出现了一些偏差，C 点的判定结果可能就改变了，这样说来我们将它分为 X 类的把握最小；而 B 点位于 AC 两点中间，分类正确的把握也位于 AC 之间。

这样看来，一个点离分类超平面越远，该点就越不容易因为分类超平面的误差而被误判，我们对该点的分类结果也就越稳定。如果我们能尽量增大样本点到分类超平面的距离，是不是就能尽量增大训练样本正确分类的把握呢？

支持向量机就是来解决这个问题的。支持向量机的训练目的就是找到一个分类超平面，使得样本点中离分类超平面最近的点距离最大。

 

线性可分支持向量机

接下来我们来推导线性可分支持向量机的算法。在推导过程中，我们假设存在一个超平面，能够将所有样本点正确分类。

设分类超平面为 $w^Tx+b = 0$，根据几何知识我们知道，对于样本点 $(x^{(i)},y^{(i)})$（其中 $y^{(i)} = \\pm 1$ 表示两个类别），$y^{(i)}(w^Tx^{(i)}+b)$ 的值越大，则样本点距离分类超平面越远。我们称这个值为样本点的函数间隔。容易发现，函数间隔大于 0 的点就是被正确分类的点，小于 0 的点就是被错误分类的点，而等于 0 的点就是位于分类超平面上的点。

但用函数间隔作为样本点的度量是不准确的，因为只要把分类超平面变成 $kw^Tx+kb=0$，那么样本点的函数间隔就会变为原来的 $k$ 倍，而样本点距离分类超平面的远近没有任何改变。所以我们引入样本点的几何间隔 $\\frac{1}{|w|}y^{(i)}(w^Tx^{(i)}+b)$ 作为度量样本点距分类超平面远近的值。由几何知识易得，几何间隔就是样本点到分类超平面的距离。

支持向量机的训练目标是最大化最小的几何间隔，我们容易写出以下目标函数：$$\\max_{w,b,\\gamma} \\gamma \\\\ \\text{s.t.} \\quad \\frac{1}{|w|}y^{(i)}(w^Tx^{(i)}+b) \\ge \\gamma$$ 糟糕的是，限制条件并不是凸函数，没法用凸优化的方式解决。

由于函数间隔并不影响我们的优化目标（只要对 $w$ 和 $b$ 进行缩放，就能获得任意的函数间隔），我们完全可以令最小的函数间隔等于 1。这样，最小的几何间隔就变为了 $\\frac{1}{|w|}$。我们可以改写目标函数：$$\\max_{w,b}\\frac{1}{|w|} \\\\ \\text{s.t.} \\quad y^{(i)}(w^Tx^{(i)}+b) \\ge 1$$ 最大化 $\\frac{1}{|w|}$，就相当于最小化 $\\frac{1}{2}|w|^2$，所以我们可以继续改写目标函数为 $$\\min_{w,b}\\frac{1}{2}|w|^2 \\\\ \\text{s.t.} \\quad y^{(i)}(w^Tx^{(i)}+b) \\ge 1$$ 现在目标函数是凸函数，限制函数是仿射函数（也是凸函数）了。很显然，这是一个二次规划（quadratic programming）问题，我们完全可以用凸优化中解决 QP 问题的方法来求出这个函数的解。不过，针对支持向量机要优化的问题，我们还可以继续推导出一个比一般解决 QP 问题效率更高的方法。

 

我们利用拉格朗日对偶，将优化目标写成原问题和对偶问题的形式。

原问题：$$\\min_{w,b}\\max_{\\alpha}\\frac{1}{2}w^Tw + \\sum_{i=1}^m \\alpha_i(1-y^{(i)}(w^Tx^{(i)}+b)) \\\\ \\text{s.t.} \\quad \\alpha_i \\ge 0$$

对偶问题：$$\\max_{\\alpha}\\min_{w,b}\\frac{1}{2}w^Tw + \\sum_{i=1}^m \\alpha_i(1-y^{(i)}(w^Tx^{(i)}+b)) \\\\ \\text{s.t.} \\quad \\alpha_i \\ge 0$$

由于我们假设能正确分类所有样本点的超平面存在，所以的确有一组 $w$ 和 $b$ 使得最小的函数间隔 $y^{(i)}(w^Tx^{(i)}+b) > 0$，对 $w$ 和 $b$ 进行放缩就能保证最小的函数间隔 $y^{(i)}(w^Tx^{(i)}+b) > 1$。也就是说，这个问题满足 Slater\'s condition，可以利用 KKT 条件求出问题的解。

根据 KKT 条件，我们有：$$\\nabla_w = w - \\sum_{i=1}^m\\alpha_i y^{(i)}x^{(i)} = 0 \\\\ \\nabla_b = -\\sum_{i=1}^m\\alpha_i y^{(i)} = 0$$ 代入对偶问题的式子我们有：$$\\max_{\\alpha}-\\frac{1}{2}\\sum_{i=1}^m\\sum_{j=1}^m\\alpha_i\\alpha_jy^{(i)}y^{(j)}\\langle x^{(i)},x^{(j)}\\rangle + \\sum_{i=1}^m\\alpha_i \\\\ \\text{s.t.} \\quad \\alpha_i \\ge 0 \\\\ \\sum_{i=1}^m\\alpha_i y^{(i)} = 0$$ 其中 $\\langle x^{(i)},x^{(j)}\\rangle$ 表示点积。

我们可以通过一个较为高效的算法（稍后叙述）解决上面这个优化问题，求出 $\\alpha$ 的最优值。

令 $g_i(x) = 1-y^{(i)}(w^Tx^{(i)}-b)$。由 KKT 条件可知，$\\alpha_ig_i(x) = 0$。也就是说，若 $\\alpha_i > 0$，必然有 $g_i(x) = 0$，即第 $i$ 个样本点是距离分类超平面最近的样本点之一，我们称这样的样本点为支持向量；对于一个不是支持向量的样本点，由于 $g_i(x) < 0$，必须要有 $\\alpha_i = 0$。

求出 $\\alpha$ 的值后，我们代入由 KKT 条件推出的式子，即可获得 $w$ 的值。将 $w$ 用 $\\alpha$ 表示后代入分类超平面的式子，则分类超平面为 $$\\sum_{i=1}^m\\alpha_iy^{(i)} \\langle x^{(i)},x \\rangle + b = 0$$ 而对于支持向量来说，由于 $$y^{(i)}(w^Tx^{(i)}+b) = 1$$ 那么我们任意选择一个支持向量，即可算出 $$y^{(i)}b = 1 - y^{(i)}\\sum_{j=1}^m\\alpha_jy^{(j)} \\langle x^{(j)}, x^{(i)} \\rangle$$ 由于 $(y^{(i)})^2 = 1$，两边同乘 $y^{(i)}$ 有 $$b = y^{(i)} - \\sum_{j=1}^m\\alpha_jy^{(j)} \\langle x^{(j)}, x^{(i)} \\rangle$$ 我们就得到了最优的分类超平面。

 

线性支持向量机

在大部分情况下，数据都不是完全线性可分的，可能存在部分特例（outlier）。此时我们可以使用机器学习中的经典套路——正则化让模型容忍一定的分类错误。

引入正则化项 $\\xi$ 与系数 $C$，我们将优化目标改为 $$\\min_{w,b,\\xi}\\frac{1}{2}|w|^2 + C\\sum_{i=1}^m\\xi_i \\\\ \\text{s.t.} \\quad y^{(i)}(w^Tx^{(i)}+b) \\ge 1 - \\xi_i \\\\ \\xi_i \\ge 0$$ 直观地说，我们可以付出一定的代价 $C\\xi_i$，让某些样本点的函数间隔小于 1，甚至为负（即可以容忍部分样本点的分类错误）。$C$ 就是调节模型对分类错误容忍程度的系数。

我们同样可以使用拉格朗日对偶求出这个优化问题的解。同样将问题写成原问题和对偶问题的形式。

原问题：$$\\min_{w,b,\\xi}\\max_{\\alpha,\\beta}\\frac{1}{2}|w|^2+C\\sum_{i=1}^m\\xi_i+\\sum_{i=1}^m\\alpha_i(1-\\xi_i-y^{(i)}(w^Tx^{(i)}+b)) - \\sum_{i=1}^m\\beta_i\\xi_i \\\\ \\text{s.t.} \\quad \\alpha_i \\ge 0 \\quad \\beta_i \\ge 0$$

对偶问题：$$\\max_{\\alpha,\\beta}\\min_{w,b,\\xi}\\frac{1}{2}|w|^2+C\\sum_{i=1}^m\\xi_i+\\sum_{i=1}^m\\alpha_i(1-\\xi_i-y^{(i)}(w^Tx^{(i)}+b)) - \\sum_{i=1}^m\\beta_i\\xi_i \\\\ \\text{s.t.} \\quad \\alpha_i \\ge 0 \\quad \\beta_i \\ge 0$$

同样容易验证这个问题满足 Slater\'s condition，利用 KKT 条件仍有 $$\\nabla_w = w - \\sum_{i=1}^m\\alpha_iy^{(i)}x^{(i)} = 0 \\\\ \\nabla_b = -\\sum_{i=1}^m\\alpha_iy^{(i)} = 0 \\\\ \\nabla_{\\xi_i} = C - \\alpha_i - \\beta_i = 0$$ 由第三个式子，再加上 $\\alpha_i \\ge 0$ 与 $\\beta_i \\ge 0$ 可以看出 $0 \\le \\alpha_i \\le C$。将上面的式子代回对偶问题有 $$\\max_{\\alpha}-\\frac{1}{2}\\sum_{i=1}^m\\sum_{j=1}^m\\alpha_i\\alpha_jy^{(i)}y^{(j)}\\langle x^{(i)},x^{(j)}\\rangle + \\sum_{i=1}^m\\alpha_i \\\\ \\text{s.t.} \\quad 0 \\le \\alpha_i \\le C \\\\ \\sum_{i=1}^m\\alpha_i y^{(i)} = 0$$ 和线性可分支持向量机所导出的问题相比，只是 $\\alpha_i$ 的取值范围有所变化。

 

事实上，线性支持向量机还可以从经验风险最小化（ERM）的角度来解释。我们知道，各种机器学习方法事实上是从参数空间中选出一组参数，使得训练样本的“损失”最小。对于二分类问题来说，0-1 损失函数（一个分类正确时取 0，分类错误时取 1 的函数，是一个阶梯形的函数）应该是最为“公正”的损失函数。但是使用这个阶梯形函数作为损失函数来选择最优参数是一个 NP Hard 问题，所以大部分算法都会使用一个近似的损失函数进行优化。

线性支持向量机可以看作是最小化以下损失函数：$$\\sum_{i=1}^m[1-y^{(i)}(w^Tx^{(i)}+b)]_+ + \\lambda|w|^2$$ 其中 $$[x]_+ = \\begin{cases} x & x > 0 \\\\ 0 & x \\le 0 \\end{cases}$$ 称为合页损失函数，而另外一项是正则化项。

我们只要令 $[1-y^{(i)}(w^Tx^{(i)}+b)]_+ = \\xi_i$，代入损失函数就有 $$\\sum_{i=1}^m\\xi_i + \\lambda|w|^2$$ 我们取 $\\lambda = \\frac{1}{2C}$，代入损失函数就有 $$\\frac{1}{C}(\\frac{1}{2}|w|^2 + C\\sum_{i=1}^m\\xi_i)$$ 这和线性支持向量机的优化目标恰好是相同的。

0-1 损失函数和合页损失函数图形如下：

不难看出，合页损失函数是 0-1 损失函数的上限，而且合页损失函数在分类确信度足够高的时候损失才为 0，因此比 0-1 损失函数的要求更高。

 

核函数

虽然我们已经了解了线性支持向量机的原理，但是现实生活中的很多问题都是线性不可分的，很可能需要分类超“曲面”才能较好地把各类数据点分开。我们可能不仅需要 $x_1$，$x_2$ 这些特征，还可能需要 $x_1^2$，$x_1^3$ 或者 $x_1x_2$ 这类更高维的“组合”出来的特征。核函数就是一个运算量较少，却能获得高维特征信息的方法。

我们定义 $\\phi(x)$ 为一个把原来的特征变化到更高维特征的映射。比如，把一个一维的特征变成三维的特征，我们可以定义 $\\phi(x) = \\begin{matrix} x & x^2 & x^3 \\end{matrix}^T$。我们再定义核函数 $K(x,z) = \\phi(x)^T\\phi(z)$，这是一个高维特征向量的点积。我们回顾支持向量机的式子不难发现，式子中也有许多点积的部分，使用核函数时只要把核函数替换到原来点积的位置就可以了。

核函数精妙的地方，就是可以用较少的时间计算出高维特征向量的点积。例如，我们定义一个核函数为 $K(x,z) = \\phi(x)^T\\phi(z) = (x^Tz)^2$，展开后我们有 $$K(x,z) = (\\sum_{i=1}^nx_iz_i)^2$$ $$=\\sum_{i=1}^nx_iz_i\\sum_{j=1}^nx_jz_j$$ $$=\\sum_{i=1}^n\\sum_{j=1}^n(x_ix_j)(z_iz_j)$$ 容易看出，这里的 $\\phi(x)$ 是一个 $n^2$ 维的向量。如果直接计算 $\\phi(x)$ 和 $\\phi(z)$ 的点积，复杂度是 $O(n^2)$ 的，而使用核函数就能将复杂度降为 $O(n)$。

（据说核函数还有另一种解释，就是一个判断两条数据是否相似的函数，虽然我并不知道为什么可以这样解释...但是这种解释有助于我们在特定的应用场景下选择核函数。）

那么，给定一个核函数，是否存在一个 $\\phi(x)$ 满足 $K(x,z) = \\phi(x)^T\\phi(z)$ 呢？考虑任意 $m$ 个可能的原始特征向量 $x^{(1)}, x^{(2)}, \\dots, x^{(m)}$ （不一定是训练数据），我们定义矩阵 $M$，满足 $M_{i,j} = K(x^{(i)},x^{(j)})$。对于任意 $m$ 维向量 $z$，如果 $\\phi(x)$ 的确存在，我们有 $$z^TMz = \\sum_{i=1}^m\\sum_{j=1}^m z_iM_{i,j}z_j \\\\ = \\sum_{i=1}^m\\sum_{j=1}^m z_i\\phi(x^{(i)})^T\\phi(x^{(j)})z_j \\\\ = \\sum_{i=1}^m\\sum_{j=1}^m z_i\\sum_{k=1}^n\\phi_k(x^{(i)})^T\\phi_k(x^{(j)})z_j \\\\ = \\sum_{k=1}^n\\sum_{i=1}^m\\sum_{j=1}^m z_i\\phi_k(x^{(i)})^T\\phi_k(x^{(j)})z_j \\\\ = \\sum_{k=1}^n(\\sum_{i=1}^mz_i\\phi_k(x^{(i)}))^2 \\ge 0$$ 所以 $M$ 必须对于任意一组可能的原始特征向量都为半正定矩阵。