机器学习——支持向量机：线性可分支持向量机到非线性支持向量机

Posted 2022-11-24 Lyndon_zheng

线性可分支持向量机

回顾

前面总结了线性可分支持向量机，知道了支持向量机的最终目的就是通过“间隔最大化” 得到最优分类器，能够使最难区分的样本点得到最大的分类确信度，而这些难区分的样本就是支持向量。
还是如下图所示，超平面$H_1$ 和 $H_2$ 支撑着中间的决策边界，且到达决策边界的距离相等，都是最大几何间隔。而这两个超平面$H_1$ 和 $H_2$ 必定会有一些样本点，不然中间的间隔还可以继续扩大，得到的就不是最大间隔了。这些在超平面$H_1$ 和 $H_2$ 的样本点就是支持向量，从直观上我们也可看出，这些支持向量是离决策边界最近的点，也就是最难被分类的样本。

优化

上一节中我们介绍了得到上述线性可分支持向量机的方法，即最优化以下目标函数：

$$\\beginarraylcl\\min_w,b & \\frac12||w||^2\\\\s.t. & y_i(w^T\\cdot x_i+b)\\ge1, i=1,2,\\ldots,N\\endarray$$
观察可知，这是一个明显的 凸二次规划问题。将其作为原始问题，应用 拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。这样求解有两个好处：一方面是对偶问题往往更容易求解（优化效率高）；二是自然引入了核函数，进而能够推广到非线性分类问题。首先，通过上式我们可以定义拉格朗日函数为：
$$L(w,b,\\alpha)=\\frac12||w||^2-\\sum_i=1^N\\alpha_i[y_i(w^T\\cdot x_i+b)-1]$$
其中，拉格朗日乘子 $\\alpha_i\\ge0$ ，现在我们令：
$$\\theta_p(w)=\\max_\\alpha_i\\ge0L(w,b,\\alpha)$$
则 $\\theta_p(w)$ 就是与原目标函数等同的优化问题。之所以可以这么等同，是因为如果出现 $y_i(w^T\\cdot x_i+b)<1$ 则 $\\theta_p(w)=\\infty$（只需要令 $\\alpha_i=\\infty$），此时没有最小解。而当所有约束条件都满足时，即 $y_i(w^T\\cdot x_i+b)\\ge1, i=1,2,\\ldots,N$，则 $\\theta_p(w)=\\frac12||w||^2$,也就是我们最初要优化的目标函数。因此，我们现在的目标函数可以改写为：
$$\\min_w\\theta_p(w)=\\min_w\\max_\\alpha_i\\ge0L(w,b,\\alpha)$$
我们令 p∗机器学习——支持向量机：从感知机到线性可分支持向量机

机器学习——支持向量机：从感知机到线性可分支持向量机

机器学习 | 第35讲---支持向量机

机器学习 | 第34讲---支持向量机

python大战机器学习——支持向量机

机器学习——支持向量机