支持向量机——线性可分支持向量机

Posted 2022-12-01 Vic时代

支持向量机(Support Vector Machine, SVM)是一种二分类模型。它的基本思想是间隔最大化。

1、线性可分支持向量机

给定训练集$T=\\(\\boldsymbol x_1, y_1), (\\boldsymbol x_2, y_2), ..., (\\boldsymbol x_m, y_m)\\$，其中$(\\boldsymbol x_i, y_i)$表示第$i$个训练样本。输入实例$\\boldsymbol x_i \\in \\mathbb R^d$， 标记$y_i\\in \\ +1, -1\\$，+1代表正例，-1代表反例。

假设训练集线性可分，即存在超平面能正确划分训练集，并且很容易看出这种超平面有无穷多个。分类超平面用$\\boldsymbol \\omega^T \\boldsymbol x+b = 0$表示，对所有$\\boldsymbol \\omega^T \\boldsymbol x+b>0$的实例，超平面将其划分为正类；对所有$\\boldsymbol \\omega^T \\boldsymbol x+b<0$的实例，超平面将其划分为反例。

学习的目的，就是找到这样一个分类超平面，使其对训练集进行正确划分。上面也说了，在训练集线性可分的情况下，这样的分类超平面有无穷多个。支持向量机通过间隔最大化求最优分类超平面，这个最优超平面的解是唯一的。

1.1 函数间隔与几何间隔

函数间隔
超平面$\\boldsymbol \\omega^T \\boldsymbol x+b=0$关于样本点$(\\boldsymbol x_i, y_i)$的函数间隔为

$$\\hat \\gamma_i = y_i(\\boldsymbol \\omega^T \\boldsymbol x_i+b), \\tag 1$$
关于训练集T的函数间隔为 $$\\hat \\gamma = \\min_i \\hat \\gamma_i. \\tag 2$$

对于分类超平面$\\boldsymbol \\omega^T \\boldsymbol x+b=0$与样本$(\\boldsymbol x_i, y_i)$，$(\\boldsymbol \\omega^T \\boldsymbol x_i+b)$的符号与$y_i$的符号是否一致能够表示分类是否正确；$|\\boldsymbol \\omega^T \\boldsymbol x_i+b|$能够相对地表示$\\boldsymbol x_i$距离超平面的远近，而实例点距离分类超平面的远近可以表示分类的确信程度。所以函数间隔不仅包含了超平面是否将样本正确分类的信息，还包含了超平面对样本分类的确信度。

几何间隔
超平面$\\boldsymbol \\omega^T \\boldsymbol x+b=0$关于样本点 (xi,支持向量机——线性可分支持向量机

机器学习——支持向量机：线性可分支持向量机到非线性支持向量机

机器学习——支持向量机：线性可分支持向量机到非线性支持向量机

支持向量机

支持向量机原理线性不可分支持向量机与核函数

11支持向量机SVM：线性可分支持向量机