支持向量机

Posted 2023-03-16

参考技术A 支持向量机(support vector machines，SVM)是一种二分类模型，它的基本模型是定义在特征空间上的 间隔最大的线性分类器 ，间隔最大使它有别于感知机；SVM还包括 核技巧 ，这使它成为实质上的非线性分类器。 SVM的学习策略就是间隔最大化 ，可形式化为一个求解凸二次规划的问题，也等价于正则化的损失函数最小值问题。SVM的学习算法就是求解凸二次规划的最优算法。

    它在手写识别数字和人脸识别中应用广泛，在文本和超文本的分类中举足轻重，因为SVM可以大量减少标准归纳和转换设置中对标记训练实例的需求。同时， SVM也被用来执行图像的分类，并用于图像分割系统 。实验结果表明，在仅仅三到四轮相关反馈之后，SVM就能实现比传统的查询细化方案高出一大截的搜索精度。除此之外，生物学和许多其他学科都是SVM的青睐者，SVM现在已经广泛用于 蛋白质分类 ，现在化合物分类的业界平均水平可以达到90%以上的准确率。在生物科学的尖端研究中，人们还使用支持向量机来识别用于模型预测的各种特征，以找出各种基因表现结果的影响因素。

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面 。如下图所示， 即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个(即感知机)， 但是几何间隔最大的分离超平面却是唯一的。

超平面与最近数据点之间的距离成为边距。可以将两个类分开的最佳或最佳超平面是具有最大边距的线。只有这些点与定义超平面和分类器的构造有关。这些点称为支持向量。他们支持或定义超平面。实际上，优化算法用于找到使裕度最大化的系数的值。

SVM的三层理解：

（1）线性可分支持向量机、硬间隔

（2）线性支持向量机、软间隔

（3）非线性支持向量机、Kernel SVM

支持向量机模型存在三宝：

（1）间隔：是指样本点到超平面的距离。 硬间隔 是指对给定的样本数据集中所以的样本都能正确分类。对于线性不可分的样本集，无法满足线性可分支持向量机的不等式约束，也就是不存在对所有样本都能正确分类的超平面。这种情况可能是因为问题本身是非线性的，也可能问题是线性可分的，但个别样本点标记错误或存在误差而导致样本集线性不可分。

因此，我们可以允许对少量的样本分类错误， 容忍特异点的存在，而对于去除特异点的样本集是线性可分的，这时称为软间隔 。

（2）对偶

（3）核技巧

支持向量机和感知机在某些方面很相似，其相同点 ：

（1）都是二分类模型

（2）都是通过一个分离超平民啊对特征进行分类

不同点：

（1）SVM是特殊的感知机

（2）感知机是用误分类最小的策略，求得分离超平面，这时存在无穷个解，感知机利用间隔最大化求得最优分离超平面。如下图所示。

    图中的蓝色和黄色圆点分别表示正负样本，对于这个二分类，从图中我们可知，在最上面的黄线和最下面的绿线之间的线条都是可以把训练样本集完全分开的，这就是感知机的原理，通过这些分离超平面把训练集分开，这样的分离超平面存在很多条，比如图中的虚线，从视觉上中间那条实线应该是众多线条中最优的一条，感知机对于学习的分离超平面由于优化算法、学习率等不同因素，会随机地学习到这众多分离超平面的一条，当学习到的是靠近上下边缘的分离超平面是，对于一个未知样本，当这个样本稍微浮动一下，模型就很可能对他进行误分类了，因此鲁棒性很低，而支持向量机的目标是找到图中中间那条最优的分离超平面。

为求解支持向量机的最优化问题，我们将公式10作为原始问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这就是支持向量机的对偶算法。 在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解(最优解是反的，值是一样的 ) 。这是因为：

    1）对偶问题的对偶是原问题

    2）无论原始问题与约束条件是否是凸的，对偶问题都是凹问题，加个负号就变成凸问题了，凸问题容易优化。

    3）对偶问题可以给出原始问题一个下界

    4）当满足一定条件时，原始问题与对偶问题的解是完全等价的

LinearSVC()类的主要参数：

（1）C: float, default=1.0, 惩罚系数，必须大于0，默认值1.0。用于设置对错误分类的惩罚强度，对于设置对错误分类的惩罚强度，对于完全线性可分的硬间隔问题不需要设置。

（2）fit_intercept: boolean, optional(default=True)：是否计算截距，默认为True。如果数据均值为0，则可以选择False不计算截距。

（3）multi_class: string，”ovr“ or "crammer_singer"(default='ovr')：多类别分类策略开关。对于多元分类问题，选择'ovr'将使用多类别策略(one-vs-set)直接对多个类别进行分类(默认方法)；选择"crammer_singer"将主次进行二值分类。

（4）class_weight：dict or "balanced", default=None，特征变量的加权系数。用于为某个特征变量设置权重，默认所有特征变量的权重相同。

结论：1）线性核，尤其是多项式核函数在高次项时计算非常缓慢。

            2）rbf和多项式核函数都不擅长处理量纲不统一的数据集

这两个缺点都可以由数据无量纲化来解决。因此，SVM执行之前，非常推荐先进行数据的无量纲化！

svc.score(): 返回给定测试数据和标签的平均准确度。

    首先，分类模型天生会倾向于多数的类，让多数类更容易被判断正确，少数类被牺牲掉 。因为对于模型而言，样本量越大的标签可以学习的信息越多，算法就会更加依赖于从多数类中学到的信息来进行判断。如果我们希望捕获少数类，模型就会失败。 其次，模型评估指标会失去意义 。这种分类状况下，即便模型什么也不做，全把所有人都当成不会犯罪的人，准确率也能非常高，这使得模型评估指标accuracy变得毫无意义，根本无法达到我们的“要识别出会犯罪的人”的建模目的。

    所以现在，我们首先要让算法意识到数据的标签是不均衡的，通过施加一些惩罚或者改变样本本身，来让模型向着捕获少数类的方向建模。然后，我们要改进我们的模型评估指标，使用更加针对于少数类的指标来优化模型。 要解决第一个问题，我们在逻辑回归中已经介绍了一些基本方法，比如上采样下采样 。但这些采样方法会增加样本的总数，对于支持向量机这个样本总是对计算速度影响巨大的算法来说，我们完全不想轻易地增加样本数量。况且，支持向量机中的决策仅仅受到决策边界的影响，而决策边界仅仅受到参数C和支持向量的影响，单纯地增加样本数量不仅会增加计算时间，可能还会增加无数对决策边界无影响的样本点。因此在支持向量机中，我们要大力依赖我们调节样本均衡的参数：SVC类的class_weight和接口fit可以设定的sample_weight。

    混淆矩阵是二分类问题的多维衡量指标体系，在样本不平衡时极其有用。在混淆矩阵中，我们将少数类认为是正例，多数类认为是负例。在决策树，随机森林这些普通的分类算法里，即是说少数类是1，多数类是0。在SVM里，就是说少数类是1，多数类是-1。普通的混淆矩阵，一般使用0,1来表示。混淆矩阵中，永远是真实值在前，预测值在后。

ROC曲线及相关问题

    基于混淆矩阵，总共有六个指标：准确率Accuracy，精确度Precision，召回率Recall，精确度和召回度的平衡指标F measure, 特异度Specificity，以及假正率FPR。

    其中，假正率有一个非常重要的应用：我们在追求较高的Recall的时候，Precision会下降，就是说随着更多的少数类被捕捉出来，会有更多的多数类被判断错误，但我们很好奇，随着Recall的逐渐增加，模型将多数类判断错误的能力如何变化呢？我们希望理解，我每判断正确一个少数类，就有多少个多数类会被判断错误。假正率正好可以帮助我们衡量这个变化。相对的，Precision无法判断这些判断错误的多数类在全部多数类中究竟占多大的比例，所以无法在提升Recall的过程中也顾及到模型整体的Accuracy。因此， 我们可以使用Recall和FPR之间的平衡，来替代Recall和Precision之间的平衡，让我们衡量模型在尽量捕捉少数类的时候，误伤多数类的情况如何变化，这就是我们的ROC曲线衡量的平衡 。

    ROC曲线，全称The Receiver Operating Characteristic Curve。这是一条以下不同阈值下的假正率FPR为横坐标，不同阈值下的召回率Recall为纵坐标的曲线。

优点：

（1）有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题

（2）解决小样本下机器学习问题；

（3）能找出对任务至关重要的关键样本(即：支持向量)

（4）采用核技巧之后，可以处理非线性分类/回归任务；可以解决高维问题，即大型特征空间；

（5）最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了”维数灾难“。

缺点：

（1）训练时间长。当采用SMO算法时，由于每次都需要挑选一对参数，因此时间复杂度 ，其中N为训练样本的数量；

（2）当采用核技巧时，如果需要存储核矩阵，则空间复杂度为 。对非线性问题没有通用解决方案，有时候很难找到一个合适的核函数；

（3）对于核函数的高维映射解释力不强，尤其是径向基函数；

（4）模型预测时，预测时间与支持向量的个数成正比。当支持向量的数量较大时，预测计算复杂度较高。

（5） 对缺失数据敏感；

因此支持向量机目前只适合小批量样本的任务，无法适应百万条甚至上亿样本的任务 。

    SVM主要用于分类问题，主要的应用场景有字符识别、面部识别、行人检测、文本分类等领域。 在机器学习领域，SVM是有监督的学习模型，通常用来进行模式识别、分类(异常值检测)以及回归分析 。