支持向量机SVM知识点概括

Posted 2020-10-03 肖云

1. SVM

　　支持向量机学习的目标是找到一个分离超平面，能将实例分到不同的类。间隔最大化保证了了超平面的唯一性，即不仅将正负实例点分开，对离超平面最近的点，也有足够大的确信度将它们分开。

2. 什么是函数间隔和几何间隔？

　　函数间隔y(wx+b)：|wx+b|表示点x距离超平面的远近，wx+b的符号与y的符号是否一致表示分类是否正确，所以y(wx+b)就表示分类的正确性和确信度。

　　几何间隔：在函数间隔的基础上，对法向量w加约束，（如规范化，||w||=1）,就成了几何间隔，即实例点到超平面的带符号的距离。

3. 什么是支持向量？

　　训练数据集的样本中，与分离超平面距离最近的样本点实例。其他点去掉也不影响解。

4. 超平面如何确定的？

　　max(几何间隔) -> max(函数间隔/||w||) -> min(1/||w||²)，即求解凸二次优化问题（最大间隔法求解）或应用拉格朗日对偶性 -> 求解对偶问题(SMO算法)。

5. 转换成对偶问题的好处？

　　对偶问题易求解&&引入核函数

6. 处理线性不可分数据

　　离异点表示部分实例点不满足间隔大于1的约束，需要引入松弛变量，将硬间隔最大化修改为软间隔最大化。

7. 核函数作用

　　处理线性分类问题。例如需要用超曲面来分开所有实例点。原理是使用一个变换将原空间的数据映射到新空间。

8. 核函数与超平面关系

　　在处理非线性分类问题的时候，实例点无法用线性模型正确分开，需要使用和核函数将数据映射到一个新的空间，在新空间里用线性分类学习方法求得超平面。