支持向量机（SVM）算法分析——周志华的西瓜书学习
Posted wzdly
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了支持向量机（SVM）算法分析——周志华的西瓜书学习相关的知识，希望对你有一定的参考价值。
1.线性可分
对于一个数据集：
如果存在一个超平面X能够将D中的正负样本精确地划分到S的两侧，超平面如下：
那么数据集D就是线性可分的，否则，不可分。
w称为法向量，决定了超平面的方向；b为位移量，决定了超平面与原点的距离。
样本空间中的任意点x到超平面X的距离（不太熟悉的可以复习高数中空间几何那一章的内容）可以写为：
使得下面两式成立的训练样本
称为支持向量：
两个异类支持向量（一个等于+1，一个等于-1）到超平面的距离之和为:
它称之为“间隔”
想找到最大间隔的划分超平面，就是使
最大：
等价于：
这就是支持向量机的基本模型。
对偶问题：
上式的拉格朗日函数可写为：
其中，
对参数w和b求导可得：
将上式带入到拉格朗日函数中，消去w和b,得到对偶表达式：
采用SMO算法完成对偶问题的求解：
原始论文地址：http://www-ai.cs.uni-dortmund.de/LEHRE/SEMINARE/SS09/AKTARBEITENDESDM/FOLIEN/Joerg_Nitschke_Sequential_minimal_optimization.pdf
以上是关于支持向量机（SVM）算法分析——周志华的西瓜书学习的主要内容，如果未能解决你的问题，请参考以下文章