SVM笔记四之线性支持向量机(软间隔最大化)
Posted MaxAttention
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SVM笔记四之线性支持向量机(软间隔最大化)相关的知识，希望对你有一定的参考价值。
线性支持向量机
线性支持向量机将数据分类扩展到线性不可分情况。这需要修改硬间隔最大化，使其成为软间隔最大化。
训练集格式T
其中
假设数据集中有一些特异点，这些特异点不是线性可分的,但是去除这些特异点之后大部分数据依旧是线性可分的。
线性不可分意味着某些样本点 不可能满足函数间隔大于1的情况，即
这个问题的解决办法是，对每个样本点 引进一个松弛因子 ,即
原来的目标函数，引入正则化:
这里 是惩罚因子， 值大的时候对误分类的惩罚增大， 有两层含义，使得间隔尽可能小，使得误分类点尽可能大。
那么现在的带有约束的目标函数如下:
开始线性支持向量机(软间隔最大化)的推导过程
根据
这个带约束的目标函数,我们写出对应的拉格朗日函数
对偶问题为拉格朗日函数极大极小问题，我们分别对 求导:
得到如下结论:
将最小值自变量取值情况带回拉格朗日函数
在对其求极大，得到对偶问题最后形式:
进一步化简:
根据
可得到:
我们最后要优化的结果是:
结论,假如我们得到了最优的拉格朗日乘子: 。那么可得到线性分类超平面参数
满足的KKT条件:
分离超平面为:
分类决策函数为:
以上是关于SVM笔记四之线性支持向量机(软间隔最大化)的主要内容，如果未能解决你的问题，请参考以下文章