支持向量机
Posted 高自期许
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了支持向量机相关的知识,希望对你有一定的参考价值。
6.1 间隔与支持向量
给定一个训练样本集,分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面。但是这个划分超平面也是很多的,如下图所示
直观上应该去找两类样本中最中间的划分超平面,因为该划分超平面对训练样本局部扰动的容忍性最好。换言之,这个划分超平面所产生的分类结果是最鲁棒的,对未见示例的泛化能力最强。
距离超平面最近的这几个训练样本点被称为支撑向量,两个异类支持向量到超平面的距离之和γ被称为间隔。
欲使间隔最大化,仅需最小化w,于是
这就是是支持向量机(Support Vector Machine,简称SVM) 的基本型。
6.2 对偶问题
对偶问题是实质相同但从不同角度提出不同提法的一对问题。
6.3 核函数
现实任务中,原始样本空间内也许并不存在一个能正确划分两类样本的超平面。即训练样本不是线性可分的,比如下图的异或问题。
可将样本从原始空间映射到一个更高维的特征空间,使得样本在这个特征空间内线性可分。一般的,如果原始空间是有限维,即属性数有限,那么一定存在一个高维特征空间使样本可分。
这里的k(x, xi)就是核函数,上式显示出模型最优解可通过训练样本的核函数展开,这一展式亦称为“支持向量展式”。
但是如何确定核函数呢?
上述定理表明一个对称函数所对应的核矩阵半正定,它就能作为核函数使用。事实上,对于一个半正定核矩阵,总能找到一个与之对应的映射函数。换言之,任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间”的特征空间。下面列出几种常见的核函数:
6.4 软间隔与正则化
现实任务中,往往很难确定合适的核函数使得训练样本在特征空间中线性可分;退一步说,即便恰好找到了某个核函数使训练集在特征空间中线性可分,也很难断定这个貌似线性可分得结果是不是由于过拟合所造成的。
缓解该问题的办法是允许支持向量机在一些样本上出错。为此引入了软间隔。示意图如下
之前要求所有样本都必须划分正确称为硬间隔。而软间隔允许某些样本不满足约束。
6.5 支持向量回归
现在来考虑回归函数,给定训练样本D = (x1, y1), (x2, y2), … , (xm, ym)。
传统回归模型通常直接基于模型输出f(x)与真实输出y之间的差别来计算损失。当且仅当f(x)与y完全相同时,损失才为0。
与此不同,支持向量回归(SVR)假设我们能容忍f(x)与y之间最多有个偏差值,即仅当f(x)与y之间的差别绝对值大于该偏差值时才计算损失。如图所示
6.6 核方法
人们发展出一系列基于核函数的学习方法,统称为核方法。最常见的是通过核化(引入核函数)来将线性学习器拓展为非线性学习器。
以上是关于支持向量机的主要内容,如果未能解决你的问题,请参考以下文章