ML-9-4支持向量机--SVM回归模型(SVR)
Posted yifanrensheng
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ML-9-4支持向量机--SVM回归模型(SVR)相关的知识,希望对你有一定的参考价值。
目录
- SVM回归模型的损失函数度量
- SVM回归模型的目标函数的原始形式
- SVM回归模型的目标函数的对偶形式
- SVM 算法小结
一、SVM回归模型的损失函数度量
SVM和决策树一样,可以将模型直接应用到回归问题中;在SVM的分类模型(SVC)中,目标函数和限制条件如下
在SVR中,目的是为了尽量拟合一个线性模型y=wx+b;从而我们可以定义常量eps>0,对于任意一点(x,y),如果|y-wx-b|≤eps,那么认为没有损失,从而我们可以得到目标函数和限制条件如下:
二、SVM回归模型的目标函数的原始形式
加入松弛因子ξ>0,从而我们的目标函数和限制条件变成:
构造拉格朗日函数:
三、SVM回归模型的目标函数的对偶形式
拉格朗日函数对偶化:
首先来求优化函数对于w、b、ξ的极小值,通过求导可得:
将w、b、ξ的值带入函数L中,就可以将L转换为只包含β的函数,从而我们可以得到最终的优化目标函数为(备注:对于β的求解照样可以使用SMO算法来求解):
四、SVM 算法小结
SVM算法是一个很优秀的算法,在集成学习和神经网络之类的算法没有表现出优越性能前,SVM基本占据了分类模型的统治地位。目前则是在大数据时代的大样本背景下,SVM由于其在大样本时超级大的计算量,热度有所下降,但是仍然是一个常用的机器学习算法。
SVM算法的主要优点:
1)?解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。
2) 仅仅使用一部分支持向量来做超平面的决策,无需依赖全部数据。
3) 有大量的核函数可以使用,从而可以很灵活的来解决各种非线性的分类回归问题。
4)样本量不是海量数据的时候,分类准确率高,泛化能力强。
SVM算法的主要缺点:
1) 如果特征维度远远大于样本数,则SVM表现一般。
2) SVM在样本量非常大,核函数映射维度非常高时,计算量过大,不太适合使用。
3)非线性问题的核函数的选择没有通用标准,难以选择一个合适的核函数。
4)SVM对缺失数据敏感。
以上是关于ML-9-4支持向量机--SVM回归模型(SVR)的主要内容,如果未能解决你的问题,请参考以下文章
SVR预测基于混沌灰狼优化支持向量机回归预测SVR模型matlab源码
SVR预测基于混沌灰狼算法优化支持向量机回归预测SVR模型matlab源码
支持向量机大全(SVCSVRSVDDDTSVMTSVMSVCSTM)