SVM算法的另外一种理解

Posted HOLD

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了SVM算法的另外一种理解相关的知识,希望对你有一定的参考价值。

解决一个机器学习问题的一般套路是先构建一个目标函数,然后解决一个优化问题。目标函数通常由损失函数和正则项组成。常见的损失函数log-loss,square-loss,cross-entropy-loss等,常见的正则化方法有L1正则、L2正则等,常见的优化方法有梯度下降、随机梯度下降等。SVM也可以按照这种模式来重新定义。

首先,损失函数

\( l(y_i,y_i‘) = max(0,1-y_iy_i‘) \),称之为hinge-loss. 实际值y的取值为-1和1,容易看出,只要实际值和预测值不同,损失函数就会大于0,当实际值和预测值相同的时候,预测值的绝对值越大越好

然后,构建目标函数

obj(w,b) = \(\sum_{i=1}^{N}max(0,1-y_i(w \dot x_i+b)) + c||w||^2\)

可以证明

上述目标函数和上篇文章中得到的优化目标

\(min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{N}\xi_i\)

s.t \(y_i(w\cdot x_i+b)>=1-\xi_i, i=1,2,...N\)

\(\xi_i>=0,i=1,2,3...N\)

等价

参考:李航《统计学习方法》

 

以上是关于SVM算法的另外一种理解的主要内容,如果未能解决你的问题,请参考以下文章

关于SVM数学细节逻辑的个人理解 :SMO算法理解

深入理解支持向量机(SVM)

如何分分钟理解SVM(中文版)

机器学习算法之SVM原理

简单理解 SVM

遵循统一的机器学习框架理解SVM