机器学习之SVM

Posted 2021-02-03 spiritejx

支持向量机（SVM），作为一个分类模型，可以从两部分来理解：

1）线性问题

即求最优超平面：w^Tx+b=0。其中要求，向量集合被超平面没有错误地分开，并且离超平面最近的向量与之间距（称作间隔 margin margin）是最大的。所以，问题就转化为求max（2/||w||）,即min（||w||²/2），且存在约束条件：y_i(w_i^Tx_i+b)≥1。求解该问题时，利用拉格朗日乘子式，构造拉格朗日函数：L=?w^Tw-∑λ_i(y_i(w_i^Tx_i+b)-1)，再求极值。

另外，需要注意如果引入软间隔，相当于L2正则化。

2）非线性问题

先将低维问题映射到高维问题，从而线性可分，然后找到核函数，满足

极大降低了运算量。其中，满足这种条件的核函数共有：线性核函数、多项式核函数、高斯径向基核函数以及sigmoid核函数。