支持向量机(Support Vector Machine，SVM)

Posted 2020-10-01 点滴

SVM：

1. 线性与非线性 核函数；

2. 与神经网络关系 置信区间结构；

3. 训练方法；

4.SVM light，LS-SVM；

5. VC维

 

u-SVC 与 c-SVC 区别？

除参数不同外，两者基本一样。

c-SVC  c∈(0,∞)

u-SVC  c∈[0,1]

c是一个很好的特征，它与支持向量的比率和训练误差的比率 相关。

 

SVM求解QR问题中，变量维数=训练样本个数。从而使其中矩阵元素的个数 是 训练样本个数的平方。

SVM标准算法中，需要求解复杂的QP问题，理论上获全局最优解，并且 大部分 拉格朗日乘子 均为0.，使得最终的决策只依赖于少数 支持向量；使SVM方法中解显示出稀疏的特点。

在LS-SVM中，由于其优化问题的目标函数使用了误差平方项，以及等式约束条件，将SVM的QP问题转化为一组 线性方程组 求解，使得Lagrange乘子与误差项成比例关系，直接的后果就使得最终决策函数与所有样本都有关，也就失去了SVM方法中解的稀疏性的特点。但是LS-SVM方法通过对最终求解得到的Lagrange乘子进行排序，并使用“修剪”算法，仍然可以在一定程度上 实现解的稀疏性。