SVM的类型和核函数选择

Posted 2023-04-12

参考技术A SVM关键是选取核函数的类型，主要有线性内核，多项式内核，径向基内核（RBF），sigmoid核。
这些函数中应用最广的应该就是RBF核了，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用，它相比其他的函数有一下优点：
1）RBF核函数可以将一个样本映射到一个更高维的空间，而且线性核函数是RBF的一个特例，也就是说如果考虑使用RBF，那么就没有必要考虑线性核函数了。
2）与多项式核函数相比，RBF需要确定的参数要少，核函数参数的多少直接影响函数的复杂程度。另外，当多项式的阶数比较高时，核矩阵的元素值将趋于无穷大或无穷小，而RBF则在上，会减少数值的计算困难。
3）对于某些参数，RBF和sigmoid具有相似的性能。
所以选核函数主要看这些函数的特点，分别适用于哪些情况，望采纳

机器学习之SVM__1

一、支持向量机：

1.优点：泛化错误率较低，计算开销不大，结果易解释。

2.缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。

3.适用数据类型：数值型和标称型数据。

 

二、重要概念：

1.分隔超平面：

　　将数据集分隔开来的直线称为分隔超平面。如果所给的数据集是二维的，分隔超平面是一条直线；数据集是三维的，分隔超平面是一个平面。

2.间隔：

　　这里点到分隔面的距离。

3.支持向量：
　　离分隔超平面最近的那些点。

 

三、寻找最大间隔

　　分割超平面的形式可以写成。点A到分隔超平面的距离表达成。

　　现在的目标就是找出分类器定义的W和b。必须找出具有最小间隔的数据点，这些数据点就是支持向量。找到支持向量后，对该间隔最大化。

　　　　　　　　　　　　　　

四、SVM的一般流程：

1.收集数据：可以使用任意方法。

2.准备数据：需要数值型数据。

3.分析数据：有助于可视化分隔超平面。

4.训练算法：SVM的大部分时间都源自于训练，该过程主要实现两个参数的调优。

5.测试算法：十分简单的计算过程就可以实现。

6.使用算法：几乎所有分类问题都可以使用SVM，值得一提的是，SVM本身是一个二类分类器，对多类问题应用SVM需要对代码做一些修改。

 

 五、SMO高效优化算法

　　SMO表示序列最小优化。SMO算法是将大优化问题分解为多个小优化问题来求解。SMO算法的目标是求一系列alpha和b。

　　SMO算法的工作原理：每次循环中选择两个aplha进行优化处理。一旦找到一堆合适的alpha，那么就增大其中一个同时减小另一个。

六、核函数

　　核函数可以将数据转换成易于分类器理解的形式。