支持向量机(SVM)

Posted joeric07

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了支持向量机(SVM)相关的知识,希望对你有一定的参考价值。

  • 简介

SVM是支持向量机(Support Vector Machines)的简称,是一种二分类模型。

支持向量机所做的就是去寻找两类数据的分隔线,通常将这个分隔线叫做超平面。

分隔的原则是间隔最大化,最终转化为一个凸二次规划问题来求解。

 

  • 基本思想

(1)线性分割

如果一个线性函数能够将样本(比如说两类点)分开,那么称这些数据样本是线性可分的

线性函数在二维空间就是一条直线,在三维空间就是一个平面,在不考虑维数的情况下线性函数统称为超平面。

如图:实心点和空心点是两类点

技术图片

这两类点,有无数条直线可以将它们分隔开

SVM的目标就是在这无数条线中,找出一条线 使这条线与两类样本(两类点)中最近的点距离最大

这个距离叫做 间隔

但有时因为数据的问题不能画出分割线时,例如这样:

技术图片

很显然,分隔线是不存在的,这时可以将这个点当作异常来处理

即 忽略这个点,再分割

 

(2)非线性分割

还有一些数据是用一条直线分割不出来的,就像这样: 

 

技术图片

在线性分割时,我们向SVM提供样本的坐标数据(X,Y)即X和Y来进行计算

针对图中的情况,我们可以引入第三个数据Z,令Z = X^2 + Y^2

再画出Z-X图:

技术图片

通过这一转化,就可以针对Z,X进行分割

 

再一个例子

技术图片

样本无法直接根据X,Y来划分,此时将样本的坐标转化为 |X|,Y 画出图像:

技术图片

即可划分

 

(3)核技巧(Kernel Trick)

核函数即是接受低纬度的输入空间或者特征空间,并将其映射到高维度空间,所以过去不可以线性分割的内容变为可分割的。

应用核函数技巧将输入空间从x,y变到更大的输入空间后,再使用支持向量机对数据点进行分类,得到解后返回原始空间

这样就得到了一个非线性分割

核函数有很多种,其中常用的有:

linear(线性),ploy(多项式),rbf(径向基函数),sigmoid(s函数)

在SVM算法中,核函数作为一个参数发挥作用

 

 (4)其他参数(C、gamma)

不仅是核作为参数影响SVM分割,还有其他参数,例如C和Gamma,其中C的影响最大,Gamma几乎没有影响

C的作用:在光滑的决策边界以及尽可能正确分类所有训练点之间进行平衡(C越大正确点越多),但代价时模型更复杂 

     C=10000,kernal=‘rbf‘               C=10 kernel=‘rbf‘

 技术图片技术图片

如图 核函数相同时,C相差三个数量级时的区别

通过调整核函数,C和Gamma来避免过拟合现象

 

  • 代码实现

环境:MacOS mojave  10.14.3

Python  3.7.0

使用库:scikit-learn    0.19.2

 

sklearn.SVM库官方文档:https://scikit-learn.org/dev/modules/generated/sklearn.svm.SVC.html

>>> import numpy as np
>>> X = np.array([[-1, -1], [-2, -1], [1, 1], [2, 1]])#生成四个训练点
>>> y = np.array([1, 1, 2, 2])#前两个点分为标签1,后两个点分为标签2
>>> from sklearn.svm import SVC
>>> clf = SVC(gamma=auto)#默认核函数线性分割
>>> clf.fit(X, y) #训练
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
    decision_function_shape=ovr, degree=3, gamma=auto, kernel=rbf,
    max_iter=-1, probability=False, random_state=None, shrinking=True,
    tol=0.001, verbose=False)#使用rbf核函数,c为1,gamma自动配置
>>> print(clf.predict([[-0.8, -1]]))    #预测新的点
[1]    #结果为标签1

 

  • 以线性数据举例

Main.py  主程序

import sys
from class_vis import prettyPicture
from prep_terrain_data import makeTerrainData

import matplotlib.pyplot as plt
import copy
import numpy as np
import pylab as pl


features_train, labels_train, features_test, labels_test = makeTerrainData()


########################## SVM #################################
### we handle the import statement and SVC creation for you here
from sklearn.svm import SVC
clf = SVC(kernel="linear",C = 1000)


#### now your job is to fit the classifier
#### using the training features/labels, and to
#### make a set of predictions on the test data
clf.fit(features_train, labels_train)


#### store your predictions in a list named pred

pred = []
pred = clf.predict(features_test)

prettyPicture(clf, features_test, labels_test)

from sklearn.metrics import accuracy_score
acc = accuracy_score(pred, labels_test)
print(acc)

def submitAccuracy():
    return acc

 

perp_terrain_data.py  生成训练点

#!/usr/bin/python
import random


def makeTerrainData(n_points=1000):
###############################################################################
### make the toy dataset
    random.seed(42)
    grade = [random.random() for ii in range(0,n_points)]
    bumpy = [random.random() for ii in range(0,n_points)]
    error = [random.random() for ii in range(0,n_points)]
    y = [round(grade[ii]*bumpy[ii]+0.3+0.1*error[ii]) for ii in range(0,n_points)]
    for ii in range(0, len(y)):
        if grade[ii]>0.8 or bumpy[ii]>0.8:
            y[ii] = 1.0

### split into train/test sets
    X = [[gg, ss] for gg, ss in zip(grade, bumpy)]
    split = int(0.75*n_points)
    X_train = X[0:split]
    X_test  = X[split:]
    y_train = y[0:split]
    y_test  = y[split:]

    grade_sig = [X_train[ii][0] for ii in range(0, len(X_train)) if y_train[ii]==0]
    bumpy_sig = [X_train[ii][1] for ii in range(0, len(X_train)) if y_train[ii]==0]
    grade_bkg = [X_train[ii][0] for ii in range(0, len(X_train)) if y_train[ii]==1]
    bumpy_bkg = [X_train[ii][1] for ii in range(0, len(X_train)) if y_train[ii]==1]

#    training_data = {"fast":{"grade":grade_sig, "bumpiness":bumpy_sig}
#            , "slow":{"grade":grade_bkg, "bumpiness":bumpy_bkg}}


    grade_sig = [X_test[ii][0] for ii in range(0, len(X_test)) if y_test[ii]==0]
    bumpy_sig = [X_test[ii][1] for ii in range(0, len(X_test)) if y_test[ii]==0]
    grade_bkg = [X_test[ii][0] for ii in range(0, len(X_test)) if y_test[ii]==1]
    bumpy_bkg = [X_test[ii][1] for ii in range(0, len(X_test)) if y_test[ii]==1]

    test_data = {"fast":{"grade":grade_sig, "bumpiness":bumpy_sig}
            , "slow":{"grade":grade_bkg, "bumpiness":bumpy_bkg}}

    return X_train, y_train, X_test, y_test
#    return training_data, test_data

 

class_vis.py  绘图与保存图像

import warnings
warnings.filterwarnings("ignore")

import matplotlib 
matplotlib.use(agg)

import matplotlib.pyplot as plt
import pylab as pl
import numpy as np

#import numpy as np
#import matplotlib.pyplot as plt
#plt.ioff()

def prettyPicture(clf, X_test, y_test):
    x_min = 0.0; x_max = 1.0
    y_min = 0.0; y_max = 1.0

    # Plot the decision boundary. For that, we will assign a color to each
    # point in the mesh [x_min, m_max]x[y_min, y_max].
    h = .01  # step size in the mesh
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

    # Put the result into a color plot
    Z = Z.reshape(xx.shape)
    plt.xlim(xx.min(), xx.max())
    plt.ylim(yy.min(), yy.max())

    plt.pcolormesh(xx, yy, Z, cmap=pl.cm.seismic)

    # Plot also the test points
    grade_sig = [X_test[ii][0] for ii in range(0, len(X_test)) if y_test[ii]==0]
    bumpy_sig = [X_test[ii][1] for ii in range(0, len(X_test)) if y_test[ii]==0]
    grade_bkg = [X_test[ii][0] for ii in range(0, len(X_test)) if y_test[ii]==1]
    bumpy_bkg = [X_test[ii][1] for ii in range(0, len(X_test)) if y_test[ii]==1]

    plt.scatter(grade_sig, bumpy_sig, color = "b", label="fast")
    plt.scatter(grade_bkg, bumpy_bkg, color = "r", label="slow")
    plt.legend()
    plt.xlabel("bumpiness")
    plt.ylabel("grade")

    plt.savefig("test.png")

 

得到结果:正确率92%

技术图片

 

  • 以非线性核函数举例

在数据点不变的情况下,使用rbf核,并使C的值设定为1000,10000,100000

clf = SVC(kernel="rbf",C = 100000)

 

技术图片技术图片技术图片

 

正确率分别为:92.4%   93.2%   94.4%

同时编译时间略微变长

 

有时训练集过大会使训练时间非常长,此时我们可以通过缩小训练集的方式来加快训练速度。 
在训练分类器前加上这两句代码,可使训练集变为原本的1%:

features_train = features_train[:len(features_train)/100] 
labels_train = labels_train[:len(labels_train)/100] 

 

  • SVM的优缺点

支持向量机在具有复杂领域和明显分割边界的情况下,表现十分出色。
但是,在海量数据集中,他的表现不太好,因为在这种规模的数据集中,训练时间将是立方数。(速度慢)
另外,在噪音过多的情况下,效果也不太好。(可能会导致过拟合)

 

以上是关于支持向量机(SVM)的主要内容,如果未能解决你的问题,请参考以下文章

MATLAB 支持向量机 (SVM) 交叉验证实现以提高代码速度

机器学习:通俗理解支持向量机SVM及代码实践

机器学习速成宝典模型篇08支持向量机SVM(附python代码)

机器学习基础:通俗理解支持向量机SVM及代码实践

深入解析:svm支持向量机python代码

基于支持向量机SVM的脑部肿瘤识别,脑电波样本熵提取