超详细基于sklearn实现软硬间隔SVM

Posted 2022-02-20 serity

目录

• 一、硬间隔SVM
• • 1.1 sklearn.svm.SVC()
  • • 1.1.1 数据集
    • 1.1.2 参数
    • 1.1.3 方法
    • 1.1.4 属性
  • 1.2 数据可视化
• 二、软间隔SVM
• • 2.1 sklearn.datasets.make_blobs()
  • 2.2 数据可视化

一、硬间隔SVM

sklearn中没有实现硬间隔SVM的类，因为它并不实用，但我们可以通过将正则化项 $C$ 设置的足够大（例如 $C=10^6$）来模拟硬间隔SVM。

考虑如下的二分类问题：

在平面直角坐标系中，设正样例为 ${\mathbf{x}}_1=(1,2),{\mathbf{x}}_2=(2,3),{\mathbf{x}}_3=(3,3)$，负样例为 ${\mathbf{x}}_4=(2,1),{\mathbf{x}}_5=(3,2)$，试求最大间隔超平面。

不难看出，我们的SVM应使用线性核。

在进行下一步之前，我们先来介绍一下sklearn中有关SVM的类 sklearn.svm.SVC()。

1.1 sklearn.svm.SVC()

本文并不会讲解所有的参数，需要进一步了解的读者可自行参阅官方文档。

1.1.1 数据集

机器学习中，数据集通常以如下的形式表示：

$$D=({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_n,y_n)$$

其中每个 ${\mathbf{x}}_i$ 是示例，$y_i$ 是示例对应的标签，$({\mathbf{x}}_i,y_i)$ 合起来称为样例。为接下来叙述方便起见，这里假设 ${\mathbf{x}}_i$ 是行向量。

令

$$X=\left[\begin{array}{c}{\mathbf{x}}_1\\ {\mathbf{x}}_2\\ ⋮\\ {\mathbf{x}}_n\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$$

则称 $X$ 为示例矩阵， $y$ 为标签向量。例如，对于上述的二分类问题，我们的 $X,y$ 分别为：

X = [[1, 2], 
     [2, 3], 
     [3, 3], 
     [2, 1], 
     [3, 2]]
y = [1, 1, 1, -1, -1]

设样例数为 samples，特征数为 features，则显而易见 $X$ 的形状为 (samples, features)，$y$ 的形状为 (samples,)。

1.1.2 参数

我们通常会作导入：

from sklearn.svm import SVC

使用时只需要 SVC() 即可创建一个SVC实例。

创建一个 SVC 实例常用到以下参数：

$$\begin{array}{rl}& \mathrm{S}\mathrm{V}\mathrm{C}(\mathrm{C}=1.0,\mathrm{k}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{l}=‘\mathrm{r}\mathrm{b}\mathrm{f}’,\mathrm{d}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{e}=3,\mathrm{g}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}=‘\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}’,\mathrm{c}\mathrm{o}\mathrm{e}\mathrm{f}0=0.0,\\ & \mathrm{d}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\_\mathrm{f}\mathrm{u}\mathrm{n}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\_\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=‘\mathrm{o}\mathrm{v}\mathrm{r}’,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{o}\mathrm{m}\_\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{t}\mathrm{e}=\mathrm{N}\mathrm{o}\mathrm{n}\mathrm{e})\end{array}$$

---

$\mathrm{C}:$

C 是正则化项，必须为正数，默认值为 1。

---

$\mathrm{k}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{e}\mathrm{l}:$

kernel 是核函数，默认为高斯核。

常见的四种核函数：

• 线性核：$⟨x,x^{\prime }⟩$
• 多项式核：$(\gamma ⟨x,x^{\prime }⟩+r{)}^d$，其中 $d$ 是 degree，$r$ 是 coef0
• 高斯核（RBF核）：$\exp (-\gamma \Vert x-x^{\prime }{\Vert }^2)$，其中 $\gamma$ 是 gamma，且必须为正
• Sigmoid核：$\tanh (\gamma ⟨x,x^{\prime }⟩+r)$，其中 $r$ 是 coef0

这些核函数分别对应：‘linear’、‘poly’、‘rbf’、‘sigmoid’。

---

d e g r e