22.支持向量机—高斯核函数

Posted 2022-08-07 WuJiaYFN

主要内容

1. 高斯核函数的引入
2. 高斯核函数详细介绍

一、高斯核函数的引入

1.1 非线性决策边界问题—常规方法（高级数的多项式模型）

• 对于一个非线性决策边界问题，我们可以使用高级数的多项式模型 来解决无法用直线进行分隔的分类问题：

  

• 为了获得上图所示的判定边界，我们的模型可能是${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+\cdots$ 的形式。

• 我们可以用一系列的新的特征$f$来替换模型中的每一项。例如令：
  $f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2$得到$h_{\theta }(x)={\theta }_1{f}_1+{\theta }_2{f}_2+...+{\theta }_n{f}_n$。

2.2 非线性决策边界问题—优化方法（高斯核函数）

• 给定一个训练样本 $x$, 利用 $x$ 的各个特征与我们预先选定的预先选定的地标(landmarks)$l^{(1)},l^{(2)},l^{(3)}$的近似程度来选取新的特征$f_1,f_2,f_3$。

​

• 新特征的得到方法：例如：$f_1=similarity(x,l^{(1)})=e(-\frac{{\Vert x-l^{(1)}\Vert }^2}{2{\sigma }^2})$

• 其中：${\Vert x-l^{(1)}\Vert }^2=\sum {}_{j=1}^n{(x_j-l_j^{(1)})}^2$，为实例$x$中所有特征与地标$l^{(1)}$之间的距离的和。上例中的$similarity(x,l^{(1)})$就是核函数，具体而言，这里是一个高斯核函数(Gaussian Kernel)

• 地标的作用:

  • 如果一个训练样本$x$与地标$l$之间的距离近似于0，则新特征 $f$近似于**$e^{-0}=1$，**

  • 如果训练样本$x$与地标$l$之间距离较远，则$f$近似于**$e^{-(一个较大的数)}=0$**

    

• 利用高斯核函数来预测的方法：

  

  • 在上图中，假设我们已经训练好了参数列表为：$θ_0=-0.5 ,θ_1=1,θ_2=1,θ_3=0 $

  • 则当样本处于洋红色的点位置处，因为其离$l^{(1)}$更近，但是离 l ( 2

    以上是关于22.支持向量机—高斯核函数的主要内容，如果未能解决你的问题，请参考以下文章

    支持向量机——核函数与支持向量回归（附Python代码）

    支持向量机，核函数映射，高斯函数，对偶优化

    SVM（支持向量机）

    非线性支持向量机

    SVM（支持向量机）

    02-33 非线性支持向量机