支持向量机核函数

Posted 2020-10-03 郑哲

当我们要去判断一个非线性的区域，我们会选择用非线性

函数来拟合。

问题是 能不能选择别的特征变量 或者有没有比这些高阶项更好的特征变量 

因为 我们并不知道 这些高阶项是不是我们真正需要的 我们之前谈到 计算机

视觉的时候 提到过这时的输入是一个有很多像素的图像 我们看到如果用高阶项

作为特征变量 运算量将是非常大的 因为 有太多的高阶项需要被计算 

 

构建核函数（这里用高斯核函数）

k（x,l⁽ⁱ⁾）是高斯核函数的简写。

 

用高斯核函数来计算两者的相似度：

 

 

通过计算我们能得到三个新的特征变量f1,f2,f3。

 

例子我们选一个l(1)，得到他的高斯函数

下图为他的三维坐标图，在（3，5）这点高斯函数的值为1.

 

二维图：

 

σ取值对核函数的影响：

我们发现σ越小梯度越大，反之梯度越小。

 

通过转换变量我们可以得到如下的预测函数：

 

从哪里去得到l点

直接用训练样本作为标识点

 

计算相应的新的特征值：

相应的预测函数和代价函数：

 

θ^TMθ为运算技巧，对结果不会产生较大影响，会提高运算速度。

 

核函数的偏差和方差：