现代信号处理08 - Kernal Method

Posted 2021-10-02 Ciaran-byte

Kernal Method

文章目录

• Kernal Method
• • 1. 问题引入
  • 2. 分类问题求解思路
  • • 2.1 朴素求解方法
    • 2.2 支持向量机 SVM
    • • 2.2.1 朴素法存在的问题
      • 2.2.2 计算点到平面的距离
      • 2.2.3 超平面优化
  • 3. Kernal
  • • 3.1 非线性分类问题
    • 3.2 核化 kernalization
    • 3.3 核化需要关注的两个问题
    • • 3.3.1 如何选择kernal
      • 3.3.2 kernalization的条件
    • 3.4 kernalization的例子
    • • 3.4.1 线性回归
      • 3.4.2 岭回归
      • 3.4.3 PCA与KPCA
      • • 3.4.2.1 PCA
        • 3.4.2.2 KPCA

1. 问题引入

  我们这个部分要研究的是信号分类问题。

  有这样的一组数据

( x 1 , y 1 ) , . . . , ( x n , y n ) x k ∈ R n , y k ∈ { − 1 , 1 } (x_1,y_1),...,(x_n,y_n) \\\\ x_k \\in R^n, y_k \\in \\{-1,1 \\} \\\\ (x1​,y1​),...,(xn​,yn​)xk​∈Rn,yk​∈{−1,1}

  x是实数，而y只有1和-1两种情况。实际上这些数据可以看做是训练集。我们希望通过这些数据，找到x和y的依赖关系。从而判断，x是什么情况的时候y=1。以及x是什么情况的时候y=-1

$$\begin{gathered} (x,y),y=f(x) \\ min\sum _{k=1}^n(y_k-f(x_k){)}^2\Rightarrow min\sum _{k=1}^n(y_k-{\omega }^T{x}_k{)}^2 \end{gathered}$$

  然后，当来了一个新的x的时候，我们要预测他对应的y是什么。这与前面的预测问题是一样的。也就是，我们希望找到x和y之间的最小关系，使得我们的估计误差最小。

  如果我们限定这个问题是线性的关系，那么这就是个最小二乘问题。

  但是，如果我们使用最小二乘的方法来拟合模型，是非常不合适的。因为y只有两个值。因此，下面我们介绍一些求解的思路

2. 分类问题求解思路

  我们假设问题是这样的，有一些红色的点，和一些黄色的点，红色的点对应y=-1，而白色的点对应于y=1，然后我们需要判断新来的一个数据点是属于哪一类。

2.1 朴素求解方法

  我们最简单的思路是在两类数据中间画一条线，然后把信号分开，我们怎么画这条线呢?

  我们有个非常朴素的方法，就是在红色的点中找一个非常有代表性的点，叫做X₊，而黄色的点中找到一个非常有代表性的点叫做X_-。我们把这个两个点进行连接，会得到一个矢量，我们找到这个连线的中点X_m。假设新的数据点是x，那我们只要计算向量X_mX与X₊X_-的内积，如果内积的符号是+1，那么说明新来的x对应的y是1，如果内积的符号是-1，对应的y就是-1。

$$X_{+},X_{-}\Rightarrow X_{+}-X_{-}\Rightarrow \frac{1}{2}(X_{+}-X_{-})=X_m\Rightarrow X-X_m$$

$$sgn<X-X_m,X_{+}-X_{-}>=\{\begin{array}{ll}1& \text{y=1 }\\ -1& \text{y=-1 }\end{array}$$

  我们要选择的这群数据的平均位置作为代表性的点

$$\begin{gathered} X_{+}=\frac{1}{m_{+}}\sum _{y_k=1}{X}_k \\ {X}_{-}=\frac{1}{m_{-}}\sum _{y_k=-1}{X}_k \end{gathered}$$

  我们计算一下这个内积

$$\begin{gathered} <X-X_m,X_{+}-X_{-}>=<X-\frac{1}{2}(X_{+}+X_{-}),X_{+}-X_{-}> \\ =<X,X_{+}-X_{-}>-\frac{1}{2}<X_{+}-X_{-}, \end{gathered}$$

以上是关于现代信号处理08 - Kernal Method的主要内容，如果未能解决你的问题，请参考以下文章

搭建 Linux kernal0.11 环境

微信公众平台开发教程_点击事件处理

卷积核filter和kernal的区别

如何编译高通kernal设备树

从android 的boot.img解压出来的kernal.gz怎么解压

js的class