现代信号处理 04 - 正交化与维纳滤波

Posted 2021-09-17 Ciaran-byte

正交化与维纳滤波

文章目录

• 正交化与维纳滤波
• • 1. 线性估计与正交性之间的联系
  • • 1.1 相关运算的本质
    • 1.2 几何意义下的线性估计
    • • 1.2.1 单变量估计
      • 1.2.2 多变量估计
    • 1.3 正交性原理
    • • 1.3.1 从正交性到最优性
      • 1.3.2 从最优性到正交性
  • 2. 利用正交性做线性估计
  • • 2.1 Wiener-Hopf 方程
    • 2.2 应用
    • • 2.2.1 离散随机变量做线性估计
      • • 2.2.1.1 模型建立
        • 2.2.1.2 Wiener-Hopf 方程求解
      • 2.2.2 连续时间变量的线性估计
      • • 2.2.2.1 模型建立
        • 2.2.2.2 Wiener-Hopf 方程求解
  • 3. 因果维纳滤波器
  • • 3.1 维纳滤波器存在的问题
    • 3.2 维纳滤波器校正思路
    • • 3.2.1 正交化与截断
      • 3.2.2 处理思路
      • 3.2.3 连续时间变量的正交化
      • 3.2.4 求解
  • 4. 小结

1. 线性估计与正交性之间的联系

1.1 相关运算的本质

  我们先来回顾一下我们的线性估计问题。

  假设有两个随机变量Z和Y，我们希望通过线性估计的方法让Z来逼近Y，也就是

$$\begin{gathered} Z,Y \\ Z->Y \end{gathered}$$

  我们的优化条件是估计量与真值的均方误差最小，即

$$minE(Y-\alpha Z{)}^2$$

  求导可得

$${\nabla }_{\alpha }=2\ast E(Z\ast (Y-\alpha Z))=0$$

  最终可以得到

$$\alpha =\frac{E(ZY)}{E(Z^2)}$$

  我们得到这个结论的时候，有一点是值得好好体味一下的。

  就是求导条件

$${\nabla }_{\alpha }=2\ast E(Z\ast (Y-\alpha Z))=0$$

  我们注意到这是Z与Y的残差之间的相关运算等于0

  相关运算本质上是在计算向量的内积。而且我们知道，内积是与向量夹角有关系的。因此相关运算的大小实际上代表的是向量的角度

$$Cos(Z_1,Z_2)=\frac{<Z_1,Z_2>}{||Z_1||\ast ||Z_2||}$$

  我们抛开底下的取模运算不管，因为这实际上就是归一化。相关运算和向量的角度是直接相关的。

  因此两个随机变量的夹角就是两个随机变量的相关系数。

  如果两个向量的相关为0，就说明这个夹角是90度，也就是随机变量是正交的。所以，我们发现，我们在取最优的过程中，实际上就是采样值与估计残差之间的相关，如果二者不相关，就意味着达到了最优。从而说明了，最优性是从正交性提取出来的，就是要计算我们估计的原材料和估计的残差之间的相关

1.2 几何意义下的线性估计

  我们来从几何意义下观察一下，求线性估计在几何上是在做什么

1.2.1 单变量估计

  我们先从单变量开始

  我们假设有随机变量Y和Z，我们用Z来估计Y。我们从图中可以看出来，实际上我们就是要估计一条向量，到Y的距离最短。这个向量的终点就是Y到Z的垂线的垂足。

  我们来求一下投影的长度

$$||Y||\ast Cos\theta =||Y||\ast \frac{E(YX)}{||Y||\ast ||Z||}=\frac{E(YX)}{||Z||}$$

  再把方向加上

$$\alpha Z=||Y||\ast Cos\theta \ast \frac{Z}{||Z||}=\frac{E(YX)}{||Z|{|}^2}Z$$

  可以得到α

$$\alpha =\frac{E(YX)}{||Z|{|}^2}$$

  我们在几何上寻找最优解，实际上是在找正交投影

  因此正交性是我们最优线性估计的关键,估计的残差要与估计的原材料正交

1.2.2 多变量估计

  我们把问题推广到多变量上

  我们假设有一组随机变量

$$Z_1,...,Z_k$$

  我们希望用这组随机变量去估计Y，也就是

$$Y<-(Z_1,...,Z_k{)}^T$$

  估计条件为

$$minE(Y-({\alpha }_1\ast Z_1+{\alpha }_2\ast Z_2+...+{\alpha }_k\ast Z_k){)}^2$$

  对任意一个α_k求导

$$-2E(Z_k\ast (Y-({\alpha }_1\ast Z_1+{\alpha }_2\ast Z_2+...+{\alpha }_k\ast Z_k)))=0$$

  我们可以看到残差与任意一个估计的原材料都是正交的

  我们继续从几何层面进行分析。就是Z构成了一个线性子空间，在线性子空间离找距离Y最近的点，也就是Y的投影点

  这个被称为正交性原理

1.3 正交性原理

  实际上，求正交性等价于求最优性，下面我们用数学公式的形式进行严格描述

  假定H是一个线性空间，Z是属于H空间的一个向量。H0是H的一个子空间，如果H0中存在一个向量x0，满足与Z的距离最短，当且仅当残差与任何一个x都正交的时候成立，也就是残差正交与H0

Z ∈ H H 0 ⊂ H x 0 ∈ H 0 ∣ ∣ x 0 − Z ∣ ∣ = m i n ∣ ∣ x − Z ∣ ∣ ⟺ < Z − x 0 , x > = 0

以上是关于现代信号处理 04 - 正交化与维纳滤波的主要内容，如果未能解决你的问题，请参考以下文章

维纳滤波

语音去噪基于matlab谱减法+维纳滤波+卡尔曼滤波语音去噪含Matlab源码 1881期

自适应滤波：维纳滤波器——GSC算法及语音增强

基于Matlab图像处理的维纳滤波器

图像修复基于维纳滤波实现图像复原matlab源码含GUI

维纳滤波通过MATLAB自带的维纳滤波函数进行滤波