LMS和NLMS有啥区别

Posted 2023-03-20

他们各自的全称是什么啊

参考技术A 最小均方算法和归一化最小均方算法

现代信号处理 14 - NLMS扩展

NLMS扩展

文章目录

• NLMS扩展
• • 1. 概述
  • 2.多角度解读NLMS
  • • 2.1 高年级考试考低年级的题目的角度
    • 1.2 高年级考试和低年级考试分数拉开差距的角度
    • 2.3 从预测的角度
    • 2.4 引入对角加载的LMS
  • 3. NLMS的变种
  • • 3.1 Generalized NLMS
    • • 3.1.1 最优化条件解法
      • 3.1.2 伪逆解法
      • 3.1.3 引入对角加载项
      • 3.1.4 小结
    • 3.2 sgn-LMS
  • 4. Ensemble Learning(集成学习)
  • • 4.1 Bagging
    • 4.2 Random forest
    • 4.3 Boosting

1. 概述

  我们先从LMS开始。LMS是把最优化迭代的时间尺度和采样的时间尺度进行了融合得到的自适应滤波器。

  LMS

$$\begin{gathered} {\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu Z(n)e(n) \\ e(n)=d(n)-Z^T(n){\hat{\theta }}_n \end{gathered}$$

  为了消除LMS自适应滤波器对尺度变换的影响，我们需要对LMS做归一化。归一化就会除以Z(n)的平方，目的是为了兼顾Z(n)和e(n)的尺度

  因此就有了NLMS，归一化的LMS
  NLMS

$${\hat{\theta }}_{n+1}={\hat{\theta }}_n+\mu \frac{Z(n)}{||Z(n)|{|}^2}e(n)$$

  但是我们想为这个操作找到一种理论依据。也就是找到一种优化问题，让这个优化问题的最优解就是NLMS。我们之前其实已经接触过了，但是NLMS还有其他角度的理解。因此这一部分就是主要介绍NLMS的推广

2.多角度解读NLMS

2.1 高年级考试考低年级的题目的角度

  之前在介绍欠定方程的时候提到过这种解读。

  我们提出了这样的优化问题。就是要让n+1时刻系数和n时刻系数距离最短，同时n+1时刻的系数要满足n时刻的最优条件。这是因为，n+1时刻的数据已经做过优化了，理论上应该是满足n时刻的优化条件的。同时我们还要花费最小的成本，让步进值最短。相当于最小的成本换取最大的利益。

  这个优化问题就类似于，我们要求高年级的同学去做低年级的题目，并且要求高年级的同学要拿满分，并且高年级和低年级的同学的年龄要尽可能小。
$$\begin{gathered} min||{\hat{\theta }}_{n+1}-{\hat{\theta }}_n|{|}^2 \\ s.t.d(n)=Z^T(n){\hat{\theta }}_{n+1} \end{gathered}$$

  对这个优化问题进行求解的结果，就是NLMS。前面介绍过了，这里就不详细推导了。

1.2 高年级考试和低年级考试分数拉开差距的角度

  再换一个角度继续理解NLMS，我们引入这样两个量

• e₁是n时刻的数据和n时刻的系数产生的误差
• e₂是n时刻的数据和n+1时刻的系数产生的误差

$$e_1(n)=d(n)-Z^T(n){\hat{\theta }}_n$$
$$e_2(n)=d(n)-Z^T(n){\hat{\theta }}_{n+1}$$

  这个式子理论上应该是第二个式子误差更小。因为n+1时刻的系数是对n时刻的系数通过优化迭代得到的，因此有

$$|e_2(n)|<|e_1(n)|$$

  因此，我们希望e₂和e₁之间的误差要尽可能大

$$\begin{gathered} e_2(n)-e_1(n)=-Z^T(n)({\hat{\theta }}_{n+1}-{\hat{\theta }}_n) \\ =-Z^T(n)\Delta {\hat{\theta }}_{n+1} \\ max|e_2(n)-e_1(n)|=max|Z^T(n)\Delta {\hat{\theta }}_{n+1}| \end{gathered}$$

  这个极大化可以用柯西不等式来解

$$max|Z^T(n)\Delta {\hat{\theta }}_{n+1}|=||Z^T(n)||\ast ||\Delta {\hat{\theta }}_{n+1}||$$

  等号成立条件

$$\Delta {\hat{\theta }}_{n+1}=K\ast Z(n)$$
  即
$$\begin{gathered} |e_2(n)-e_1(n)|=||Z^T(n)||\ast ||\Delta {\hat{\theta }}_{n+1}|| \\ =||以上是关于LMS和NLMS有啥区别的主要内容，如果未能解决你的问题，请参考以下文章 \end{gathered}$$

滤波器归一化LMS自适应滤波器

滤波器归一化LMS自适应滤波器

滤波器归一化LMS自适应滤波器

用Matlab软件实现变长NLMS自适应滤波器算法

在 LMS 平台上 SQL 代码分级时“联合”和“联合全部”之间的区别

Matlab自适应滤波算法 LMS小白通俗易懂版