正交匹配追踪

Posted 2022-12-28 卡尔曼和玻尔兹曼谁曼

这篇博文是在对Koredianto Usman《Introduction to Orthogonal Matching Pursuit》文章的翻译，后面附带了一些总结.

这篇文章是前面《Matching Pursuit (MP)》文章的继续. （注：原文中还是有一些小细节错误，请大家睁大眼睛阅读）

简介

考虑下面的问题：给定$x = \\beginbmatrix-1.2 & 1 & 0\\endbmatrix$和$\\mathrmA = \\beginbmatrix-0.707 & 0.8 & 0 \\\\ 0.707 & 0.6 & -1\\endbmatrix$，计算$y = \\mathrmA \\cdot x$.

这相当简单！

$$y = \\mathrmA \\cdot x = \\beginbmatrix-0.707 & 0.8 & 0 \\\\ 0.707 & 0.6 & -1\\endbmatrix \\cdot \\beginbmatrix-1.2 & 1 & 0\\endbmatrix = \\beginbmatrix1.65 \\\\ -0.25\\endbmatrix$$

现在是比较困难的部分！给定$y = \\beginbmatrix1.65 \\\\ -0.25\\endbmatrix$和$\\mathrmA = \\beginbmatrix-0.707 & 0.8 & 0 \\\\ 0.707 & 0.6 & -1\\endbmatrix$，如何找到原始的$x$（或者尽可能接近原始的$x$）？

在压缩感知（Compressive Sensing）术语中，从$x$和$\\mathrmA$中得到$y$叫做压缩，反之，从$y$和$\\mathrmA$得到$x$叫重建（个人感觉原文中好像说反了，还是我理解错了？）. 重建问题不是一个很简单的问题。

一般地，$x$被称为original signal或者original vector，$\\mathrmA$被称为compression matrix或者sensing matrix，$y$称为compressed signal或者compressed vector.

基本概念

和前面在MP算法中讨论过的一样，感知矩阵$\\mathrmA$可以看做列向量的集合：

$$\\mathrmA = \\beginbmatrix-0.707 & 0.8 & 0 \\\\ 0.707 & 0.6 & -1\\endbmatrix = \\beginbmatrixb_1 & b_2 & b_3\\endbmatrix$$

其中，

$$b_1 = \\beginbmatrix-0.707 \\\\ 0.707\\endbmatrix, \\qquad b_2 = \\beginbmatrix-0.8 \\\\ 0.6\\endbmatrix, \\qquad b_1 = \\beginbmatrix0 \\\\ -1\\endbmatrix$$

这些列被称为基（basis）或者原子（atom）.

现在，我们令$x = \\beginbmatrixx_1 \\\\ x_2 \\\\ x_3\\endbmatrix$，则

正交匹配追踪

已知权函数=1+x^2,区间服[负1,1]，求首项系数为1的正交多项式，n=0，1，2，3，4

小波变换补充知识

《数值分析》-- 正交多项式

机器学习经典算法

正交矩阵正规矩阵和酉矩阵（转自Ramble Over The Cloud~）