摘要
当解被限定为稀疏的时候，也就是期望有更少的非零元素时，贪婪准则通常被用来解决不确定的可逆问题。OMP（正交匹配追踪法）和OLS通常被用来解决这两个问题。目前现有的文献中，有大量的文献都将这两者混淆了。
1. 引言
本节，我们引入两个贪婪的方法来解决上述两个问题。给定一个向量 ，矩阵 ，可以找到一个向量，使得均方误差最小，并且s仅仅有最少的非零元素。
贪婪算法：
正交匹配追踪法是信号处理中拟合稀疏模型的一种贪婪分布最小二乘法(greedy stepwise least squares)法。
贪婪算法(greedy algorithm)的基本思想是：
不求整体最优解，而是试图尽快找到某种意义上的局部最优解。贪婪法虽然不能对所有问题得到整体最优解，但对范围相当广泛的许多问题能产生整体最优解或者整体最优解的近似解。和使用凸优化算法的l1范数相比，贪婪算法在速度上具有很大优势。典型的贪婪算法有匹配追踪法和正交匹配追踪法：
匹配追踪法：
匹配追踪法(matching pursuit， MP) 是由法兰西大牛Mallat于1993年提出。其基本思想是，不针对某个代价函数进行最小化，而是考虑迭代地构造一个稀疏解x: 只使用字典矩阵A的少数列向量的线性组合对观测向量x实现稀疏逼近Ax=y，其中字典矩阵A被选择的列向量所组成的集合是以逐列的方式建立的。在每一步迭代，字典矩阵中通当前残差向量r=Ax−y中最相似的列向量被选择作为作用集的新一列。如果残差随着迭代的进行递减，则可以保证算法的收敛。
正交匹配追踪：
匹配追踪只能保证残差向量与每一步迭代所选的字典矩阵列向量正交，但与以前选择的列向量一般不正交。正交匹配追踪(orthogonal matching pursuit, OMP)则能保证每步迭代后残差向量与以前选择的所有列向量正交，以保证迭代的最优性，从而减少了迭代次数，性能也更稳健。
正交匹配追踪算法：
输入 观测数据向量y∈Rm和字典矩阵A∈Rm×n.
输出 稀疏系数向量 x∈Rn.
Step 1 初始化 令标签集Ω0=∅,初始残差向量r0=y，令k=1.
Step 2 辨识 求矩阵A中与残差向量rk−1最强相关的列
jk∈argmaxj|<rk−1,ϕj>|,Ωk=Ωk−1∪jk
Step 3 估计 最小化问题 minx∥y−AΩkx∥的解由
xk=(AHΩkAΩk)−1AHΩky给出，其中
AΩk=[aω1,...,aωk],ω1,...,ωk∈Ωk
Step 4 更新残差
rk=y−AΩkxk
Step 5 令k=k+1，并重复Step 2 至Step 4。若某个停止判据满足，则停止迭代。
Step 6 输出系数向量
x(i)=xk(i), if i∈Ωk
x(i)=0, otherwise注: AH为共轭转置
下面是三种常用的停止判据
运行到某个固定的迭代步数后停止。
残差能量小于某个预先给定值ε。 ∥rk∥2≤ε
当字典矩阵A的任何一列都没有残差向量rk的明显能量时
∥AHrk∥∞≤ε