压缩感知重构算法综述-学习笔记

[2]Cand`es E，Tao T. Near optimal signal recovery from random projections: Universal encoding strategies[J]. IEEE Transactions on Information Theory，2006，52: 5406 - 5425.

2、非相关测量系；参考：

[1]Emmanuel J Candès. Compressive sampling [C]/ / Proceeding of the International Congress of Mathematicians，2006，3: 1433 -1452 .

（3）重构信号，区别于奈奎斯特理论的线性感知问题，观察数量m远远小于信号长度n，重构面临着求解一个欠定方程组的问题。当信号x是稀疏或可压缩的，求解欠定方程组的问题可以转化为最小0范数问题：

当测量矩阵 $\Phi$ 满足约束等距性质时，组合优化问题（ $\iota _{0}$ 约束优化问题）可转化为数值上容易处理 $\iota _{1}$ 约束的凸优化问题：

其他重构信号的方法，包括：

①将l0范数松弛为lp范数；

②通过先验分布引入稀疏性，再用Bayesian方法实现信号稀疏重构；

③使用启发式算法（heuristic algorithms），如借鉴图模型和编码理论中的belief-propagation和消息传递技术。

问题三：压缩感知重构算研究

1、第一类：贪婪迭代算法；

基本原则就是通过迭代的方式寻找稀疏向量的支撑集，并且使用受限支撑最小二乘估计来重构信号。

常用算法包括：匹配追踪算法( MP ，matching pursuit) 、正交匹配追踪算法 ( OMP，orthogonal matching pursuit ) 、分段OMP算法( StOMP，stagewise orthogonal matching pur- suit) 、规范OMP算法( ROMP，Regularized Orthogonal Matching Pursuit ) 、CoSaMP 算法 ( compressive sam- plingmatchingpursuit)、迭代硬阈值法(iterativehard thresholding，IHT) 以及 GraDeS( gradient descent with sparsification) 等

2、第二类：凸优化算法或最优化逼近方法；

基本原理：将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法为基础追踪算法（Basic Pursuit）。算法提出了使用L1范数替代L0范数来解决最优化问题，以便使用线性方法来执行。另一种算法为Focuss算法，该算法使用Lp范数（P<=1）替代L0范数求解最优化问题。

该类算法计算速度慢（时间复杂度为N^3），但需要测量的数据少（O（K*log（N/K）））且精度高。

常见的凸松弛算法包括：GPSR（Gradient Projection for Sparse Reconstruction）算法和 SpaRSA（sparse reconstruction by separable approximation）算法。

3、第三类：基于贝叶斯框架提出的重构算法；

此类算法考虑了时间相关性，提高重构精度。该类算法包括：新期望极大值( Expectation - Maximization，EM) 算法、贝叶斯压缩感知( BCS，Bayesian Compressive Sensing) 算法、基于单测量向量( SMV，single measurement vector) 模型提出的 SBL( sparse Bayesian Learning) 算法和基于多测量向量( MMV，Multiple Measurement Vectors) 模型提出的MSBL等。

4、其他算法

要求信号的采样支持通过分组快速测试重建，如傅里叶采样，链式追踪和HHS（Heavg Hitters On Steroids）追踪。

问题四：L1范数凸优化算法

基于L1范数凸优化算法的稀疏重构模型主要由两类：

上面LS 为LASSO问题(LASSO : Least Absolute Shrinkage and Selection Operator，最小绝对收缩与选择算子)。BP 为基追踪去噪问题。

求解LS和BP问题时，将约束条件转换为惩罚项，构造非约束优化问题，即：

迭代阈值技术( iterative thresholding algorithm) 在稀疏优化算法中经常被采用，一些迭代阈值算法被用在解决 LASSO 问题上，可以使迭代过程中每一次迭代的计算量减小，这样就可以将 LASSO 用于解决高维方面的问题。在迭代阈值技术中，迭代收缩算法解决凸优化问题十分有效，包括 IHT、GraDeS、PCD ( parallel coordinate descent) 以及 FISTA ( fast - iterative - shrinkage thresholding algorithm ) 等。对于 IHT 和 GraDes 算法，由于该算法使用负梯度作为搜索方向，即 Landweber 迭代，所以造成算法执行效率偏低。

问题五：贪婪算法

OMP算法

正交匹配追踪算法；可以通过已知的关于信号的O(mlnd)个随机线性测量来恢复d维空间中的信号。

MOMP算法（multi-candidate OMP）

是基于OMP改进得到的。在每一次的迭代中，OMP算法只选择一个候选列加入到原子集合中，而MOMP算法选择多个候选列加入到最优原子集合，从而减少迭代的次数，降低重构信号的计算复杂度。

ROMP算法（Regularized Orthogonal Matching Pursuit）

该算法可以通过更快速且重构结果更加均衡稳定。本质：基于OMP算法进简化：通过设置阈值的方法来找到替代的信号，同时以逼近精度为代价进一步提高了计算速度，更适合求解大规模问题。

TOMP算法（Tree-based Orthogonal Matching Pursuit）树型正交匹配算法

是通过构造稀疏树并在数中追踪重要的系数来实现的。算法的优点：考虑到了信号的多尺度分解时稀疏信号在各奇异子带位置的关系，从而构建了比BP和OMP算法更加快速且重构精度更高的算法。

CoSaMP算法

压缩感知追踪算法( CoSaMP，Compressed Sampling Matching Pursuit)。

总结：今后对于压缩算法的改进主要集中在三个方面:

(1) 构造更稳定、计算复杂度低且需要较少的观测次数的重构算法来精确地回复可压缩信号；

(2) 构造有效的重构算法来精确回复含噪信号或在采样过程中被引入噪声的信号；

(3) 将理论与实际相结合，根据特定的领域或应用构造具有针对性的有效可行的压缩算法。