压缩感知的概念
实际中经常会遇到如何从测量信号中推断（重构）出有意义的内容，如果信息的获取（测量）具有线性特征，那么重构问题可以简化为求解一个线性方程组，可以表示为观测数据\(y\in C^m\)与所关心的信号相关联\(x\in C^N\)，即
\[Ax=y\tag{1.1}\]
矩阵\(A\)是对测量过程的模型化，求解方程(1.1)，当\(m<N\)时，方程是欠定的，在没有附加信息时，有无穷多解，此时是无法从\(y\)中恢复出\(x\)；然而在特定的假设下，是有可能从小于信号长度\(N\)的测量数\(m\)中重构信号的。这一假设就是信号的稀疏性。而与此相关联的研究，被称为压缩感知、压缩采样或者稀疏恢复。
压缩采样理论与香农采样定理并不冲突，香农定理是说为了能够确保重构某个连续信号，对该信号的采样应当是最其高频率的两倍。香农采样是能完全恢复信号的充分条件，而稀疏采样是恢复信号的必要条件。
如果一个信号大部分分量是0，则称这个信号是稀疏的，自然界中很多信号是可压缩的，即在选择合适的基函数变换之后，该信号可以用稀疏信号表达（例如JGEP图像工作原理）。如果已知信号是稀疏的，在使用传统方式首先对所有测量信号进行输入，然后在压缩阶段，有丢弃大部分系数；而在信号稀疏性已知时，则可以直接使用远小于信号长度的测量数据。换言之，以压缩的方式感知压缩的信号是压缩感知的首要目标。
直观看来，一个可压缩信号的复杂性或者包含的信息容量应该远小于它的信号长度，否则，它是不能被压缩的，恢复信号所需的数据量应该与“信息容量”成正比。从欠定方程\(Ax = y\in C^m\)中恢复出\(x\in C^N\)，本质上有两个问题：
- 测量矩阵\(A\in C^{m\times N}\)的选择问题（线性观测过程设计）
- 如何从\(Ax=y\)中重构\(x\)（重构算法设计）
重构算法
最初为最小化\(l_0\)算法，用\(||x||_0\)表示向量\(x\)中非零坐标的个数，重构问题转化为最优化问题
\[\text{min }||z||_0\quad\text{s.t.}\ \ Az=y\tag{1.2}\]
然而\(\text{min} ||z||_0\)是一个NP-hard问题，更常用的是\(\text{min}||z||_1\)，即
\[\text{min }||z||_1\quad\text{s.t.}\ \ Az=y\tag{1.3}\]
而\(||l||_0\)范数是一个凸函数，所以可以用凸优化的方法求解。
除稀疏性的要求外，实际应用中还需要考虑噪声和信号的可压缩性，也就是要求算法具有稳定性，是指当信号不是准确稀疏的，或则测量不准确时，重构误差是可控的，此时转为二次约束最小化\(l_0\)问题
\[\text{min}\ ||z||_1\quad \text{s.\ t.\ }||Az-y||\leq \eta\]
测量矩阵
测量矩阵的一种构造方式是借助随机矩阵，最简单的例子是高斯矩阵，它的元素是由独立地服从标准正态分布的随机变量组成；伯努利矩阵是由等概论的取值\({-1,1}\)组成。对于高概率随机抽取的\(m\times N\)的高斯矩阵或伯努利矩阵，所有能从\(y=Ax\)中重构稀疏度为\(s\)的稀疏向量\(x\)的算法满足
\[m \geq Cs\text{ln}(N/s)\tag{1.4}\]
其中\(C\)是一般常数，与$s, m, N, $无关。