最优方向法（MOD）

算法描述

求解模型：

$$\min\sum\limits_i\|x_i\|_0 \quad \mathrm{s.t.} \; \|Y-DX\|^2_F \leq \varepsilon$$

或

$$\min\|Y-DX\|^2_F \quad \mathrm{s.t.} \; \sum\limits_i\|x_i\|_0 \leq T_0$$

MOD（Method of Optimal Direction）是早期的基于样本学习的字典学习算法. 设目标函数中$X$已知，信号的误差定义如下：

$$\|E\|^2_F = \|Y - DX\|^2_F$$

MOD算法更新字典的策略就是实现表征误差最小化，所以公式两端针对$D$求偏导，会推到出$(Y - DX)X^{\mathrm{T}} = 0$，整个字典的更新过程如下：

$$D^{n + 1} = Y (X^n)^{\mathrm{T}} \cdot (X^n(X^n)^{\mathrm{T}})^{-1}$$

一般MOD算法需要几十次迭代即可收敛是一个比较可行的方法。缺点在于运算中需要对矩阵求逆，造成计算量过大.

流程描述

输入：训练样本集$X = \{x_i\}^N_{i=1}$

输出：字典$D \in \mathbb{R}^{n \times m} (m > n)$

初始化：随机构造一个字典初值$D^{(0)} \in \mathbb{R}^{n \times m}$，并进行列归一化，迭代次数$J=1$

循环直到满足迭代终止条件

1. 求解稀疏系数：$\min\sum\limits_i\|x_i\|_0 \quad \mathrm{s.t.} \; \|Y-DX\|^2_F \leq \varepsilon$
2. 更新字典：$D^{J+1}=\arg\min \|Y - DX\|^2_F = D^{n + 1} = Y (X^n)^{\mathrm{T}} \cdot (X^n(X^n)^{\mathrm{T}})^{-1}$
3. $J=J+1$

迭代结束