回答贴：关于LMS算法步长范围推导

最陡下降法矢量迭代公式：
$\boldsymbol{w(n+1)}=\boldsymbol{w(n)}+\mu(-\boldsymbol{\nabla}(n))$
其中梯度 $\boldsymbol{\nabla}=\boldsymbol{Rw(n)-P}$代入上式：
$\boldsymbol{w(n+1)}=\boldsymbol{w(n)}-2\mu(\boldsymbol{Rw(n)-P})$
而梯度为零的地方为为维纳解 $w^*=\boldsymbol{P/R}$
所以：
$\begin{aligned} \boldsymbol{w(n+1)}&=\boldsymbol{w(n)}-2\mu\boldsymbol{R}(\boldsymbol{w(n)-w^*}) \\ &=[\boldsymbol{I-2\mu R}]w(n)+2\mu R w^* \end{aligned}$
由于上式 $w(n)$的系数矩阵不是对角阵(不是对角阵的话求解矩阵方程计算量会很大)，所以这里我把 $w$坐标系通过平移和旋转变成主轴坐标 $v'$，所以：
$\boldsymbol{v'(n+1)}=[\boldsymbol{I-2\mu \Lambda}] \boldsymbol{v'(n+)}$
重点来了，通过标量迭代推导：
$\boldsymbol{v'(n+1)}=[\boldsymbol{I-2\mu \Lambda}]^n \boldsymbol{v'(0)}$
通过观察上式，系数矩阵是一个 $n$次幂阵，为了使算法稳定，而不会因为迭代次数爆炸，所以：
$\lim_{n\to \infty}[\boldsymbol{I-2\mu \Lambda}]^n=\boldsymbol{0}$
或者写成标量表达：
$\lim_{n\to \infty}[1-2\mu \lambda_k]^n=0$
所以：
$|1-2\mu \lambda_k|<1,k=0,1,\dots$
终于推导出来了
$0<\mu<\lambda_{max}^{-1}$
上式中， $\lambda_{max}$是 $\boldsymbol{R}$最大特征值。