一、线性方程组解的形式
1.1、线性方程组的唯一解
具有N个方程M个未知量的线性方程组表示为
写成矩阵形式Ax=b
恰定方程组：未知数个数=方程个数，此时方程组有唯一解
欠定方程组：未知数个数>方程个数，此时方程组有无解
超定方程组：未知数个数<方程个数，此时方程组有无穷多解
A是系数矩阵为：
如果M=N，此时方程组为恰定方程组，且矩阵A可逆，则该线性方程组为适定方程组，则可确定一个满足该方程组的唯一解
1.2、线性方程组的最小二乘解
对于线性方程组(1)，如果M<N，A是一“高矩阵”，且设矩阵A是列满秩的，则称线性方程组为超定线性方程组。此时该线性方程组有无穷多解。
1.3、线性方程组的最小范数解
对于线性方程组(1），如果M>N，A是一“扁矩阵”，且设矩阵A是行满秩的，则称线性方程组为欠定线性方程组。此时该线性方程组无解。
二、最小二乘估计原理
2.1、最小二乘估计的确定性正则方程
求解最小二乘解的方法
定义代价函数为误差信号的模的平方和，即
三、递归最小二乘算法（RLS)
参数选择
遗忘因子λ：接近1但小于1的正常数，0.95<λ<1。λ=1即平稳输入，无限记忆；输入过程的非平稳程度越严重，则λ越小。
四、RLS算法的收敛性
RLS算法约经过n=2M次迭代，即可使均方误差达到最小误差的1.5倍，而LMS算法达此水平至少需20M次迭代。因此，RLS比LMS至少快一个数量级。
若n趋于无限大，在不考虑量化误差的条件下，RLS算法无失调（无误差）。而LMS始终存在与步长有关的失调。
RLS算法的主要问题之一是每次迭代中的计算量与阶数M的平方成正比。虽然比之最小二乘法（M的三次方成正比)好，但比LMS算法(M成正比)要差。
RLS算法的优点：RLS算法与LMS算法的计算量实际上是一样的，因为RLS算法一次迭代M*M次，总共需要迭代2M次；RLS算法通过自相关矩阵的迭代计算，克服了非平稳随机信号对自相关矩阵估计误差的影响，因为RLS算法来一个样本递推一次自相关矩阵比你用若干个样本一次估计自相关矩阵的精确度要高。
RLS算法与LMS算法的差异：LMS算法是利用均方误差最小准则，而RLS是利用误差最小二乘准则。
参考视频：
https://www.bilibili.com/video/BV1wS4y1D7ng?p=10&vd_source=77c874a500ef21df351103560dada737