学习笔记——最小二乘法

1、最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配

2、典型的一类函数模型是线性函数模型。最简单的线性式是y = x₀ + x₁t，写成行列式，为

直接给出该式的参数解：

和

其中，为t值的算术平均值。也可解得如下形式：

3、简单线性模型 y = a+ bx 的例子

4、最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷：

1. 当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；
2. 随着数据的增长，将出现所谓的“数据饱和”现象。

针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。