Normal Equation

一.标准化方程

在前面的梯度下降法中我们提到过如何用矩阵来表示线性回归:

$$\theta^TX=Y$$ 那么是否可以直接用矩阵运算来解决参数 $\theta$的取值问题呢?答案是可以的,即利用如下公式便可一步得到 $\theta$的值: $$\theta^T=Y(X^TX)^{-1}X^T$$
但是该式子会引出以下在线性代数的相关问题.

1.为什么不直接使用式子$YX^{-1}$求解

原因很简单,当X不是方阵时,X是不存在逆矩阵的,所以需要通过$(X^TX)^{-1}X^T$来间接求逆矩阵,那么又引出下一问题

2.若$X^TX$不存在逆矩阵呢

$X^TX$不存在逆矩阵,通常存在以下情况中:
1. 存在两个相关的特征量,例如住宅面积使用了$m^2$和英亩两种单位作为两个特征量,那么会使得矩阵$X^TX$不满秩,这时删除其中一个特征量即可.
2. 特征量的值大于训练数据个数,也会导致不满秩,此时需要删除一些特征量或进行标准化(不太清楚标准化).

二.标准化方程与梯度下降比较

$\space$	标准化方程	梯度下降
优点	无需选取学习率α,无需迭代	当训练数据个数n很大时,速度也较为平稳
缺点	由于求逆运算的复杂度为$O(n^3)$,所以当n很大时,求解时间过长	需要调整学习率α,使收敛速率和准确度达到平衡