笔记：多元回归模型方差的无偏估计量

多元回归模型
$Y=X\beta+\mu$
被解释变量的估计值与观测值的残差
$e=Y-X\hat\beta \\=X\hat\beta+\mu-X(X'X)^{-1}X'(X\hat \beta+\mu) \\=\mu-X(X'X)^{-1}\mu \\=[I-X(X'X)^{-1}X']\mu\\=M \mu$
残差的平方和
$e'e=\mu'M'M\mu$
因为 $M=[I-X(X'X)^{-1}X']$是对称等幂矩阵，即
$M=M'\\ M^2=M'M=M$
所以有
$e'e=\mu' M\mu$
由于 $\mu' M\mu$为一数量，它本身就是它的迹，于是
$E(e'e)=E(\mu' M\mu)={\rm tr}[ME(\mu'\mu)] \\={\rm tr}[I-X(X'X)^{-1}X']\sigma^2=[n-(k+1)]\sigma^2$
于是 $\sigma^2=\frac{E(e'e)}{n-k-1}$
所以
$\hat\sigma^2=\frac{e'e}{n-k-1}$