从矩阵秩的角度将维度与自由度结合在一起

作者：yiyuezhuo
链接：https://www.zhihu.com/question/22947034/answer/130056890
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

自由度经常被解释为可以自由变化的变量数量。而在一些原本完全自由的变量上约束它们的通常是一些线性约束 $a_1X_1 + ... a_nX_n = k$ ，那么自由度与线性约束到底是怎么在分布中发挥作用的呢？我们可以从随机向量的标准化过程中遇到的麻烦看出其意义。

假设检验中喜欢构造统计量在原假设成立下服从某种标准化分布，这样多元随机变量的标准化就很重要了。一元随机变量标准化形如
$Y = \frac{X-E(X)}{\sigma(X)}$
$st$
$E(Y) = 0$
$var(Y) = 1$

而多元的随机向量则应当标准化为
$E(Y)= (0,0,...,0)^T$
$\Sigma(Y) = I$
其中 $I$ 是单位矩阵。

标准化为这种形式的目的之一是之后容易导出服从卡方分布的统计量。回忆其定义
$Y=X_1^2 + ... + X_n^2$
$X \sim N(0,1) \quad i.i.d$
$Y \sim \chi^2(n)$
若 $X$ 是多元正态分布的随机向量，则上述标准化后求平方和就直接是服从等于变量个数的自由度的卡方分布统计量。若 $X$ 各分量渐进服从正态分布，也可能可以用此法搞出与前面同分布的统计量，如多项分布。

那么如何到底如何进行标准化？在协方差矩阵满秩的情况下，有分解为
$\Sigma = P\Lambda P^T$
其中 $P$ 为特征向量按列排列的某一正交矩阵， $\Lambda$ 为对应的特征值构成的对角矩阵。
因为 $\Lambda$ 是对角矩阵，所以可以直接定义出它的唯一开方 $\Lambda^{\frac{1}{2}}\Lambda^{\frac{1}{2}} = \Lambda$
令 $A=(P\Lambda^{1/2})^{-1}$
由协方差在线性变换下的关系 $\Sigma(AX) = A\Sigma(X)A^T$
$\Sigma(Y)=A\Sigma(X)A^T=\Lambda^{-1/2}P^{-1}P\Lambda P^T P \Lambda^{1/2} = I$
注意用到了正交矩阵 $P P^T = I$ 等性质
所以一个可以进行标准化的变换就是
$Y = (P\Lambda^{1/2})^{-1} (X-E(X))$

如果 $X$ 还是正态分布的话， $Y^TY=(X-E(X))^T\Sigma^{-1}(X-E(X)) \sim \chi^2(n)$ ，就是我们上面提到的各种标准化分布中的一个。独立性检验之类的问题也容易转化到这上面来。

然而这上面却有一个限制，协方差矩阵 $\Sigma$ 满秩。这是必然的吗？当然不，随机变量之间的线性组合关系会直接反应在协方差矩阵的秩的下降上。如给定 $X_n = \sum_{i=1}^{n-1} X_i$ 这个线性约束。则 $cov(X_n,X_j) = \sum_{i=1}^{n-1} cov(X_i,X_j)$ 。也就是说可以通过每行/列去减第n行/列，可以将第n行/列上的全部元素消为0。作为初等行列变换，变换前后的矩阵具有相同的秩，则说明原来的协方差矩阵 $rank(\Sigma) \le n-1$ .。所以不满秩。

协方差（对称）矩阵不满秩情况下，仍可以做分解，
$\Sigma = P \Lambda P^T$
不过此时特征值矩阵 $\Lambda$ 对角线上有0。

记 $Q(\Lambda)$ 为将特征值对角矩阵上所有非零元取倒数再取根号的结果。于是有
$Q(\Lambda)\Lambda Q(\Lambda) = I_r$
其中 $I_r$ 是单位矩阵替换了右下 $n-r$ 个1为0的矩阵。

定义变换矩阵为 $M = (PQ(\Lambda))^T$
于是变换后协方差为
$\Sigma(Y) = \Sigma(MX) = Q(\Lambda) ^T P^T P \Lambda P^T P Q(\Lambda) = I_r$
也就是说，由于不满秩，我们转而只能使用 $I_r$ 这样对角线上“1数量不满”的矩阵作为标准化后的协方差矩阵。
此时与 $(X-E(X))^T \Sigma^{-1} (X-E(X))$ 对应的形式为 $(X-E(X))^T PQ(\Lambda) Q(\Lambda) P^T (X-E(X)) \sim \chi^2(r)$

回过头来，协方差矩阵的某些行列全为0（如 $I_r$ 中右下角的元素就是如此）意味着什么呢。这意味着对应的随机变量实际表示一个常数。于是我们发现，受约束的随机变量向量的约束可以体现为协方差矩阵的秩的下降，而这又意味着标准化中会有几个随机变量只能被标准化为0常量，而不是本来想要的期望为0，方差为1的不相关随机变量。

这对于各种构造成服从或渐进服从卡方分布的统计量（以及包含这种统计量在内的其他服从t分布或F分布的随机函数）是决定性的——理想中，我们想把它们全标准化成不相关0,1随机变量，然后利用最自然的卡方分布（自由度等于标准化前的变量个数）——然而这个步骤做不下去，只能修正后采用其他自由度的卡方分布。

ANOVA 方差分析原理以及推导,卡方分布等自由度概念

从矩阵秩的角度将维度与自由度结合在一起

猜你喜欢