Fisher线性判别散度矩阵Sb,Sw 另一种表达形式的证明

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lqzdreamer/article/details/79690296

Fisher线性判别中散度矩阵的表现形式可以改写,类内散度：

$$\begin{split} S_{w}&=\sum_{i=1}^c\sum_{j:y_{j}=i}(\textbf{x}_{j}- \boldsymbol{\mu}_{i})(\textbf{x}_{j}-\boldsymbol{\mu} _{i})^T \\ & =\frac{1}{2}\sum_{i,j}A_{ij}^{(w)}(\textbf{x}_{i}- \textbf{x}_{j})(\textbf{x}_{i}-\textbf{x}_{j})^T \end{split}$$
其中， $\mu_{i}=\frac{1}{n_{i}}\sum_{j:y_{j}=i}\textbf{x}_{j}$
$$A_{ij}^{(w)}= \left\{ \begin{array}{rl} \frac{1}{n_{k}},& \text{if } y_{i}=y_{j}=k\\ 0, & \text{if } y_{i} \neq y_{j} \end{array} \right.$$
而类间散度为：
$$\begin{split} S_{b}&=\sum_{i=1}^c n_{i}(\boldsymbol{\mu}_{i}- \boldsymbol{\mu})(\boldsymbol{\mu}_{i}- \boldsymbol{\mu}))^T \\ & =\frac{1}{2}\sum_{i,j}^n A_{ij}^{(b)}(\textbf{x}_{i}- \textbf{x}_{j})(\textbf{x}_{i}-\textbf{x}_{j})^T \end{split}$$
其中， $$\mu=\frac{1}{n}\sum_{i=1}^n\textbf{x}_{j}$$
$$A_{ij}^{(b)}= \left\{ \begin{array}{rl} \frac{1}{n}-\frac{1}{n_{k}},& \text{if } y_{i}=y_{j}=k\\ \frac{1}{n}, & \text{if } y_{i} \neq y_{j} \end{array} \right.$$
证明过程如下。
首先证明类内散度 $S_{w}$：

而对于另一种表达：


因此，有公式（1）和（2）可知，两者相等，那么类内散度矩阵 $S_{w}$的改写得证！
接下来证明类内散度矩阵：


而对于另一种表达：


而公式（4）的前半部分为：


而公式（4）的后半部分为：


那么，根据公式（3）（5）（6）则有



那么，根据公式（3）（7）可知，两公式相等，也即得证。
而在论文 M. Sugiyama, Local Fisher Discriminant Analysis for Supervised Dimensionality Reduction, ICML, 2006也对这个问题进行了阐述和证明。在该论文中，是直接由通常的一般式推导至改写式，证明过程为：









证明中同样用到了 $x_{i}和x_{j}$的等价性。