机器学习 线性判别分析

一.概念

"线性判别分析"(Linear Discriminant Analysis;LDA)的基本思想是:给定训练样例集,设法将样例投影到维度较低的直线/平面/超平面上,使同类
样本的投影点尽可能接近而异类样本的投影点尽可能远离.为此可使同类样本的投影点的协方差尽可能小;而使异类样本的投影点的协方差尽可能大.在对
新样本进行分类时,同样将其投影到这条直线上,再根据投影点的位置来确定新样本的类别

二.用于二分类
1.概念:

LDA用于二分类问题时又称"费歇判别法"(Fisher Discriminance),因为其最早由费歇于1936年提出.LDA可从贝叶斯决策理论的角度来阐释,并可证
明,当2类数据同先验/满足高斯分布/协方差相等时,LDA可达到最优分类

2.原理:

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2)...(x_m,y_m)\} D={ (x1​,y1​),(x2​,y2​)...(xm​,ym​)},其中$x_i$为第$i$个样本的坐标,$y_i$为第$i$个样本的类别.设 L = { 0 , 1 } L=\{0,1\} L={ 0,1}为所有类别构成的集合;$X_i,{\mu }_i,{\Sigma }_i,N_i$为第$i$类样本的集合,均值向量,协方差矩阵,个数.则${\mu }_i$在直线$\omega$上的投影为${\omega }^T{\mu }_i$;第$i$类样本点在$\omega$上的投影的协方差为${\omega }^T{\Sigma }_i\omega$.为使同类样本的投影点的协方差尽可能小,应满足$$\min {\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega$$而为使异类样本的投影点的协方差尽可能大,应满足$$\max ||{\omega }^T{\mu }_0-{\omega }^T{\mu }_1|{|}^2$$综合考虑二者,应满足$$\begin{gathered} \max J=\frac{||{\omega }^T{\mu }_0-{\omega }^T{\mu }_1|{|}^2}{{\omega }^T{\Sigma }_0\omega +{\omega }^T{\Sigma }_1\omega } \\ =\frac{{\omega }^T({\mu }_i-{\mu }_j)({\mu }_i-{\mu }_j{)}^T\omega }{{\omega }^T({\Sigma }_0+{\Sigma }_1)\omega }(1) \end{gathered}$$定义类内散度矩阵(Within-Class Scatter Matrix)$$S_{\omega }={\Sigma }_0+{\Sigma }_1$$及类间散度矩阵(Between-Class Scatter Matrix)$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$则可将$(1)$式重写为$$\max J=\frac{{\omega }^T{S}_b\omega }{{\omega }^T{S}_{\omega }\omega }$$称$J$为$S_{\omega }$与$S_b$的广义瑞利商(Generalized Rayleigh quotient).注意到$J$的分子分母都是关于$\omega$的二次项,因此解与$\omega$的长度无关.不失一般性,令${\omega }^T{S}_{\omega }\omega =1$,则问题转换为$$\begin{gathered} \underset{\omega }{\min }-{\omega }^T{S}_b\omega \\ s.t.{\omega }^T{S}_{\omega }\omega =1 \end{gathered}$$由拉格朗日乘数法可知,上式等价于$$S_b\omega =\lambda S_{\omega }\omega (2)$$其中$\lambda$是拉格朗日乘子.注意到$S_b\omega$的方向恒为${\mu }_0-{\mu }_1$,不妨令$$S_b\omega =\lambda ({\mu }_0-{\mu }_1)$$带入$(2)$式即得$$\omega =S_{\omega }^{-1}({\mu }_0-{\mu }_1)$$考虑到数值解的稳定性,在实践中通常是对$S_{\omega }$进行奇异值分解,得到$S_{\omega }=U\Sigma V^T$,即$S_{\omega }^{-1}=V{\Sigma }^{-1}{U}^T$

3.实现:

三.用于多分类
1.原理:

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x m , y m ) } D=\{(x_1,y_1),(x_2,y_2)...(x_m,y_m)\} D={ (x1​,y1​),(x2​,y2​)...(xm​,ym​)},其中$x_i$为第$i$个样本的坐标,$y_i$为第$i$个样本的类别.设$N$为类别总数;$\mu$为全部样本的均值向量;$X_i,{\mu }_i,{\Sigma }_i,m_i$为第$i$类样本的集合,均值向量,协方差矩阵,数量.则${\mu }_i$在直线$\omega$上的投影为${\omega }^T{\mu }_i$;第$i$类样本点在$\omega$上的投影的协方差为${\omega }^T{\Sigma }_i\omega$.定义全局散度矩阵$$\begin{gathered} S_t=S_b+S_{\omega } \\ =\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^T \end{gathered}$$将类内散度矩阵$S_{\omega }$重定义为所有类别的散度矩阵的和$$S_{\omega }=\sum _{i=1}^N{S}_{{\omega }_i}$$其中$$S_{{\omega }_i}=\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$由上述各式可得$$\begin{gathered} S_b=S_t-S_{\omega } \\ =\sum _{i=1}^N{m}_i({\mu }_1-\mu )({\mu }_1-\mu {)}^T \end{gathered}$$多分类LDA有多种实现方法:使用$S_t,S_b,S_{\omega }$中的任意2者均可.常见的1种实现是要求$$\underset{W}{\max }\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{\omega }W)}(3)$$其中$W\in R^{d\times (N-1)}$和二分类时一样,$(3)$式可转换为$$S_{b}W=\lambda S_{\omega }W$$$W$可被视为1个投影矩阵,用于将样本投影到$N-1$维超平面上

2.实现: