R语言实例链接：http://tecdat.cn/?p=5689
一、线性分类判别
对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。
概率密度：
p是数据的维度。
分类判别函数：
可以看出结果是关于x的一次函数：wx+w0，线性分类判别的说法由此得来。
参数计算：
扫描二维码关注公众号，回复：
11959475 查看本文章
二、二次分类判别
对于二分类问题，QDA针对的是：数据服从高斯分布，且均值不同，方差不同。
数据方差相同的时候，一次判别就可以，如左图所示;但如果方差差别较大，就是一个二次问题了，像右图那样。
从sklearn给的例子中，也容易观察到：
QDA对数据有更好的适用性，QDA判别公式：
三、Fisher判据
A-Fisher理论推导
Fisher一个总原则是：投影之后的数据，最小化类内误差，同时最大化类间误差
其中，
分别对应投影后的类均值。
对应投影后的类内方差。
重写类内总方差、类间距离：
准则函数重写：
容易求解：
其中
常借助SVD求解：Sw = U∑VT，Sw-1 = U∑-1VT,借助特征值分解也是可以的。
参考文献
2.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）
5.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析
6.使用SAS，Stata，HLM，R，SPSS和Mplus的分层线性模型HLM