ISLR读书笔记七：线性判别分析（LDA）

前言

线性判别分析（linear discriminant analysis，简称LDA）是一种解决分类问题的方法。上一篇文章中讲到的逻辑斯蒂回归是处理分类问题的一个很好的模型，那么为什么还需要LDA呢？主要有以下三个原因：

1. 当类分离得很好的时候，逻辑斯蒂回归的参数估计很不稳定，而LDA不会存在这个问题。
2. 当 $n$ 很小，而自变量 $X$ 的分布大致服从正态分布时，LDA比逻辑斯蒂回归更稳定
3. LDA比逻辑斯蒂回归更适合处理多分类的问题

LDA的出发点是贝叶斯公式（Bayes’ Theorem）。假设要预测的因变量一共有 $K$ 类，${\pi }_k$ 表示随机选择观测值，属于类 $k$ 的先验概率（prior probability），令 $f_k(x)=Pr(X=x|Y=k)$ 表示类 $k$ 的概率密度函数（density function），利用贝叶斯公式可以得到
$$Pr(Y=k|X=x)=\frac{{\pi }_k{f}_k(x)}{{\sum }_{l=1}^K{\pi }_l{f}_l(x)}$$
令 $p_k(X)=Pr(Y=k|X)$，$p_k(X)$ 称作为后验概率（posterior probability）。联系之前提到的贝叶斯分类器，给定 $X$ 之后，使得 $p_k(X)$ 最大的 $k$，即是预测的类。

单变量的LDA

假设只有一个自变量 $x$，假设 $f_k(x)$ 是正态分布（normal distribution）。即
$$f_k(x)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{1}{2{\sigma }_k^2}(x-{\mu }_k{)}^2)$$
再进一步假设 ${\sigma }_1^2=\cdots ={\sigma }_K^2$，代入 $p_k(X)$可以得到
$$p_k(X)=\frac{{\pi }_k\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}(x-{\mu }_k{)}^2)}{{\sum }_{l=1}^K{\pi }_l\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}(x-{\mu }_l{)}^2)}$$
要使得 $p_k(X)$ 最大，对其取对数之后不难发现，即要使得下式最大：
$${\delta }_k(x)=x\frac{{\mu }_k}{{\sigma }^2}-\frac{{\mu }_k^2}{2{\sigma }_2}+log({\pi }_k)$$
实际问题中，${\mu }_1,\dots ,{\mu }_K,{\pi }_1,\dots ,{\pi }_K,{\sigma }^2$，都需要估计。可以用以下式子估计：
$${\hat{\mu }}_k=\frac{1}{n_k}\sum _{i:y_i=k}{x}_i$$
$${\hat{\pi }}_k=\frac{n_k}{n}$$
$${\hat{\sigma }}^2=\frac{1}{n-K}\sum _{k=1}^K\sum _{i:y_i=k}(x_i-{\hat{\mu }}_k{)}^2$$
然后就可以得到
$${\hat{\delta }}_k(x)=x\frac{{\hat{\mu }}_k}{{\hat{\sigma }}^2}-\frac{{\hat{\mu }}_k^2}{2{\hat{\sigma }}_2}+log({\hat{\pi }}_k)$$
判别函数（discriminant funcition）${\hat{\delta }}_k(x)$ 是 $x$ 的线性函数，这就是线性判别分析的由来。需要注意的是，这里要求每类的分布都是正态的，且方差相同。

多变量的LDA

当自变量有多个时，需要多元正态分布（multivariate normal distribution）。假设有 $p$ 个自变量，记$X\sim N(\mu ,\Sigma )$，$E(X)=\mu$ 是 $X$ 的均值（$p\times 1$），Cov($X$) = $\Sigma$ 是 $X$ 的协方差矩阵（$p\times p$ ） ，多元正态分布定义如下：
$$f(x)=\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}exp(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$$
此时
$${\delta }_k(x)=x^T{\Sigma }^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+log({\pi }_k)$$
${\mu }_1,\dots ,{\mu }_K,{\pi }_1,\dots ,{\pi }_K,{\Sigma }^2$ 可以用单变量时类似的方法进行估计

二次判别分析（QDA）

线性判别分析要求每个类的协方差矩阵都相同，而如果每个类的协方差矩阵可以不同，那么就有了二次判别分析（quadratic discriminant analysis，简称QDA）。即 $X\sim N({\mu }_k,{\Sigma }_k)$，在这个条件下，可以得到
$${\delta }_k(x)=-\frac{1}{2}{x}^T{\Sigma }_k^{-1}x+x^T{\Sigma }_k^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }_k^{-1}{\mu }_k-\frac{1}{2}log|{\Sigma }_k|+log{\pi }_k$$
${\delta }_k(x)$ 关于 $x$ 是二次的，这是二次判别分析名称的由来。
如何选取LDA或者QDA，取决于对偏差和方差的权衡。LDA模型简单，方差更低，但是有较高的偏差。而QDA较复杂，方差较高，但是偏差低。