主成分分析
- 线性、非监督、全局的降维算法
PCA最大方差理论
出发点：在信号处理领域，信号具有较大方差，噪声具有较小方差
目标：最大化投影方差，让数据在主投影方向上方差最大
PCA的求解方法：
对样本数据进行中心化处理
求样本协方差矩阵
对协方差矩阵进行特征分解，将特征值从大到小排列
取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维
\[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]
新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影
局限性：
- 线性降维
- 通过核映射对PCA进行扩展得到核主成分分析（KPCA）
PCA最小平方误差理论
出发目标：找到一个d维超平面，使得数据点到这个超平面的距离平方和最小
优化目标：
\[\begin{aligned} \mathop{\arg\min}_{w_1, \dots, w_d} \sum \limits_{k=1}^{n}||x_k - \tilde{x}_k||_2 \\ s.t. \quad w_i^Tw_j = \begin{cases} 1, i = j \\ 0, i \neq j \end{cases} \end{aligned}\]
\(\tilde{x}_k\)是投影向量
线性判别分析
二分类
监督降维方法（LDA）
PCA算法没有考虑到数据标签，可能会导致映射后无法进行分类
中心思想：最大化类间距离和最小化类内距离
对于二分类
类间散度矩阵：\(S_B = (\mu_1 - \mu_2)(\mu_1 - \mu_2)^T\)
类内散度矩阵：\(S_w = \sum \limits_{x \in C_i}(x - \mu_i)(x - \mu_i)^T\)
优化目标：
\[J(w) = \frac{w^T S_B w}{w^T S_w w} = \lambda\]
\(S_w^{-1}S_Bw = \lambda w\) \(J(w)\)对应了矩阵\(S_w^{-1}S_B\)最大的特征值，而投影方向就是这个特征值对应的特征向量
对数据分布做了强假设：每个类数据都是高斯分布、各个类的协方差相等
优点：线性模型对噪声的鲁棒性比较好
缺点：模型简单也有假设，可以通过引入核函数处理分布较复杂的数据
具有多个类别标签的高维数据LDA方法
计算数据集每个类别的均值\(\mu_j\) 和总体均值\(\mu\)
计算类内散度矩阵\(S_w\) ,全局散度矩阵\(S_t\) ,并得到类间散度矩阵\(S_B = S_t - S_w\)
对\(S_w^{-1}S_B\)矩阵进行特征值分解，将特征值从大到小排列
取特征值前d大对应的特征向量\(w_1, w_2, \cdots, w_d\),通过以下变换将n维样本映射到d维
\[x^{'}_i = \begin{bmatrix} w_1^{T}x_i \\ w_2^Tx_i \\ \cdots \\ w_d^Tx_i \end{bmatrix}\]
新的\(x^{'}_i\) 的第d维就是\(x_i\)在第d个主成分\(w_d\)方向上的投影
PCA和LDA的区别与联系
联系：求解过程很类似
区别：
- 数学原理
- 优化目标
- 应用场景：对无监督任务使用PCA降维，对有监督则使用LDA。
- 从音频中提取语音信号，用PCA过滤掉噪声
- 声纹识别，用LDA使每个人的声音信号具有区分性