降维:能够用一组个数为d的向量来代表个数为D的向量所包含的有用信息,其中d<D。
方法:通过线性/非线性的方式将原来高维空间变换到一个新的空间
1 主成分分析PCA:高维空间(维数为D)的某个点通过与矩阵W相乘映射到低维空间(维数为d,d<D),希望所有样本在某一个维数上尽可能分开。
2 多维缩放(MDS):让高维空间中的距离关系与低维空间中距离关系保持不变。
3 线性判别分析(LDA):将样本能尽可能正确的分成K类,体现为同类样本投影点尽可能近,不同类样本点尽可能远。
4 等度量映射(Isomap):通过KNN来确定相邻的点,降维的同时保证高维数据的流形不变。
5 局部线性嵌入(LLE):降维的同时保证高维数据的流形不变
6 t-SNE:降维到二维或者三维可视化(重点是可视化)
7 Deep Autoencoder Networks:网络能够学习到数据内部的一些性质或者结构,从而能够重构输入数据