全部笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴
一、k近邻学习
比较简单，下面的这篇文章有写，就不赘述了。
统计学习方法读书笔记（十四）-聚类方法
二、低维嵌入
在高维情形下出现的数据样本稀疏、距离计算困难等问题？是所有机器学习方法共同面临的严重障碍，被称为 “ 维数灾难” 。缓解维数灾难的一个重要途径是降维 ，亦称“维数约简＂。
- MDS算法
三、主成分分析
- 最近重构性
- 最大可分性
四、核化线性降维
基于核技巧对线性降维方法进行核化。
- 核主成分分析KPCA
五、流形学习
流形学习（manifold learning）是一类借鉴了拓扑流形概念的降维方法。 “流形 ” 是在局部与欧氏空间同胚的空间，换言之7 它在局部具有欧氏空间的性质，能用欧氏距离来进行距离计算。
- Isomap算法
- LLE算法
六、度量学习
在机器学习中，对高维数据进行降维的主要目的是希望找到→个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在样本属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一 个合适的距离度量。
度量学习的线性模型
线性的度量学习问题也称为马氏度量学习问题，可以分为监督的和非监督的学习算法。
监督的全局度量学习
- Information-theoretic metric learning(ITML)
- Mahalanobis Metric Learning for Clustering(MMC)
- Maximally Collapsing Metric Learning (MCML)
监督的局部度量学习
- Neighbourhood Components Analysis (NCA)
- Large-Margin Nearest Neighbors (LMNN)
- Relevant Component Analysis(RCA)
- Local Linear Discriminative Analysis(Local LDA)
非监督的度量学习
- 主成分分析(Pricipal Components Analysis, PCA)
- 多维尺度变换(Multi-dimensional Scaling, MDS)
- 非负矩阵分解(Non-negative Matrix Factorization,NMF)
- 独立成分分析(Independent components analysis, ICA)
- 邻域保持嵌入(Neighborhood Preserving Embedding,NPE)
- 局部保留投影(Locality Preserving Projections. LPP)
度量学习的非线性模型
非线性降维算法（非线性度量学习）：
- 等距映射(Isometric Mapping,ISOMAP)
- 局部线性嵌入(Locally Linear Embedding, LLE)
- 拉普拉斯特征映射(Laplacian Eigenmap，LE )
通过核方法来对线性映射进行扩展：
- Non-Mahalanobis Local Distance Functions
- Mahalanobis Local Distance Functions
- Metric Learning with Neural Networks
相关论文
- Distance metric learning with application to clustering with side-information
- Information-theoretic metric learning(关于ITML)
- Distance metric learning for large margin nearest neighbor classification(关于LMNN)
- Learning the parts of objects by non-negative matrix factorization（Nature关于RCA的文章）
- Neighbourhood components analysis(关于NCA)
- Metric Learning by Collapsing Classes(关于MCML)
- Distance metric learning a comprehensive survey(一篇经典的综述)
下一章传送门：西瓜书读书笔记（十一）-特征选择与稀疏学习