题目：机器学习（西瓜书）注解：第10章 降维与度量学习
本次更新第10章，降维与度量学习。针对该章注解有任何问题欢迎在此留言~
从该章目录中可以看出10.2节至10.5节均为降维方法，其中10.2节的MDS和10.3节的PCA为线性降维方法，而10.4节的KPCA和10.5节的流形学习（含Isomap和LLE两种方法）为非线性降维方法，但作者为什么将k近邻学习和度量学习也放入本章呢？个人感觉这充分体现了作者对机器学习理解之深厚。
在CMU的Tom M. Michell所著的机器学习教材中将k近邻单列一章（第8章 基于实例的学习），而西瓜书作者无缝地将kNN与降维融入到一起，则是从kNN的重要假设：“任意测试样本附近任意小的距离范围内总能找到一个训练样本”（西瓜书10.2节第一句话）；而度量学习作为机器学习的一个研究方向或者说是一个重要的工具，作者将其写入书中在情理之中，但作为一个分支又不值得单列一章，怎么办呢？注意10.6节最后一段话（西瓜书P240）中提到“当度量矩阵M低秩时，度量学习能用于降维之目的”，这就与降维扯上了关系。kNN的假设引出降维的动机，因此放在本章开头；度量学习在某种情形下也可用于降维，因此放在本章末尾，这不得不说是一个巧妙的安排。
注解中提到的The Matrix Cookbook(Version: November 15, 2012)最新链接如下（@20180926更新）：
http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3274/pdf/imm3274.pdf
（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w）
第 10 章目录：
第 10 章 降维与度量学习...............................................................................................................1
10.0 预备知识..........................................................................................................................1
1、符号约定.....................................................................................................................1
2、矩阵与单位阵、向量的乘法........................................................................................1
3、矩阵的 F 范数与迹.....................................................................................................1
10.1 k 近邻学习......................................................................................................................3
1、式(10.1)的解释...........................................................................................................3
2、式(10.2)的推导...........................................................................................................3
10.2 低维嵌入.........................................................................................................................4
1、图 10.2 的解释...........................................................................................................4
2、式(10.3)的推导...........................................................................................................4
3、式(10.4)的推导...........................................................................................................5
4、式(10.5)的推导...........................................................................................................5
5、式(10.6)的推导...........................................................................................................6
6、式(10.10)的推导.........................................................................................................6
7、图 10.3 关于 MDS 算法的解释...................................................................................7
10.3 主成分分析.....................................................................................................................9
1、式(10.14)的推导.........................................................................................................9
2、式(10.16)的解释.......................................................................................................12
3、式(10.17)的推导.......................................................................................................14
4、根据式(10.17)求解式(10.16)....................................................................................14
10.4 核化线性降维................................................................................................................15
1、式(10.19)的解释.......................................................................................................15
2、式(10.20)的解释.......................................................................................................15
3、式(10.21)的解释.......................................................................................................16
4、式(10.22)的解释.......................................................................................................16
5、式(10.24)的推导.......................................................................................................16
6、式(10.25)的解释.......................................................................................................16
10.5 流形学习.......................................................................................................................17
1、等度量映射(Isomap)的解释 ....................................................................................17
2、式(10.28)的推导.......................................................................................................17
3、式(10.31)的推导.......................................................................................................18
10.6 度量学习.......................................................................................................................20
1、式(10.34)的解释.......................................................................................................20
2、式(10.35)的解释.......................................................................................................21
3、式(10.36)的解释.......................................................................................................21
4、式(10.37)的解释.......................................................................................................21
5、式(10.38)的解释.......................................................................................................21
6、式(10.39)的解释.......................................................................................................21
另外，之前已发布的章节还有：