关于降维
降维:通过某种数字变换将原始高维属性空间转变为一个低维"子空间",在这个子空间中样本密度大幅提高,距离计算也变的更为容易。
为什么需要降维？
在高维情况下回出现数据样本稀疏、距离计算困难等问题,是所有机器学习方法共同面临的严重障碍,被称为“维数灾难”.
为什么能降维？
因为在很多时候,人们观测或收集到的数据样本虽是高维的,但与学习任务密切相关的也许仅是某个低维分布,即高维空间中的一个低维嵌入（embedding）.
多维缩放(MDS)
算法思想
MDS算法思想很简单，一句话就是保持样本在原空间和低维空间的距离不变。
因为距离是样本之间一个很好的分离属性，对于大多数聚类算法来说，距离是将样本分类的重要属性，因此当我们降维后，保持距离不变，那么就相当于保持了样本的相对空间关系不变。
MDS
假设n个样本在原始空间的距离矩阵为D,其第i行第j列的元素dijd_{ij}