引入
想象这样一个场景：通过电视看足球比赛时，屏幕显示器大概包含了100万像素，而球则是由较少的像素组成的，比如说一千个。在大部分体育比赛中，我们关注的是实时球的位置。人的大脑想了解比赛的进展，就需要了解球在运动场的位置。当然，于人而言，这一过程十分自然，甚至不需要做任何思考，就能将显示器上的百万像素转换为三维。
上述例子中，虽然原有数据是百万像素的，但是只有球的位置才是最重要的，这就被称为降维(dimension-ality reduction)。
降维的好处在于：
1）在低维下，数据更容易处理；
2）在低维下，数据的相关特征可能明显地显示出来。
主要内容如下：
1）降维技术综述；
2）主成分分析；
3）示例：PCA的工作过程。
1 降维技术
对数据降维的原因在于：
1）方便数据和结果的展示；
2）使得数据集更易使用；
3）降低许多算法的计算开销；
4）去除噪声；
5）使得结果易懂。
在已标注与未标注数据上都有降维技术，这里主要关注未标记数据上的降维技术，该技术同时也可用于已标注的数据。
第一种降维的方法称为主成分分析(Principal Component Analysis, PCA)。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择时由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标系的选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。
我们会发现，大部分方差都包含在最前面的几个新坐标系中。因此可以忽略余下的坐标轴，即对数据进行降维处理。
第二中降维的方法称为因子分析(Factor Analysis)。在因子分析中，我们假设在观察数据的生成中还有一些观察不到的隐变量(latent variable)。假设观察数据是这些隐变量和某些噪声的线性组合。那么隐变量的数据可能比观察数据的数目少，也就是说通过找到隐变量就可以实现数据的降维。
第三种降维的方法称为独立成分分析(Independent Component Analysis, ICA)。ICA假设数据是从N个数据源生成的，这一点和因子分析类似。假设数据为多个数据源的混合观察结果，这些数据源之间在统计上是相互独立的，而在PCA中只是假设数据是不相关的。同因子分析一样，如果数据源的数目少于观察数据的数目，则可以实现降维。
此处只关注PCA。
