建模方法（八）-PCA主成分分析算法

主成分分析法与因子分析本质都是降维，使得满足限制条件和尽可能保证数据的完整性而使特征维度减少。主成分指的就是降维后得到的各个维度。
他是将特征进行融合的一种算法，我们希望用更小的维度来完整表达一个个体，将数据沿方差最大方向投影（方差最大，即最分散。这也容易理解，毕竟分散的数据更容易区分开来，PCA的降维方式），数据更易于区分——这就是PCA降维的核心思想。
举个简单例子：学生与他的成绩

其中语文成绩都是85，我们沿着x轴方向对数据进行投影转变为一维数据，且按照这样的投影方向这些数据的方差最大最分散，仅仅依据一维数据就能区别每个学生(假设每个学生数学成绩不一样)。
降维的过程和结果是依赖于数学特征向量和特征值的，它的降维是向方差最大方法前进的，所有数据都要进行投影，选择一个投影方向使所有数据投影后方差最大，如果一个方向不能很好反映数据的信息，那就选择方差次优解的投影方向，继续这个过程，直到达到新的维度能否反映原始数据的某个阈值信息量。在计算前需要对数据进行预处理，即标准化和中心化，如果没有对数据做中心化，那算出来的第一主成分的方向可能就不是一个可以“描述”（或者说“概括”）数据的方向了，如下图：

最后得到的各个特征向量需要标准化，才能作为降维后的一个向量基。
详细推导和求解过程如下链接中：
参考链接：https://www.cnblogs.com/xingshansi/p/6445625.html