机器学习：PCA（使用梯度上升法求解PCA问题）

一、目标函数的梯度求解公式

• PCA 降维的具体实现，转变为：

　　

• 方案：梯度上升法优化效用函数，找到其最大值时对应的主成分 w ；

1. 效用函数中，向量 w 是变量；
2. 在最终要求取降维后的数据集时，w 是参数；

　1）推导梯度求解公式

• 变形一

　　　　

• 变形二

　　　　

• 变形三：向量化处理

　　　　

• 最终的梯度求解公式：▽f = 2 / m * X^T . (X . dot(w) )