1. PCA
1.1 PCA算法
为什么要使用主成分分析?正如名字所示,其目的显而易见,不再赘述,此处从自动编码器的角度审视PCA。
最小化如下损失函数:
我们可以从物理意义上来解析
h(x) 到底干了什么:
VTx 首先对x进行坐标变换。此处V是d*d维,x是d维,所以此处对应的是将向量x旋转;D(VTx) ,因为D中非零值小于d¯ 个,所以其作用是将≥(d−d¯ 个分量设为0,其余分量进行scale。V(DVTx) 将上述操作后的变量变回原来的坐标系,此处对应的是将向量旋转回来。
首先对内层最小化,很明显
接下来我们就外层进行最小化,很明显
假设
如何求解?令
什么意思呢?我们只要对
1.2 PCA使用注意事项
如果输入的多个维度数值不在同一尺度下,那么可以先将数值都变换到同一尺度。
如何选择
一定要记住,不要过早地使用PCA。