Aprendizaje automático fácil de entender: derivación y explicación de los principios matemáticos del análisis de componentes principales de ascenso de gradiente

Este artículo ha participado en el evento "Ceremonia de Creación de Nuevos Talentos"

prefacio

El análisis de componente principal de ascenso de gradiente también es una operación comúnmente utilizada para la reducción de dimensionalidad y reducción de ruido.Transforma el eje de coordenadas (en realidad, el mapeo de los datos) para maximizar la varianza directa de los datos, es decir, es más fácil de dividir

Análisis de propósito y principio

Se obtiene el vector de características del componente principal.En el análisis del componente principal de ascenso de gradiente, los datos originales se pueden asignar al eje de coordenadas con mayor variación (algunos libros o videos también dicen mover el eje de coordenadas), y el método de mapeo se puede multiplicar por a El vector unitario de la dirección de mapeo.

preprocesamiento

Para facilitar la operación, los datos deben preprocesarse primero. El preprocesamiento aquí es la reducción a cero de la media, es decir, restar la media de todos los datos. $x_i=x_i-\bar{x}$

Derivación y explicación de fórmulas.

Objetivo

Lo que queremos obtener son los datos con la mayor varianza, a saber: $máx \frac{1}{n} \sum_{i=1}^n(x^i_p-\bar{x})^2$ Porque hemos preprocesado los datos. Entonces nuestro objetivo se convierte en: $máx \frac{1}{n} \sum_{i=1}^n(x^i_p)^2$

Mapeo de derivación de relaciones

Supongamos que xi se va a asignar al nuevo eje $x^iw= \rvert x^i \lvert \cdot \rvert w \lvert cos\theta$ 在这里我们假设向量w为单位向量 则使之变为： $x^iw= \rvert x^i \lvert cos\theta=x^i_p（x^i_p为变换后的目标数据）$

将映射关系带入

带入映射关系后我们的目标变为了 $max \frac{1}{n} \sum_{i=1}^n(x^iw)^2$

梯度上升

构建一个函数

现在我们构建一个函数

$$\\= \frac{1}{n} \sum_{i=1}^{n}(x^i_1w+x^i_2w+x^i_3w+ \cdot \cdot \cdot x^i_nw)^2$$

求导

下面我们开始对f(w)求导 $\nabla f(w)= \frac{1}{n}x^T(xw)$ 我们的问题就变成了使用上述式子进行梯度上升,接下来我们使用梯度上升的方式优化w,优化得到的w即为可以将数据转换到方差更大的坐标轴上的主成分