[Conocimiento matemático] Descomposición de valores singulares, entendida desde la perspectiva de la transformación lineal de datos

número de serie	contenido
1	[Conocimientos matemáticos] Grado de libertad y método de cálculo de grados de libertad
2	[Conocimientos matemáticos] Cuerpo rígido cuerpo rígido y el movimiento del cuerpo rígido
3	[Conocimientos matemáticos] Movimiento básico de cuerpos rígidos, traslación y rotación.
4	[Conocimientos matemáticos] Multiplicación de vectores, producto interno, producto externo, implementación de código matlab
5	[Conocimientos matemáticos] Método de mínimos cuadrados, comenzando con la regresión lineal, dando ejemplos numéricos y utilizando el método de mínimos cuadrados para resolver el modelo de regresión.
6	[Conocimientos matemáticos] Método de mínimos cuadrados, situación lineal general, proceso de representación matricial, proceso de fórmula de solución de parámetros óptimos
7	[Conocimiento matemático] Covarianza, la covarianza de variables aleatorias, la covarianza cuando las variables aleatorias son números únicos y vectores respectivamente
8	[Conocimiento matemático] Descomposición de valores singulares, entendida desde la perspectiva de la transformación lineal de datos
9	[Conocimientos matemáticos] El proceso de derivación de la matriz de rotación se basa en la rotación del vector, al tiempo que resuelve las limitaciones no lineales de la transformación euclidiana.
10	[Conocimiento matemático] Dadas las coordenadas de N> = 3 puntos en los momentos delantero y trasero, encuentre la matriz de traslación y la matriz de rotación del cuerpo rígido, y la distancia entre estos N> = 3 puntos siempre permanece sin cambios, lo que representa un cuerpo rígido

1. Descomposición de valores singulares

Hay muchos tutoriales que explican la descomposición de valores singulares (SVD), no entraré en detalles aquí, solo registraré mi propia comprensión.

Para la siguiente fórmula de descomposición de valores singulares:

$$\begin{array}{rl}& =U\Sigma V^{}\end{array}$$

donde:
$La$ matriz M puede no ser una matriz cuadrada, es decir, su dimensión es$metro\times norte$ . UU.
$La\; matriz\; U$ es$metro\times La\; matriz\; cuadrada\; de\; m$ representa el vector base descompuesto.
$La\; matriz\; \Sigma$ es una matriz no cuadrada con dimensiones$metro\times Una\; matriz\; diagonal\; de\; n$ , los elementos diagonales son valores singulares.
$La$ matriz V es de dimensión$norte\times$Matriz ortogonal de$n\; .$

---

Por ejemplo, cuando MMLa dimensión matricial de$M$$4\times 2$ , la fórmula de descomposición del valor singular se puede escribir de la siguiente forma

$$\begin{array}{rl}METRO& =U\Sigma V^{\text{t}}\\ \left[\begin{array}{cc}{X}_{}& y_{}\\ X_{}& y_{}\\ X_{}& y_{}\\ X_{}& y_{}\end{array}\right]& =\left[\begin{array}{cccc}—& —& —& —\\ —& —& —& —\\ —& —& —& —\\ & & & \end{array}\right]\left[\begin{array}{cc}a& 0\\ 0& b\\ 0& 0\\ & \end{array}\right][\begin{array}{cc}—& —\\ & \end{array}\end{array}$$

Puede que no lo entiendas en este momento, pero está bien. Sólo quería revisar primero la fórmula SVD y seguir leyendo.

---

2. A partir de la transformación lineal de datos.

La transformación lineal de datos es un concepto matemático que generalmente se usa para cambiar la representación o base de los datos sin cambiar la estructura o relación esencial de los datos. En el espacio vectorial, la transformación lineal se puede lograr multiplicando por una matriz.

Si hay un vector en un plano bidimensional, la transformación lineal puede consistir en operaciones como escalado, rotación e inclinación.

Por ejemplo,

• Una operación de escalado puede utilizar la matriz $S=\left[\begin{array}{cc}2& 0\\ & \end{array}\right]$ significa que esta matriz convertirá$coordenada\; x$ multiplicada por 2,$La$ coordenada y se multiplica por 1.

• Además, el rango de la ecuación $R=\left[\begin{array}{cc}\mathrm{porque}\left(\theta \right)& -\mathrm{pecado}\left(\theta \right)\\ \mathrm{pecado}(\theta & \mathrm{porque}(\theta \end{array}\right]$ significa que esta matriz convertirá$x$ 和 $y$旋转$Ángulo\; \theta$ .

---

Las dos matrices anteriores $S$ y$R$ también se puede derivar de la base ortogonal$\vec{i},\vec{j}$respectivamente ver $S$ yRREfecto de transformación de$la\; matriz\; R.$

Si la base ortonormal original es $\vec{i}=\left[\begin{array}{c}1\\ \end{array}\right]，\vec{j}=\left[\begin{array}{c}0\\ \end{array}\right]$ , después deSSDespués de la transformación de la matriz$S$
, la base ortonormal se convierte en$S\vec{i}=\left[\begin{array}{c}2\\ \end{array}\right],S\vec{j}=\left[\begin{array}{c}0\\ \end{array}\right]$。

Si la base ortonormal original es $\vec{i}=\left[\begin{array}{c}1\\ \end{array}\right]，\vec{j}=\left[\begin{array}{c}0\\ \end{array}\right]$ , después de$Después\; de\; la\; transformación\; de\; la\; matriz\; R$ ,
la base ortogonal transformada se convierte en$R\vec{i}=\left[\begin{array}{c}\mathrm{porque}\left(\theta \right)\\ \mathrm{pecado}(\theta \end{array}\right],r\vec{j}=\left[\begin{array}{c}-\mathrm{pecado}\left(\theta \right)\\ \mathrm{porque}(\theta \end{array}\right]$。

---

En el video [Aula de último año] ¿Qué es la descomposición de valores singulares SVD? ¿Cómo descompone SVD la matriz espacio-tiempo? - bilibili , el ejemplo utiliza un conjunto de vectores

$$D=\left[\begin{array}{cccc}{X}_{}& X_{}& X_{}& X_{}\\ y_{}& y_{}& y_{}& y_{}\end{array}\right]$$

También puede entenderse como un grupo de puntos de datos planos bidimensionales.

A continuación, echemos un vistazo a las operaciones de estiramiento y rotación de este grupo de puntos de datos, porque hay animaciones correspondientes en el video, que es más fácil de entender.

---

1. Ampliar

Para el $Matriz\; de\; puntos\; de\; datos\; D$ , mire la matriz de transformaciónSSEfecto$S.$

Formalmente podemos ver que la matriz $La\; función\; de\; S$ es escalar, que también se puede ver en las siguientes operaciones de datos, es decir, cuando$D$ se deja multiplicado por una matriz de transformación$Después\; de\; S$ ,$D$ se convierte

$$\begin{array}{r}SD\_=\left[\begin{array}{cc}2& 0\\ & \end{array}\right]\left[\begin{array}{cccc}{X}_{}& X_{}& X_{}& X_{}\\ y_{}& y_{}& y_{}& y_{}\end{array}\right]=[\begin{array}{cccc}2x{\_}_{}& 2x{\_}_{}& 2x{\_}_{}& 2x{\_}_{}\\ y_{}& y_{}& y_{}& y_{}\end{array}\end{array}$$

---

La transformación anterior también se puede ver en el siguiente gráfico dinámico.

---

2. Girar

A continuación, eche un vistazo a la matriz de rotación RR.Efecto$R.$

Formalmente podemos ver que la matriz $La\; función\; de\; R$ es la rotación, que también se puede ver en las siguientes operaciones de datos, es decir, cuando elSD SDLuego se deja la matriz$S$$D$$Después\; de\; R$ ,$SDse$ convierte en

$$\begin{array}{r}RSD\_=\left[\begin{array}{cc}\mathrm{porque}\left(\theta \right)& -\mathrm{pecado}\left(\theta \right)\\ \mathrm{pecado}(\theta & \mathrm{porque}(\theta \end{array}\right]\left[\begin{array}{cccc}{X}_{}& X_{}& X_{}& X_{}\\ y_{}& y_{}& y_{}& y_{}\end{array}\right]=[\begin{array}{ccc}{X}_{}\mathrm{porque}\left(\theta \right)-y_{}\mathrm{pecado}\left(\theta \right)& X_{}\mathrm{porque}\left(\theta \right)-y_{}\mathrm{pecado}\left(\theta \right)& \cdots \\ X_{}\mathrm{pecado}\left(\theta \right)+y_{}\mathrm{porque}(\theta & X_{}\mathrm{pecado}\left(\theta \right)+y_{}\mathrm{porque}(\theta & \end{array}\end{array}$$

---

Datos $El\; efecto\; de\; rotación\; de\; SD$$se\; puede$ observar en el siguiente diagrama dinámico.

---

3. Conocimientos complementarios: cómo distinguir el efecto de transformación de la matriz.

Para analizar el efecto de la transformación de una matriz (ya sea escalado, rotación o sesgo), debemos considerar cómo opera la matriz en los vectores base u observar sus propiedades específicas.

1. Escalado:
   La matriz de escalamiento tendrá valores distintos de 1 en la diagonal y 0 en el resto. Por ejemplo, la matriz de escala en un espacio bidimensional es:
   $$\left[\begin{array}{cc}{s}_{}& 0\\ & s_{}\end{array}\right]$$
   sx$s_{},s_{}$respectivamente xxdirección$x$ y yyFactor de escala en$la\; dirección\; y\; .$

2. Rotación:
   La matriz de rotación tiene la siguiente forma en un espacio bidimensional:
   $$\left[\begin{array}{cc}\mathrm{porque}\left(\theta \right)& -\mathrm{pecado}\left(\theta \right)\\ \mathrm{pecado}(\theta & \mathrm{porque}(\theta \end{array}\right]$$
   Entonces$\theta$ es el ángulo de rotación. El determinante de la matriz de rotación es 1 y su inversa es su transpuesta.
   Además, para conocer la forma del vector base de la matriz de rotación espacial tridimensional, consulte[Conocimientos matemáticos] El proceso de derivación de la matriz de rotación, que se realiza en función de la rotación del vector, y al mismo tiempo resuelve el Limitaciones no lineales de la transformación euclidiana. Para conocer laforma del ángulo de Euler, consulte:Capítulo 3 - Base de conocimientos de matemáticas -> Conversión de coordenadas.

3. Sesgar o cortar:
   En dos dimensiones, $x$ 和 $La\; matriz\; de\; inclinación\; en\; la\; dirección\; y$ es:
   $$\left[\begin{array}{cc}1& s\\ & \end{array}\right],\left[\begin{array}{cc}1& 0\\ & \end{array}\right]$$
   donde$s$ es la cantidad de corte o inclinación.

---

En aplicaciones prácticas, una matriz puede representar múltiples transformaciones al mismo tiempo, es decir, una matriz es una combinación de múltiples transformaciones. Para determinar su función, normalmente necesitamos descomponerlo. Por ejemplo, la descomposición SVD común puede obtener las matrices de rotación, escala y corte.

Al mismo tiempo, si desea comprender intuitivamente cómo opera la matriz, también puede aplicarla a vectores de base estándar (como [ 1 0 ] \left[\begin{matrix} 1 \\ 0 \\ \end{ en matriz espacial bidimensional $\left[\begin{array}{c}1\\ \end{array}\right]$和$\left[\begin{array}{c}0\\ \end{array}\right]$ ), observe el resultado de la transformación de la base vectorial.

---

3. De $2\times$La fórmula SVD se obtiene a partir de$2\; matrices.$

Con los conocimientos básicos anteriores, ahora asumimos que existe un $2\times$MatrizMM$de\; 2$$m.\_$ _ ¿Puedes saber$La\; matriz\; M$ debe representar algún tipo de transformación lineal. En cuanto a si es un tipo o una combinación de varios tipos, necesitamos más análisis.

---

SupongamosMM_ $El\; efecto\; de\; transformación\; de\; la\; matriz\; M$ se muestra en la siguiente figura.

Podemos encontrar un conjunto de bases ortonormales en los ejes de coordenadas antes de la transformación, llamado ${\vec{v}}_{},{\vec{v}}_{}$, después de $Después\; de\; la\; transformación\; lineal\; M$ ,${\vec{v}}_{}$se convierte en ${\overrightarrow{tu}}_{}$，${\vec{v}}_{}$se convierte en ${\overrightarrow{tu}}_{}$, y las longitudes son respectivamente ${pag}_{}$y ${pag}_{}$. Este proceso se puede expresar mediante la siguiente relación

$$\begin{array}{rl}METRO{\vec{v}}_{}& ={pag}_{}{\overrightarrow{tu}}_{}\\ METRO{\vec{v}}_{}& ={pag}_{}{\overrightarrow{tu}}_{}\end{array}$$

---

Analíticamente se utiliza una matriz para representar la base ortogonal, es decir

$$\begin{array}{rl}V=\left[\begin{array}{cc}{\vec{v}}_{}& {\vec{v}}_{}\end{array}\right],& =\left[\begin{array}{cc}{\overrightarrow{tu}}_{}& {\overrightarrow{tu}}_{}\end{array}\right],S=[\begin{array}{cc}{pag}_{}& 0\\ & {pag}_{}\end{array}\end{array}$$

Entonces hay

$$\begin{array}{rl}METRO\left[\begin{array}{cc}{\vec{v}}_{}& {\vec{v}}_{}\end{array}\right]& =\left[\begin{array}{cc}{\overrightarrow{tu}}_{}& {\overrightarrow{tu}}_{}\end{array}\right]\left[\begin{array}{cc}{pag}_{}& 0\\ & {pag}_{}\end{array}\right]\\ mv\_& =las\\ MF{F}^{-1}& =U\Sigma V^{-1}\\ & =U\Sigma V^{\text{t}}(Ves\text{una matriz ortogonal, entonces}{V}^{-1}=V^{\text{T}}\end{array}$$

---

Observando la descomposición SVD desde la perspectiva de la transformación gráfica, matriz $M$ es equivalente a pasar primero por la matriz de rotación$V^{\text{T}}$ se gira y luego se pasa a través de la matriz de escala$Se\; escala\; \Sigma$ y finalmente se utiliza la matriz de rotación$U$ gira y alcanza el mismo nivel queMM.El mismo efecto de transformación lineal que$la\; matriz\; M.$

---

4. SVD se extiende a $metro\times norte$ matriz

En el ejemplo anterior de descomposición de valores singulares

$$\begin{array}{rl}& =U\Sigma V^{}\end{array}$$

Las dimensiones de la matriz son:
$M$：$2\times 2$ ,
$U$：$2\times 2$，
$\Sigma$ :$2\times 2$，
$V$：$2\times 2$ .

si mmLa dimensión matricial de$M$$metro\times n$，
$U$：$metro\times m$，
$\Sigma$：$metro\times norte$，
$V$：$norte\times norte$ .

Este punto corresponde a lo que describimos en el primer paso.

---

5. Encuentra la descomposición SVD

Sabemos que la forma básica de descomposición SVD es

$$\begin{array}{rl}& =U\Sigma V^{}\end{array}$$

那么
$$\begin{array}{rl}{METRO}^{\text{TM}}\_& =(U\Sigma V^{\text{T}}{)}^{\text{TU}}\Sigma V\_{}^{\text{t}}\\ {METRO}^{\text{TM}}& =V{S}^{\text{TU}}{\_}^{\text{TU}}\Sigma V\_{}^{}\end{array}$$

Causa $Intercambio\; de\; corrección\; U$ , hay${Ud.}^{\text{TU}}\_=yo$ entonces

$$\begin{array}{rl}{METRO}^{\text{TM}}\_& =V{S}^{\text{TU}}{\_}^{\text{TU}}\Sigma V\_{}^{\text{t}}\\ {METRO}^{\text{TM}}\_& =V{S}^{\text{TI}}\Sigma V\_{}^{\text{t}}\\ {METRO}^{\text{TM}}& =V{S}^{\text{T}}\Sigma V^{}\end{array}$$

Y porque $\Sigma$ es una matriz diagonal, entonces$S^{\text{t}}=S$，即

$$\begin{array}{rl}{METRO}^{\text{TM}}\_& =V{S}^{\text{T}}\Sigma V^{\text{t}}\\ {METRO}^{\text{TM}}& =VSS{V}^{}\end{array}$$

令 $l=SS$ ,有

$$\begin{array}{rl}{METRO}^{\text{TM}}\_& =VSS{V}^{\text{t}}\\ {METRO}^{\text{TM}}& =FLF\_{\_}^{}\end{array}$$

Porque $V$ también es una matriz ortogonal, por lo que se puede desplazar de la siguiente manera

$$\begin{array}{rl}{METRO}^{\text{TM}}\_& =FLF\_{\_}^{\text{t}}\\ {METRO}^{\text{TMV}}\_\_& =FLF\_{\_}^{\text{televisión}}\_=FLF\_{\_}^{-1V}\_\\ {METRO}^{\text{TM}}& =VL\end{array}$$

---

Debe utilizar la definición de vectores propios aquí. Si lo olvida, puede consultar el artículo [Conocimiento matemático] Valores propios, vectores propios y vectores propios izquierdos .

Cuando queremos encontrar ${METRO}^{}$Cuando el vector propio de$TM$${}^{\text{es}}$

$$\begin{array}{rl}{METRO}^{\text{TM}}\_{\vec{v}}_{}& ={yo}_{}{\vec{v}}_{}\\ {METRO}^{\text{TM}}\_{\vec{v}}_{}& ={yo}_{}{\vec{v}}_{}\end{array}$$

Escríbelo de otra forma:

$$\begin{array}{rl}{METRO}^{\text{TM}}\_[\begin{array}{cc}{\vec{v}}_{}& {\vec{v}}_{}\end{array}& =\left[\begin{array}{cc}{\vec{v}}_{}& {\vec{v}}_{}\end{array}\right][\begin{array}{cc}{yo}_{}& 0\\ & {yo}_{}\end{array}\end{array}$$

---

Echemos otro vistazo a las conclusiones a las que llegamos antes.

$$\begin{array}{rl}{METRO}^{\text{TM}}& =VL\end{array}$$

entonces $V$是${METRO}^{}$Vector propio de$la$${}^{\text{matriz TM}}$$L$ es su valor propio.

而 $l=La\; matriz\; \Sigma \Sigma$ es la matriz diagonal$La\; multiplicación\; de\; \Sigma$ es

$$\begin{array}{rl}l& =SS=\left[\begin{array}{cc}{pag}_{}& 0\\ & {pag}_{}\end{array}\right]\left[\begin{array}{cc}{pag}_{}& 0\\ & {pag}_{}\end{array}\right]=\left[\begin{array}{cc}{pag}_1^{}& 0\\ & {pag}_2^{}\end{array}\right]\\ & =[\begin{array}{cc}{yo}_{}& 0\\ & {yo}_{}\end{array}\end{array}$$

Al mismo tiempo Σ \SigmaElemento σ 1 \sigma_1en la$matriz\; \Sigma$${pag}_{}$Los llamamos valores singulares.

A través de la fórmula anterior, también sabemos por qué existe una relación cuadrada entre valores singulares y valores propios.

---

De la misma manera podemos obtener

$$\begin{array}{rl}M{M}^{\text{TU}}& =\end{array}$$

Se sigue la misma conclusión, es decir, $U$是$M{M}^{}$Vectores propios de${}^{\text{la matriz T.}}$

---

En resumen, el proceso de resolución de SVD es

1. 求${METRO}^{}$El vector propio de$TM$${}^{\text{obtiene}}$$V$，
2. 求$M{M}^{}$El vector propio de${}^{\text{T}}$$U$ ,
3. 求${METRO}^{\text{T}}M$或$M{M}^{}$El valor propio de${}^{\text{T , el valor singular, se obtiene sacando la raíz cuadrada,}}$
4. Utilice valores singulares para formar una matriz diagonal $S.$ _

---

Árbitro

1. ¿Cómo explicar de forma fácil de entender qué es PCA (Análisis de Componentes Principales)? - Saber casi
2. [Aprendizaje automático] Reducción de dimensionalidad - PCA (muy detallado) - Zhihu
3. [Aula de último año] ¿Qué es la descomposición de valores singulares SVD? ¿Cómo descompone SVD la matriz espacio-tiempo? - bilibili
4. ¿Cómo entender los valores singulares de forma popular? - Compañera de clase mamá

---