[Aprendizaje automático] P18 Propagación hacia atrás (derivadas, cálculo, regla de la cadena, propagación hacia adelante, proceso de propagación hacia atrás, redes neuronales)

retropropagación

La propagación hacia atrás (backpropagation) es un algoritmo para entrenar redes neuronales, su función es calcular la influencia de cada parámetro en la red neuronal sobre la función de pérdida, con el fin de actualizar los parámetros y hacer que los resultados de predicción de la red neuronal sean más precisos. .

Específicamente, el algoritmo de retropropagación primero calcula el resultado de la predicción de la red neuronal a través de la propagación directa y lo compara con el resultado real para obtener el valor de la función de pérdida . Luego, el algoritmo de retropropagación calcula el efecto de cada parámetro en la función de pérdida, es decir, el gradiente del parámetro. Estos gradientes pueden decirnos que bajo el valor del parámetro actual, mover el parámetro en la dirección opuesta del gradiente puede reducir el valor de la función de pérdida. Finalmente, a través de algoritmos de optimización como el gradiente descendente , se pueden actualizar los parámetros en la red neuronal para que el valor de la función de pérdida disminuya gradualmente hasta alcanzar el valor mínimo.

Lo anterior implica dos fórmulas principales:

• Fórmula de la función de pérdida:
  $$J(w,segundo)=\frac{}{2metros}\sum _{yo=0}^{metro-}\left(f_{w,}\right(X^{\left(yo\right)})-y^{\left(yo\right)})$$

• 梯度下降公式：
  { wj = wj − α ∂ J ( w , segundo ) ∂ wjb = segundo − α ∂ J ( w , segundo ) ∂ segundo \begin{casos} w_j = w_j - \alpha \frac {\parcial J( w,b)} {\parcial w_j}\\ \\ b = b - \alpha \frac {\parcial J(w,b)} {\parcial b} \end{casos}⎩ ⎨ ⎧wj=wj−a∂ wj∂ J ( w , b )b=b−a∂ segundo∂ J ( w , b )​
  其中
  { ∂ J ( w , segundo ) ∂ wj = 1 metro ∑ yo = 0 metro − 1 ( fw , segundo ( X ( yo ) ) − y ( yo ) ) xj ( yo ) ∂ J ( w , segundo ) ∂ segundo = 1 metro ∑ yo = 0 metro − 1 ( fw , segundo ( X ( yo ) ) − y ( yo ) ) \begin{cases} \frac {\parcial J(w,b)} {\parcial w_j} = \ fracción 1 metro \sum _{i=0} ^{m-1} (f_{w,b}(x^{(i)})-y^{(i)})x_j^{(i)}\ \ \\ \frac {\parcial J(w,b)} {\parcial b} = \frac 1 m \sum _{i=0} ^{m-1} (f_{w,b}(x^{ (i)})-y^{(i)}) \end{casos}⎩ ⎨ ⎧∂ wj∂ J ( w , b )=metro1∑yo = 0metro − 1( fw , b( X( yo ) )−y( yo ) )xj( yo )∂ segundo∂ J ( w , b )=metro1∑yo = 0metro − 1( fw , b( X( yo ) )−y( yo ) )

El papel del algoritmo de retropropagación es realizar el aprendizaje automático de la red neuronal. A través del algoritmo de retropropagación, la red neuronal puede aprender las características de los datos de una gran cantidad de muestras de entrenamiento y expresar estas características como parámetros en la red neuronal . Estos parámetros se pueden predecir en nuevas muestras de datos y se pueden actualizar a través del algoritmo de retropropagación en el aprendizaje supervisado para mejorar gradualmente la precisión de la predicción de la red neuronal.

resumen:

El propósito de la retropropagación es realizar el aprendizaje automático de las redes neuronales.

En todo el proceso de optimización de los parámetros del modelo, primero obtenemos el valor predicho a través de la propagación directa, calculamos el valor de pérdida a través de la fórmula de la función de pérdida y calculamos la contribución de cada neurona a la función de pérdida a través del algoritmo de propagación hacia atrás, y luego invertimos estos contribuciones se propaga de nuevo a cada neurona en la red, determinando así el gradiente de cada neurona. Luego, los parámetros de la red neuronal se pueden actualizar utilizando el algoritmo de descenso de gradiente u otros algoritmos de optimización para minimizar la función de pérdida. Este proceso consiste en calcular el gradiente a través de la retropropagación y luego usar el algoritmo de optimización para actualizar los parámetros del modelo.

---

Matemáticas en retropropagación

Backpropagation utiliza muchos conocimientos matemáticos, los más importantes son el cálculo de derivadas y la regla de la cadena en cálculo:

Derivados con python

$mi.g.1$

求$\frac{\partial J(w}{\partial w}$，$J\left(w\right)=w^2$

from sympy import symbols, diff

J, w = symbols('J,w')
J = w ** 2
dj_dw = diff(J,w)
print(dj_dw)

resultado:

---

$mi.g.2$

求$\frac{\partial J(w}{\partial w}$，$J\left(w\right)=\frac{}{w}$

from sympy import symbols, diff

J, w = symbols('J,w')
J = 1/w
dj_dw = diff(J,w)
print(dj_dw)

resultado:

---

$mi.g.3\_$

求$\frac{\partial J(w}{\partial w}$，$J\left(w\right)=\frac{}{w^2}$

from sympy import symbols, diff

J, w = symbols('J,w')
J = 1/w**2
dj_dw = diff(J,w)
print(dj_dw)

resultado:

---

cadena de reglas

Supongamos que tenemos una función $f\left(x\right)$，即$f\left(x\right)=h\left(g\right(x))$ donde:

• $gramo\left(x\right)=2x\_+3$
• $h\left(y\right)=y^3+5años$

Ahora queremos calcular $f\left(x\right)$ sobrexxDerivada de$x$$\frac{}{dx}$。

De acuerdo con la regla de la cadena, hay:

$$\frac{}{dx}=\frac{}{dg}\ast \frac{d}{dx}$$

donde, $\frac{}{dg}$significa $f$ sobreggderivada de$g$$\frac{d}{dx}$significa $g$ sobrexxDerivada de$x\; .$

• Primero calcule $\frac{}{dg}$. Dado que $f\left(x\right)=h\left(g\right(x)\; )$ , entonces:
  $$\frac{}{dg}=h^{\prime }\left(g\right(x))=3\ast gramo(x{)}^2+5$$

• Razón $gramo\left(x\right)=2x\_+3$
  $$\frac{}{dg}=3\ast (2x\_+3{)}^2+5$$

• Luego calcula $\frac{d}{dx}$. Como $gramo\left(x\right)=2x\_+3$ , entonces
  $$\frac{d}{dx}=2$$

• De acuerdo con la regla de la cadena, tenemos:
  $$\frac{}{dx}=\frac{}{dg}\ast \frac{d}{dx}=\left(3\right(2x+3{)}^2+5)\ast 2=6(2x\_+3{)}^2+10$$
  Por lo tanto,$f\left(x\right)$ sobrexxLa derivada de$x$$6(2x\_+3{)}^2+10$ _

---

Flujo de procesamiento de red neuronal simple para comprender la retropropagación

Redes neuronales y propagación directa

Arriba se muestra una red neuronal simple, asumiendo que usamos ReLU como la función de activación,

Podemos usar la propagación hacia adelante para derivar el valor de la función de pérdida

Supongamos que los parámetros iniciales se establecen en:

• $w^{\left[1\right]}=2,b^{\left[1\right]}=0$
• $w^{\left[2\right]}=3,b^{\left[2\right]}=1$

Suponga que los valores iniciales de la capa de entrada se establecen en:

• $X=1$
• $y=5$

Según la fórmula de cálculo de la red neuronal, existen:

$$a^{\left[1\right]}=g(w^{\left[1\right]}x+b^{\left[1\right]})=gramo(2\ast 1+0)=2$$$$a^{\left[2\right]}=g(w^{\left[2\right]}{un}^{\left[1\right]}+b^{\left[2\right]})=gramo(3\ast 2+1)=7$$

Del valor real $y=5$ y valor predicho$a^{\left[2\right]}=7$ , obtenga la función de pérdida:
$$J(w,segundo)=\frac{}{2}({un}^{\left[2\right]}-y{)}^2=\frac{}{2}(7-5{)}^2=2$$

Podemos descomponer el proceso de propagación hacia adelante anterior en los siguientes pasos

En este punto, haga una pausa por un momento y piense cuál es nuestro próximo paso en las redes neuronales.

Retropropagación, actualizar parámetros, de modo que el valor predicho $a^{\left[2\right]}=7$ está más cerca del valor real$y=5$

---

Redes neuronales y retropropagación

神经网络 反向传播 梯度下降 链式法则

La parte de propagación hacia adelante se completó arriba, y usaremos el método de propagación hacia atrás para calcular el gradiente de cada parámetro, y luego usaremos el método de descenso de gradiente para actualizar los parámetros.

De hecho, en este punto, creo que los lectores recordarán estas dos fórmulas:

• 计算梯度的公式：
  { ∂ J ( w , segundo ) ∂ wj = 1 metro ∑ yo = 0 metro − 1 ( fw , segundo ( X ( yo ) ) − y ( yo ) ) xj ( yo ) ∂ J ( w , segundo ) ∂ segundo = 1 metro ∑ yo = 0 metro − 1 ( fw , segundo ( X ( yo ) ) − y ( yo ) ) \begin{casos} \frac {\parcial {J(w,b)}} { \parcial {w_j}} = \frac 1 m \sum _{i=0} ^{m-1} (f_{w,b}(x^{(i)})-y^{(i)}) x_j^{(i)}\\ \\ \frac {\parcial {J(w,b)}} {\parcial {b}} = \frac 1 m \sum _{i=0} ^{m-1 } (f_{w,b}(x^{(i)})-y^{(i)}) \end{casos}⎩ ⎨ ⎧∂ wj∂ J ( w , b )=metro1∑yo = 0metro − 1( fw , b( X( yo ) )−y( yo ) )xj( yo )∂ segundo∂ J ( w , b )=metro1∑yo = 0metro − 1( fw , b( X( yo ) )−y( yo ) )

• 更新参数公式：
  { wj = wj − α ∂ J ( w , segundo ) ∂ wjb = segundo − α ∂ J ( w , segundo ) ∂ segundo \begin{casos} w_j = w_j - \alpha \frac {\parcial {J (w,b)}} {\parcial w_j}\\ \\ b = b - \alpha \frac {\parcial {J(w,b)}} {\parcial b} \end{casos}⎩ ⎨ ⎧wj=wj−a∂ wj∂ J ( w , b )b=b−a∂ segundo∂ J ( w , b )​

Los lectores también saben:

• El propósito del descenso de gradiente es minimizar la función de pérdida;
• En cada paso de iteración, primero calculamos el gradiente de la función de pérdida con respecto a cada parámetro y luego ajustamos el valor del parámetro según la dirección y la magnitud del gradiente para que el valor de la función de pérdida disminuya. Este proceso continuará iterando hasta que se alcance una condición de parada predeterminada;
• Backpropagation actualiza los parámetros de la red neuronal;
• ¿Qué es la regla de la cadena;

Pero, ¿cómo te sientes siempre? En cuanto al dibujo:

De hecho, falta una frase muy importante:

• Parámetros de actualización de descenso de gradiente, solo actualizamos directamente los parámetros de la capa de salida, y los parámetros de la capa oculta, actualizamos "indirectamente" a través de la regla de la cadena

En este caso, tenemos una capa oculta (y solo una red neuronal en la capa oculta) y una capa de salida (solo una red neuronal en la capa de salida), a saber:

Para los parámetros de la capa de salida $w^{\left[2\right]},b^{Una\; actualización\; de\; [2]}$ , actualizamos directamente a través del descenso de gradiente:

• Calcula el gradiente:
  { ∂ J ∂ w [ 2 ] = ( 7 − 5 ) ∗ 7 = 14 ∂ J ∂ b [ 2 ] = 7 − 5 = 2 \begin{cases} \frac {\partial {J}} { \ parcial {w^{[2]}}} = (7-5)*7=14\\ \\ \frac {\parcial {J}} {\parcial {b^{[2]}}} = 7 - 5=2 \end{casos}⎩ ⎨ ⎧∂ w[ 2 ]∂ J=( 7−5 )∗7=14∂ segundo[ 2 ]∂ J=7−5=2
• Parámetro del parámetro：
  { w [ 2 ] = w [ 2 ] − α ∂ J ( w , segundo ) ∂ w [ 2 ] = 3 − 14 ∗ α segundo [ 2 ] = segundo [ 2 ] − α ∂ J ( w , b ) ∂ b [ 2 ] = 1 − 2 ∗ α \begin{cases} w^{[2]} = w^{[2]} - \alpha \frac {\parcial {J(w,b)}} { \parcial w^{[2]}} = 3-14*\alpha\\ \\ b^{[2]} = b^{[2]} - \alpha \frac {\parcial {J(w, b )}} {\b parcial^{[2]}} = 1-2*\alpha \end{casos}⎩ ⎨ ⎧w[ 2 ]=w[ 2 ]−a∂ w[ 2 ]∂ J ( w , b )=3−14∗ab[ 2 ]=b[ 2 ]−a∂ segundo[ 2 ]∂ J ( w , b )=1−2∗a

Los pasos anteriores son para actualizar los parámetros de la capa de salida w [ 2 ] w^{[2]} a través del método de descenso de gradiente$w^{\left[2\right]}$ yb$b^{\left[2\right]}$ pasos;

Y para los parámetros de la capa oculta $w^{\left[1\right]},b^{Una\; actualización\; de\; [1]}$ , necesitamos pasar gradientes de cálculo indirecto a través de la regla de la cadena, luego actualizar:

• 间接计算梯度：
  { ∂ J ∂ w [ 1 ] = ∂ J ∂ un [ 2 ] ∂ un [ 2 ] ∂ un [ 1 ] ∂ un [ 1 ] ∂ w [ 1 ] ∂ J ∂ segundo [ 1 ] = ∂ J ∂ un [ 2 ] ∂ un [ 2 ] ∂ un [ 1 ] ∂ un [ 1 ] ∂ segundo [ 1 ] \begin{casos} \frac {\parcial {J}} {\parcial {w^{[1]} }} = \frac {\parcial J} {\parcial a^{[2]}} \frac {\parcial a^{[2]}} {\parcial a^{[1]}} \frac {\parcial a^{[1]}} {\parcial w^{[1]}}\\ \\ \frac {\parcial {J}} {\parcial {b^{[1]}}} = \frac {\ parcial J} {\parcial a^{[2]}} \frac {\parcial a^{[2]}} {\parcial a^{[1]}} \frac {\parcial a^{[1]} } {\b parcial^{[1]}} \end{casos}⎩ ⎨ ⎧∂ w[ 1 ]∂ J=∂ un[ 2 ]∂ J∂ un[ 1 ]∂ un[ 2 ]∂ w[ 1 ]∂ un[ 1 ]∂ segundo[ 1 ]∂ J=∂ un[ 2 ]∂ J∂ un[ 1 ]∂ un[ 2 ]∂ segundo[ 1 ]∂ un[ 1 ]​

• 由：
  $$j=\frac{}{2}({un}^{\left[2\right]}-y{)}^2$$$$a^{\left[2\right]}=g(w^{\left[2\right]}{un}^{\left[1\right]}+b^{\left[2\right]})$$$$g\left(z\right)=máx(0,\_z)\left(ReLU\right)$$$$a^{\left[1\right]}=g(w^{\left[1\right]}x+b^{\left[1\right]})$$

• 所以：
  $$\frac{\partial }{\partial {un}^{\left[2\right]}}=a^{\left[2\right]}-y$$$$\frac{\partial {un}^{[2}}{\partial {un}^{\left[1\right]}}=w^{\left[2\right]}$$$$\frac{\partial {un}^{[1}}{\partial w^{\left[1\right]}}=x$$$$\frac{\partial {un}^{[1}}{\partial {segundo}^{\left[1\right]}}=1$$

• 即：
  $$\frac{\partial }{\partial w^{\left[1\right]}}=\frac{\partial }{\partial {un}^{\left[2\right]}}\frac{\partial {un}^{[2}}{\partial {un}^{\left[1\right]}}\frac{\partial {un}^{[1}}{\partial w^{\left[1\right]}}=({un}^{\left[2\right]}-y)\ast w^{\left[2\right]}\ast X=(7-5)\ast 3\ast 1=6$$$$\frac{\partial }{\partial {segundo}^{\left[1\right]}}=\frac{\partial }{\partial {un}^{\left[2\right]}}\frac{\partial {un}^{[2}}{\partial {un}^{\left[1\right]}}\frac{\partial {un}^{[1}}{\partial {segundo}^{\left[1\right]}}=({un}^{\left[2\right]}-y)\ast w^{\left[2\right]}\ast 1=(7-5)\ast 3\ast 1=6$$

• modificar el valor del parámetro:
  { w [ 1 ] = w [ 1 ] − α ∂ J ( w , segundo ) ∂ w [ 1 ] = 2 − 6 ∗ α segundo [ 1 ] = segundo [ 1 ] − α ∂ J ( w , b ) ∂ b [ 2 ] = 0 − 6 ∗ α \begin{cases} w^{[1]} = w^{[1]} - \alpha \frac {\parcial {J(w,b)}} {\parcial w^{[1]}} = 2-6*\alpha\\ \\ b^{[1]} = b^{[1]} - \alpha \frac {\parcial {J(w, b)}} {\b parcial^{[2]}} = 0-6*\alpha \end{casos}⎩ ⎨ ⎧w[ 1 ]=w[ 1 ]−a∂ w[ 1 ]∂ J ( w , b )=2−6∗ab[ 1 ]=b[ 1 ]−a∂ segundo[ 2 ]∂ J ( w , b )=0−6∗a

El proceso anterior consiste en actualizar el parámetro w [ 1 ] w^{[1]} a través de la regla de la cadena y el método de descenso de gradiente$w^{\left[1\right]}$ con parámetro$b^{el\; valor\; de\; [1]}$ ;