[Aprendizaje profundo] Directrices básicas de retropropagación

En realidad, esta es una pregunta que siempre quise registrar. Encontré una descripción fácil de entender en el libro "Red neuronal simple y profunda y aprendizaje profundo". Combinado con la rutina ejecutada recientemente, repasémosla intuitivamente.

En la introducción de muchos libros, la retropropagación en el aprendizaje profundo se considera una caja negra. Los usuarios solo necesitan saber que la retropropagación se puede utilizar para actualizar los pesos para entrenar la red. Pero la esencia del mecanismo básico de este tipo de entrenamiento en realidad constituye una interpretación de la red neuronal en sí , y esta interpretación es precisamente la clave para comprender la aplicabilidad y escalabilidad de la red neuronal, por lo que este artículo decide ampliarla.

Estructura de red y definición de parámetros.

Antes de derivar el mecanismo de retropropagación específico, primero se da la definición de la estructura de la red .

Tomemos como ejemplo una estructura de red simple de tres niveles. La primera capa es la capa de entrada , aquí se supone que hay tres neuronas de entrada; la segunda capa es la capa oculta (o capa intermedia), lo que significa que la red está realizando operaciones de extracción de características más complejas, las llamadas profundas. red, es decir, hay múltiples capas ocultas La red neuronal, la profundización de la red mejorará su capacidad de expresión no lineal; la tercera capa es la capa de salida , donde los dos valores de activación de salida compararán la función de costo de entrada con la valor esperado y generar el resultado del error.

En el modelo de perceptrón de la sección anterior , ya conocemos el peso de la conexión $w$ , sesgo$b$ y la función de activaciónσ \sigmaEl valor de activación aacorrespondiente a$\sigma$Las ecuaciones básicas formadas por$a\; .$Para las redes neuronales compuestas por perceptrones multicapa, esta ecuación para un solo nodo sigue siendo la misma. Usando forma vectorial, expresaremos de manera más concisala generación de valores de activación de una determinada capa:

$$a_{}=s(w^l{a}^{l-1}+b^l)donde\; se\; define\; la\; entrada\; ponderadaz{}^{yo}=w^l{a}^{l-1}+b^{yo}$$

Es decir: el producto escalar del peso de conexión entre capas y el valor de activación de la capa superior más el sesgo de esta capa obtendrá la entrada ponderada $z^l$ , y la entrada ponderada pasa a través de la función de activación para obtener el valor de activación de la capa.

Complementar una operación matricial símbolo producto de Adamar o producto de Schur $\odot$ , lo que posteriormente simplifica la escritura de la ecuación.

asumiendo $s$ y$t$ son dos vectores con la misma dimensión, entonces$s\odot t$ representa el producto por elementos, es decir$(s\odot t{)}_{}=s_{}{t}_{}$

Los ejemplos son los siguientes:

$$\left[\begin{array}{c}1\\ \end{array}\right]\odot \left[\begin{array}{c}3\\ \end{array}\right]=\left[\begin{array}{c}1\ast 3\\ 2\ast \end{array}\right]=\left[\begin{array}{c}3\\ \end{array}\right]$$

derivación de la ecuación

De hecho, la retropropagación considera cómo cambiar el peso y el sesgo para controlar la función de costos . Su significado último es calcular la derivada parcial $\partial C/\partial w_{jk}^{}$和$\partial C/\partial {segundo}_j^{}$. Una comprensión esclarecedora: $\partial C/\partial z\_\_{}_j^{}$es una medida del error neuronal (aquí elija $z_j^{}$La expresión error es una simplificación de la forma de ecuación posterior), es decir, la definición de $l$ capajjError δ jl \delta _{j}^{l}$en\; j$ neuronas$d_j^{}$Definición:
$$d_j^{}\equiv \frac{\partial C}{\partial z_j^{}}$$

Por convención, utilice $d^l$ significa lo mismo que lallEl vector de error asociado con la capa$l\; .$Cada capa de δ l \delta^{l}se puede calcular mediante retropropagación$d^l$ y luego compare estos errores con la cantidad real requerida$\partial C/\partial w_{jk}^{}$和$\partial C/\partial {segundo}_j^{}$conectar.

Antes de comenzar el proceso de prueba, primero proporcione cuatro fórmulas sobre la ecuación de retropropagación , de la siguiente manera:

Resumen: ecuación de retropropagación

$$d^l={\nabla }_{}C\odot {pag}^{\prime }\left(z^l\right)error\; de\; capa\; de\; salida\left(1\right)$$

$$d^{yo}=((w^{l+1}{)}^T{\delta }^{l+1})\odot {pag}^{\prime }(z^l)error\; de\; pase\; frontal(2)$$

$$\frac{\partial C}{\partial {segundo}_j^{}}=d_j^{}Tasa\; de\; cambio\; de\; sesgo\left(3\right)$$

$$\frac{\partial C}{\partial w_{jk}^{}}=a_k^{l-}{d}_j^{}tasa\; de\; cambio\; de\; peso\left(4\right)$$

Comencemos a demostrarlo uno por uno. Recuerde la regla central de la cadena de cálculo multivariante .

(1) Error de la capa de salida

Para el error de la capa de salida, se define como:
$$d_j^{}=\frac{\partial C}{\partial z_j^{}}$$
Entre ellos, L es el número de capas de la red, lo que significa que este es el error en la j-ésima neurona de la capa de salida . De hecho, podemos reescribir la derivada parcial anterior en términos de la derivada parcial del valor de activación de salida, es decir,
$$d_j^{}=\underset{k}{}\frac{\partial C}{\partial {un}_k^{}}\frac{\partial {un}_k^{}}{\partial z_j^{}}$$
donde la suma se realiza en todas las neuronas de la capa de salida. Por supuesto, el $El\; valor\; de\; activación\; de\; salida\; de\; k$ neuronas$a_k^{}$solo depende de $k=$El peso de entrada zj de la j-ésima neurona en el momento$j$$z_j^{}$, entonces cuando $k\ne j$时$\partial {un}_k^{}/\partial z{\_}_j^{}$No existe (es decir, ningún impacto es 0). Por lo tanto, la ecuación se puede reducir a
$$d_j^{}=\frac{\partial C}{\partial {un}_j^{}}\frac{\partial {un}_j^{}}{\partial z_j^{}}$$
Esto muestra que el error de la neurona solo está relacionado con la derivada parcial de la función de pérdida con el valor de activación de la neurona y la derivada parcial del valor de activación con la entrada ponderada de la neurona (es decir, el valor de la derivada de la función de activación en este punto). Basado en $a_j^{}=s\left(z_j^{}\right)$ , el segundo elemento de la derecha se puede escribir como
$${pag}_j^{}=\frac{\partial C}{\partial {un}_j^{}}{pag}^{\prime }\left(z_j^{}\right)$$
Extienda la fórmula anterior a cada neurona en la capa de salida y use el producto de Hadamard para expresar, puede obtener la forma de la fórmula (1), es decir,
$$d^l={\nabla }_{}C\odot {pag}^{\prime }\left(z^l\right)$$

(2) Error de transferencia de la capa frontal

Esta debería ser la fórmula que mejor explique el significado de la palabra "inverso" en el algoritmo de retropropagación, es decir, el error se pasa de atrás hacia adelante. Específicamente, la consideración es utilizar la siguiente capa de error $d^{l+1}$ para representar el error$d^{yo}$ . De manera similar, usamos$d_k^{l+}=\partial C/\partial z\_\_{}_k^{l+}$重写$d_j^{}=\partial C/\partial z\_\_{}_j^{}$Sea
$$\begin{array}{rl}{d}_j^{}& =\frac{\partial C}{\partial z_j^{}}\\ & =\underset{k}{}\frac{\partial C}{\partial z_k^{l+}}\frac{\partial z_k^{l+}}{\partial z_j^{}}\\ & =\underset{k}{}\frac{\partial z_k^{l+}}{\partial z_j^{}}{d}_k^{l+}\end{array}$$
La última línea intercambia los dos términos de la derecha y sustituye $d_k^{l+}$La definición de realiza correspondientemente la sustitución del error de la capa inferior. Para evaluar la última fila, expanda
$$z_k^{l+}=\underset{j}{}{w}_{kj}^{l+}{a}_j^{}+b_k^{l+}=\underset{j}{}{w}_{kj}^{l+}pag\left(z_j^{}\right)+b_k^{l+}$$
Diferenciarlo para obtener
$$\frac{\partial z_k^{l+}}{\partial z_j^{}}=w_{kj}^{l+}{pag}^{\prime }\left(z_j^{}\right)$$
volviendo a la fórmula original, habrá
$$d_j^{}=\underset{k}{}{w}_{kj}^{l+}{d}_k^{l+}{pag}^{\prime }\left(z_j^{}\right)$$
Esta es también la forma componente de (2). Después de introducir el operador del producto Hadamard, se puede escribir la forma vectorial de transferir el error de la capa posterior a la capa frontal, es decir, δ l = ((wl + 1) T δ l +
$$d^{yo}=((w^{l+1}{)}^T{\delta }^{l+1})\odot {pag}^{\prime }(z^l)$$

(3) Tasa de cambio de sesgo

De manera similar a las demostraciones de los dos pasos anteriores, podemos imaginar que la demostración en este momento todavía se desarrolla aplicando la regla de la cadena. Considerando
$$d_j^{}=\frac{\partial C}{\partial z_j^{}}=\frac{\partial C}{\partial {segundo}_j^{}}\frac{\partial {segundo}_j^{}}{\partial z_j^{}}$$
Entre ellos, zjl z_{j}^{l} puede ser$z_j^{}$展开
$$z_j^{}=\underset{k}{}{w}_{jk}^{}{a}_k^{l-}+b_j^{}$$
Ambos lados miran a $b_j^{}$Encuentra la derivada parcial, porque $w_{jk}^{}$con $b_j^{}$irrelevante, porque cada una es una variable que puede cambiar libremente. Entonces
$$\frac{\partial z_j^{}}{\partial {segundo}_j^{}}=1$$
Luego, está la prueba de (3).
$$\frac{\partial C}{\partial {segundo}_j^{}}=d_j^{}$$

(4) Tasa de cambio de peso

De manera similar a la prueba en (3), tenemos
$$d_j^{}=\frac{\partial C}{\partial z_j^{}}=\frac{\partial C}{\partial w_{jk}^{}}\frac{\partial w_{jk}^{}}{\partial z_j^{}}$$
Igual que arriba, General $z_k^{}$展开
$$z_j^{}=\underset{k}{}{w}_{jk}^{}{a}_k^{l-}+b_j^{}$$
Ambos lados al mismo tiempo para $w_{jk}^{}$Encuentre la derivada parcial, $w_{jk}^{}$No sólo con $b_j^{}$no tiene nada que ver con otros pesos, sino solo consigo mismo, por lo que tenemos:
$$\frac{\partial z_j^{}}{\partial w_{jk}^{}}=a_k^{l-}$$
Después de la transformación, hay una prueba de (4)
$$\frac{\partial C}{\partial w_{jk}^{}}=a_k^{l-}{d}_j^{}$$

resumen

A través del proceso de prueba anterior, podemos ver fácilmente cómo devolvemos el error capa por capa a través del algoritmo de retropropagación y actualizamos los principios matemáticos de ponderaciones y sesgos.

Ahora volvemos a mirar la ecuación (1), y en su forma componente, miramos el término ${pag}^{\prime }\left(z_j^{}\right)$ . Mirando hacia atrás a la gráfica de la función sigmoidea, cuando$s\left(z_j^{}\right)$ es aproximadamente 0 o 1, la función sigmoidea se vuelve muy suave, entonces${pag}^{\prime }\left(z_j^{}\right)\approx 0$ . Por lo tanto, si la neurona de salida tiene un valor de activación pequeño (aproximadamente 0) o un valor de activación grande (aproximadamente 1), el aprendizaje de peso de la capa final será muy lento. En este momento, se puede decir que la neurona de salida está saturado, y el aprendizaje de pesotambién terminará (o aprenderá muy lentamente), y la neurona de salida estará sesgada de manera similar. Debido a que analizamos las ecuaciones (3) y (4), podemos encontrar que la actualización de ponderaciones y sesgos en realidad depende del error σ$s\left(z_j^{}\right)$ , y para la capa de salida, el error depende de la derivada de la función de activación${pag}^{\prime }\left(z_j^{}\right)$ , por lo que en un estado saturado, el aprendizaje se vuelve difícil.

Miremos (2) finalmente, observemos el término ${pag}^{\prime }\left(z_j^{}\right)$ , lo que significa que el error se multiplicará por el valor derivado de una función de activación cuando se devuelva a la capa frontal. Para la función sigmoidea, podemos saber que el valor de la derivada está entre 0 y 1. Si el número de capas de la red es grande, cuando se propaga desde la capa de salida a la capa poco profunda, podemos saber que el error se reducirá. Muchas veces, el error eventualmente caerá a un nivel insignificante (cerca de 0), por lo que el aprendizaje superficial se volverá muy difícil, que es ella desaparición del gradiente.

Además, de acuerdo con el análisis en el escenario de saturación de neuronas de la capa de salida, la saturación de interneuronas también conducirá a $d_j^{}$se vuelve pequeño porque ${pag}^{\prime }\left(z_j^{}\right)$ es muy pequeño. Es decir:aprender lentamente ante cualquier entrada de peso a una neurona saturada.

La ecuación de retropropagación es válida para cualquier función de activación. La discusión sobre la función de costo se ignora aquí porque ese es otro contenido, pero se puede demostrar que la inferencia anterior en sí misma no tiene nada que ver con ninguna función de costo específica . Al mismo tiempo, es posible que tengamos nuevas ideas y que la función sigmoidea no sea adecuada como función de activación ideal en algunas aplicaciones. De hecho, diseñar una función de activación con propiedades de aprendizaje específicas es en realidad una parte importante de la red neuronal .

intenta observar

A continuación se muestra un ejemplo simple para ilustrar cómo observar específicamente la actualización iterativa de pesos en una red neuronal: este es un ejemplo del uso de una red neuronal para un ajuste no lineal.

Primero generamos una señal sinusoidal ruidosa (señal no lineal), de la siguiente manera:

x = torch.unsqueeze(torch.linspace(-np.pi, np.pi, 100), dim = 1) # 构建等差数列
y = torch.sin(x) + 0.5*torch.rand(x.size())  # 条件随机数

Luego definimos una estructura de red:

class Net(nn.Module):  # 定义类，存储网络结构
    def __init__(self):
        super(Net, self).__init__()
        self.predict = nn.Sequential(
            nn.Linear(1,10),  # 全连接层，1个输入，10个输出
            nn.ReLU(),  #ReLU激活函数
            nn.Linear(10,1)  # 全连接层，10个输入，1个输出
        )

La función de activación utilizada aquí es la función ReLU. En comparación con la función sigmoidea, ReLU no tiene el problema de la desaparición del gradiente en el intervalo positivo y la derivación de la función es relativamente simple . Es una función de activación comúnmente utilizada en las redes CNN.

Durante el entrenamiento, podemos obtener los pesos correspondientes a la capa completamente conectada llamando al módulo y atravesando las capas, el código correspondiente es el siguiente:

        # 输出权重变化，net.modules返回的是generator类型
        for layer in net.modules():
            if isinstance(layer, nn.Linear):
                print(layer.weight)

El código de todo el proceso es el siguiente:

# 这是一个用神经网络进行函数拟合的函数
import  numpy as np
import torch
import torch.nn as nn
import matplotlib.pyplot as plt

x = torch.unsqueeze(torch.linspace(-np.pi, np.pi, 100), dim = 1) # 构建等差数列
y = torch.sin(x) + 0.5*torch.rand(x.size())  # 条件随机数

class Net(nn.Module):  # 定义类，存储网络结构
    def __init__(self):
        super(Net, self).__init__()
        self.predict = nn.Sequential(
            nn.Linear(1,10),  # 全连接层，1个输入，10个输出
            nn.ReLU(),  #ReLU激活函数
            nn.Linear(10,1)  # 全连接层，10个输入，1个输出
        )

    def forward(self,x):  # 定义前向传播过程
        prediction = self.predict(x)  # 将x传入网络
        return prediction


net = Net()
optimizer = torch.optim.SGD(net.parameters(), lr = 0.05)  # 设置优化器
loss_func = nn.MSELoss()  # 设置损失函数
plt.ion()   # 打开交互模式

for epoch in range(1000):
    out = net(x)   # 实际输出
    loss = loss_func(out, y)  # 实际输出和期望输出传入损失函数
    optimizer.zero_grad()  # 清除梯度
    loss.backward()  # 误差反向传播

    optimizer.step()  # 优化器开始优化
    if epoch % 25 == 0:  # 每25epoch显示
        plt.cla()   # 清除上一次绘图
        plt.scatter(x,y)  # 绘制散点图

        # 输出权重变化，net.modules返回的是generator类型
        for layer in net.modules():
            if isinstance(layer, nn.Linear):
                print(layer.weight)

        plt.plot(x, out.data.numpy(), 'r', lw = 5 )  # 绘制曲线图
        plt.text(0, 0 , f'loss={
      
      loss}',fontdict={
    
    'size':20,'color':'red'})  #  添加文字来显示loss值

        plt.pause(0.1) # 显示时间0.1s

    plt.show()

plt.ioff()  # 关闭交互模式
plt.show()  # 定格显示最后结果

Puede ver el efecto de ajuste mostrado en tiempo real en la interfaz gráfica. A medida que el valor de pérdida disminuye, la red se ajustará gradualmente a la forma de la curva sinusoidal.

También podemos ver los pesos de la red de salida en la consola. Aquí se toma como ejemplo el peso obtenido durante el último entrenamiento, se puede ver una matriz de pesos de 10×1 (1→10) y una matriz de pesos de 1×10 (10→1), que son diferentes a las anteriores. definición La estructura de red de las dos capas completamente conectadas es exactamente correspondiente.

---

Referencia:
"Red neuronal Python y aprendizaje profundo" Autor: [Australia] Michael Nielsen Traductor: Zhu Xiaohu Capítulo 2
"Introducción a la red neuronal Python y combate práctico" Autor: Wang Kai Capítulo 7