[Aprendizaje profundo] Red neuronal recurrente RNN y modelo de aprendizaje profundo LSTM

1. Red neuronal recurrente RNN (red neuronal recurrente)

Un núcleo de la red neuronal recurrente es que puede utilizar los datos de la secuencia anterior para predecir los resultados posteriores. Cómo lograr esto. La estructura RNN se muestra en la siguiente figura.

Una vez procesada la información de la secuencia anterior, se pasa a la secuencia posterior como información de entrada.

modelo matemático:

$a^1={gramo}_{}(W_{}{a}^0+{W.}_{}{X}^1+b_{})$，$y^1={gramo}_{}(W_{}{a}^0+{W.}_{}{X}^1+b_{})$
$a^2={gramo}_{}(W_{}{a}^1+{W.}_{}{X}^2+b_{})$，$y^2={gramo}_{}(W_{}{a}^1+{W.}_{}{X}^2+b_{})$
……
$a^t={gramo}_{}(W_{}{a}^{t-1}+{W.}_{}{X}^t+b_{})$，$y^t={gramo}_{}(W_{}{a}^{t-1}+{W.}_{}{X}^t+b_{})$

$g$ es la función de activación,$W,b$ es el parámetro de entrenamiento.

2. Diferentes tipos de modelos RNN

Entrada de estructura básica del modelo RNN

: $X^1,X^2,X^2,...,X^i$，输出：$y^1,y^2,y^2,...,y^i$
Estructura RNN de múltiples entradas a múltiples salidas con las mismas dimensiones.
Aplicación: Identificación de información específica.

Estructura RNN de entrada múltiple y salida única

Importar: $X^1,X^2,X^2,...,X^{yo}$ , Salida:$y$
Aplicación: Reconocimiento de emociones

Estructura RNN de entrada única y salida múltiple

Entrada: $xi$，输出：$y^1,y^2,y^2,...,y^i$
aplicación: generador de datos de secuencia, como generación de artículos, generación de música

Entrada de estructura RNN de múltiples entradas y múltiples salidas $X^1,X^2,X^2,...,X^i$，输出：$y^1,y^2,y^2,...,y^j$
Aplicación: Traducción de idiomas

Cuando la red neuronal recurrente bidireccional (BRNN)
emite un juicio, también tiene en cuenta la información de la secuencia posterior.

Las redes neuronales recurrentes profundas (DRNN)
resuelven tareas de secuencia más complejas y se pueden combinar con pilas RNN de una sola capa o conexiones completas antes de la salida.

Defectos de las estructuras RNN ordinarias.

Primero, cuando la información de la secuencia frontal se transmite hacia atrás, el peso de la información disminuye, lo que resulta en la pérdida de información importante. El gradiente desaparece durante el proceso de solución.

En segundo lugar, RNN a veces pierde parámetros durante el proceso de entrenamiento.

En el proceso de minimizar la función de pérdida, el gradiente fluctuará repentina y violentamente, lo que provocará la pérdida de parámetros.

Entonces, ¿por qué sucede esto?
Tome la estructura RNN en la figura siguiente como ejemplo, asumiendo ${W.}^{yo},{W.}^o$ son todos 1 y la longitud de entrada es 1000, entonces$y^{1000}=w^{999}$

asumimos $El\; valor\; inicial\; de\; w$ es 1, enww¿ Qué sucede cuando$w\; cambia\; ligeramente?$

Entonces el problema con RNN es que durante el proceso de entrenamiento, el mismo$w$ se usa repetidamente en diferentes momentos,$Una\; vez\; que\; w$ tenga un impacto, tendrá un gran impacto.

Red de memoria a corto plazo y larga LSTM (memoria a corto plazo)

El uso de LSTM puede optimizar los defectos de la estructura RNN mencionada anteriormente. Agregue celdas de memoria cic^i a la unidad estructural RNN ordinaria original$C^i$ , puede transmitir información sobre partes distantes del frente.

La estructura de LSTM consta de tres puertas, cuatro entradas y una salida. Las tres puertas son la puerta de entrada, la puerta de olvido y la puerta de salida. Utilice estas tres puertas para controlar qué información debe olvidarse y descartarse, qué información debe conservarse o mantenerse sin cambios. Las cuatro entradas son, datos de entrada$Z$ , señal de control de puerta de entrada$z_{}$, olvídate de la señal de control de puerta $z_{}$y señal de control de puerta de salida $z_{}$。

La puerta aquí puede entenderse como una función de activación, esta función de activación suele ser una función sigmoidea, porque el valor de la función sigmoidea está entre 0 y 1, que se utiliza para controlar el cierre y apertura de la puerta.

Supongamos que el valor original almacenado en la memoria $c$ , el valor actualizado es$C^{\prime }=gramo\left(z\right)f\left({z)}_{}\right)+cf\left(z_{}\right)$，$C^{\prime }$ es el nuevo valor almacenado en la memoria. De esta fórmula podemos ver que$f\left(z_{}\right)$ es controlar$¿Se\; puede\; ingresar\; Z$ como nivel?$f\left(z_{}\right)=0$ significa que no hay entrada,$f\left(z_{}\right)=1$ tiene entrada. $f\left(z_{}\right)$ controla si el valor en la memoria se actualizará. $f\left(z_{}\right)=En\; 0$ , olvida que la puerta está abierta y escribe 0 en la celda,$f\left(z_{}\right)=Cuando\; 1$ , pasa directamente y el valor mediano de la celda permanece sin cambios o c. $f\left(z_{}\right)$ controla si hay un valor de salida.

$z_{},z_{},z_{}{z}_{}$Todo por XXLa entrada obtenida multiplicando$X\; por\; la\; matriz\; de\; peso.$Ingrese la secuencia como se muestra a continuación.

LSTM puede resolver el problema de la desaparición del gradiente RNN. Los valores en la memoria RNN se borrarán cada vez, mientras que la memoria en LSTM siempre se superpondrá y solo se borrará a menos que se cierre la puerta.