Introducción al aprendizaje profundo (62) Red neuronal recurrente - Red neuronal recurrente profunda

prefacio

El contenido principal proviene del enlace 1 del blog. Enlace 2 del blog. Espero que puedas apoyar mucho al autor.
Este artículo se usa para registros para evitar el olvido.

Redes neuronales recurrentes - Redes neuronales recurrentes profundas

cursos

Resumen: redes neuronales recurrentes

Actualizar estado oculto: $h_{}=\varphi (W_{}{h}_{t-}+W_h{X}_{t-})+b_{}$
Exportar: $o_{}=\varphi (W_{hola}{h}_{}+b_{})$

¿Cómo obtener más no linealidad?

PLANA：No linealidad en las unidades

$h_{}=\varphi (W_{}{h}_{t-}+W_h{X}_{t-})+b_{}$
$o_{}=\varphi (W_{hola}{h}_{}+b_{})$

Reemplazar $\varphi$

Más adentro

Resumir

• Las redes neuronales recurrentes profundas usan múltiples capas ocultas para una mayor no linealidad

cursos

Hasta ahora, solo hemos discutido las redes neuronales recurrentes con una capa oculta unidireccional. La forma en que las variables ocultas y las observaciones interactúan con la forma funcional específica es bastante arbitraria. Este no es un gran problema siempre que haya suficiente flexibilidad en el modelado de los tipos de interacción. Sin embargo, esto puede ser bastante desafiante para una sola capa. Anteriormente, en modelos lineales, resolvimos este problema agregando más capas. Y en las redes neuronales recurrentes, primero debemos descubrir cómo agregar más capas y dónde agregar la no linealidad adicional, por lo que este problema es un poco más complicado.

De hecho, podemos apilar varias capas de redes neuronales recurrentes, lo que da como resultado un mecanismo flexible a través de la composición de unas pocas capas simples. En particular, los datos pueden relacionarse con pilas de diferentes capas. Por ejemplo, es posible que deseemos mantener disponibles los macrodatos sobre las condiciones del mercado financiero (bajista o alcista), mientras que los microdatos solo capturan la dinámica temporal a más corto plazo.

La siguiente figura muestra una red neuronal recurrente profunda con N capas ocultas, cada estado oculto pasa continuamente al siguiente paso de tiempo de la capa actual y al paso de tiempo actual de la siguiente capa.

1 Dependencias funcionales

Podemos formalizar las dependencias funcionales en la arquitectura profunda, que LL describe en la figura anterior$Consta\; de\; L$ capas ocultas. Las discusiones posteriores se centran en los modelos clásicos de redes neuronales recurrentes, pero estas discusiones también son aplicables a otros modelos de secuencias.

Supongamos que en el paso de tiempo $t$ tiene un pequeño lote de datos de entrada$X_{}\in R^{n\times d}$ (número de muestras:$n$ , el número de entradas en cada muestra:$d$ ). Al mismo tiempo,${yo}^{ª}$ capa oculta ($yo=1,\dots ,L$）El estado oculto se establece en$H_t^{(l}\in R^{n\times h}$ (número de unidades ocultas:$h$ ), la variable de la capa de salida se establece en$O_{}\in R^{n\times q}$ (Número de salidas:$q$）。 设置$H_t^{(0}=X_{}$, el $El\; estado\; oculto\; de\; la\; capa\; oculta\; l$ usa la función de activación${\varphi }_{}$，则：
$$H_t^{(l}={\varphi }_{}(H_t^{(l-1}{W}_{xh\_}^{(l}+H_{t-1}^{(l}{W}_{S.S}^{(l}+b_h^{(l}),$$
donde, peso$W_{xh\_}^{(l}\in R^{h\times h}$ ,$W_{S.S}^{(l}\in R^{h\times h}$ y sesgo$b_h^{(l}\in R^{1\times h}$ es el$Los\; parámetros\; del\; modelo\; de\; las\; l$ capas ocultas.

Finalmente, el cálculo de la capa de salida se basa únicamente en el ll-ésimoEl estado oculto final de$l$
$$O_{}=H_t^{(L}{W}_h+b_{},$$
donde, el peso$W_h\in R^{h\times q}$ y sesgo$b_{}\in R^{1\times q}$ son los parámetros del modelo de la capa de salida.

Al igual que el perceptrón multicapa, el número de capas ocultas $L$ y el número de unidades ocultas$h$ es un hiperparámetro. Es decir, pueden ser ajustados por nosotros. Además, reemplaza$H_t^{(l}={\varphi }_{}(H_t^{(l-1}{W}_{xh\_}^{(l}+H_{t-1}^{(l}{W}_{S.S}^{(l}+b_h^{(l}),$ el estado oculto en , se puede obtener fácilmente en una red neuronal recurrente cerrada profunda o en una red neuronal profunda de memoria a corto plazo.

2 Implementación concisa

Muchos de los detalles lógicos necesarios para implementar redes neuronales recurrentes multicapa están disponibles en la API de alto nivel. Para simplificar, solo demostramos implementaciones usando tales funciones integradas. Tomando el modelo de red LSTM como ejemplo, el código es muy similar al código que usamos anteriormente en la sección LSTM, la única diferencia es que especificamos el número de capas en lugar de usar el valor predeterminado de una sola capa. Como de costumbre, comenzamos cargando el conjunto de datos.

import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)

Las decisiones arquitectónicas, como elegir hiperparámetros, también son muy similares a las de la sección LSTM. Dado que tenemos diferentes fichas, se elige el mismo número tanto para la entrada como para la salida, es decir vocab_size, . El número de unidades ocultas sigue siendo 256. La única diferencia es que ahora pasamos num_layersel valor para establecer el número de capas ocultas.

vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
device = d2l.try_gpu()
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)

3 Entrenamiento y Predicción

Dado que el modelo de red LSTM se usa para instanciar dos capas, la velocidad de entrenamiento se reduce considerablemente.

num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)

producción:

perplexity 1.0, 224250.2 tokens/sec on cuda:0
time travelleryou can show black is white by argument said filby
travelleryou can show black is white by argument said filby

4 Resumen

• En las redes neuronales recurrentes profundas, la información del estado oculto se pasa al siguiente paso de tiempo de la capa actual y al paso de tiempo actual de la siguiente capa.

• Hay muchos sabores diferentes de redes neuronales recurrentes profundas, como redes de memoria a corto plazo, unidades recurrentes cerradas o redes neuronales recurrentes clásicas. Estos modelos están cubiertos en las API de alto nivel de los marcos de aprendizaje profundo.

• En general, las redes neuronales recurrentes profundas requieren un ajuste extenso de los parámetros (como la tasa de aprendizaje y la poda) para garantizar una convergencia adecuada, y la inicialización del modelo también requiere cuidado.