RNN generalmente no puede usar la deserción porque el peso de RNN tiene un efecto acumulativo, si se usa la deserción, destruirá el proceso de aprendizaje de RNN.
Sin embargo, Google Brain publicó un artículo investigando esto en 15 años: regularización recurrente de redes neuronales
Utilizaron la deserción en la fase acíclica para mejorar el fenómeno de sobreajuste.
El papel usa la omisión en dos lugares, la línea punteada en la figura usa la omisión, la línea continua no se usa
No hay efecto acumulativo de pesos en la fase no cíclica, que no destruirá el proceso de aprendizaje de RNN
Para ver más claramente, haz un dibujo:
El abandono y el abandono recurrente en la figura son ambos abandonos, pero el trabajo está en un lugar diferente y keras también establece parámetros para él:
model.add (LSTM (100, dropout = 0.2, recurrent_dropout = 0.2))
y también podemos usar dropout en la etapa no RNN, como esta:
model.add(..)
model.add(LSTM(10))
model.add(Dropout(0.5))El código anterior significa que el abandono se puede utilizar después de ejecutar LSTM
