En las redes neuronales recurrentes, las capacidades de la memoria se dividen en memoria a corto plazo, memoria a largo plazo y memoria a largo plazo.
1. Memoria a corto plazo
La memoria a corto plazo se refiere al estado oculto h en una red neuronal recurrente simple. Debido a que el estado oculto h almacena información histórica, pero el estado oculto se reescribirá en cada momento, puede considerarse como una memoria a corto plazo (memoria a corto plazo).
2. Memoria a largo plazo
La memoria a largo plazo se refiere a los parámetros de la red aprendidos por la red neuronal. Debido a que los parámetros de la red generalmente se actualizan después de que se completan todos los cálculos "hacia adelante" y "hacia atrás", lo que implica la experiencia aprendida de todos los datos de entrenamiento, y el ciclo de actualización es mucho más lento que la memoria a corto plazo, considérelo como a largo plazo. memoria.
3. Memoria a largo y corto plazo
En la red LSTM, debido a la existencia de la puerta de olvido, si elige olvidar la mayor parte de la información histórica, la información almacenada en el estado interno c tiende a ser de corto plazo, y si elige olvidar solo una pequeña parte. de la información histórica, entonces el estado interno tiende a almacenar información a más largo plazo, por lo que el ciclo histórico de la información almacenada en el estado interno c es más largo que la memoria a corto plazo h, y más corto que la memoria a largo plazo (parámetros de red ), por eso se le llama memoria larga y corta (memoria larga y corta).