LSTM es una extensión del concepto básico de redes neuronales recurrentes, y también hay varias otras extensiones. Todas estas extensiones no son más que un ajuste fino del número de puertas u operaciones intracelulares. Por ejemplo, la unidad de bucle cerrado combina ramas de selección de candidatos en la puerta de olvido y la puerta de candidatos en una puerta de actualización. Esta puerta reduce la cantidad de parámetros que deben aprenderse y se ha demostrado que es comparable al LSTM estándar, mientras que la sobrecarga computacional es mucho menor.
Estructura:
GRU: hay dos entradas y dos salidas
Keras proporciona una capa GRU, podemos usarla como LSTM, como el código:
from keras.models import Sequential
from keras.layers import GRU
model = Sequential()
model.add(GRU(num_neurons, return_sequences=True, input_shape=X[0].shape))