redes de Memoria a Largo Plazo Corto (en adelante LSTMs), una red RNN especial, la longitud de la secuencia, la red está diseñada para resolver las dependencias largos. La red introducida por Hochreiter y Schmidhuber (1997), y muchos de ellos se han mejorado y popularidad. Su trabajo se ha utilizado para resolver una variedad de problemas, hasta ahora también ha sido ampliamente utilizado.
estado celular, el principal canal de transmisión de los datos de entrenamiento.
Volvamos al ejemplo de lenguaje de predicción basado en modelos han visto una palabra. En este problema, el estado actual de células puede contener el tema del sexo, por lo que los pronombres correctos pueden ser seleccionados. Cuando vemos a un nuevo sujeto, queremos olvidar del tema de edad.
LSTM tres puertas controladas por el estado de la célula, estos tres puertas se denominan olvidar puerta, la entrada y las puertas de salida. La siguiente uno por uno para contar.
ForgetGate
LSTM El primer paso es decidir cuáles son las necesidades de información que se desecha estado celular. Esta parte de la operación se consigue mediante una puerta que se refiere como una célula sigmoide olvidado manejado. Se da salida a un vector entre una vista a través de 0-1 y la información, el valor del vector que es 0-1 células indica que la información de estado está reservado o cuántas descartados. 0 significa que no hay reservas, 1 están reservados. Olvídese de la puerta como se muestra a continuación.
InputGate
decidir si o no para agregar la información a través de la función sigmoide, y prepárate para agregar funciones por los datos TANH, que se pueden añadir a través de los datos de puntos cuyo caso la decisión.
Entra en la puerta para actualizar
la puerta de salida
definitiva, es necesario determinar cuál es el valor de la producción. Este producto se basa en el estado de nuestras células, pero es también una versión del filtro. En primer lugar, corremos para determinar qué parte del estado de la capa de células de un cabo de salida sigmoide. A continuación, se trató el estado celular (para dar un valor entre -1 a 1) y la envía a través de la sigmoide y tanh puerta multiplicando nuestra última instancia, sólo se salida de la salida de la determinación de porción.
En el modelo de lenguaje ejemplo, porque vio un pronombre, es posible que desee a la información de salida relacionada con un verbo. Por ejemplo, si los pronombres de salida pueden ser singulares o negativo, por lo que si se trata de un verbo, también sabemos verbos inflexiones necesitan hacer.
fuente original: https: //www.aboutyun.com/forum.php mod = viewthread y ? tid = 27020
Más Referencia: HTTPS: //zhuanlan.zhihu.com/p/28054589
RNNCell unidad básica en el uso TensorFlow: https: / /www.jianshu.com/p/56243a97322c
Tensorflow rnn_cell notas de lectura API: https: //blog.csdn.net/huang_owen/article/details/80943772
