lstm结构及公式

https://blog.csdn.net/lreaderl/article/details/78022724

 lstm一共有四个重要公式。

  • f:忘记门,对拼接结果取sigmoid表示是否丢弃先前结果。
  • i:更新门,对拼接结果取sigmoid表示先前结果是否需要更新。
  • g:加工门,对拼接结果取tanh表示先前结果需要左何等程度更新。

i与g做点乘,表示更新结果c'。

f与ci-1点乘+更新结果C'得到新的细胞状态Ct。

  • o:同步门,取sigmoid表示是否需要同步。

新的细胞结果取tanh点乘o表示对需要同步的细胞左何等程度更新,得到新的ht。

猜你喜欢

转载自blog.csdn.net/silent_crown/article/details/84729071