lstm一共有四个重要公式。
- f:忘记门,对拼接结果取sigmoid表示是否丢弃先前结果。
- i:更新门,对拼接结果取sigmoid表示先前结果是否需要更新。
- g:加工门,对拼接结果取tanh表示先前结果需要左何等程度更新。
i与g做点乘,表示更新结果c'。
f与ci-1点乘+更新结果C'得到新的细胞状态Ct。
- o:同步门,取sigmoid表示是否需要同步。
新的细胞结果取tanh点乘o表示对需要同步的细胞左何等程度更新,得到新的ht。
lstm一共有四个重要公式。
i与g做点乘,表示更新结果c'。
f与ci-1点乘+更新结果C'得到新的细胞状态Ct。
新的细胞结果取tanh点乘o表示对需要同步的细胞左何等程度更新,得到新的ht。