LSTM詳細

なぜTANH？

勾配の消失を克服するために、我々は、関数の二次導関数がゼロ点に到達する前に長い距離を維持することができる必要があります。TANHは、このような性質を有する適切な機能です。

なぜS字を使うのか？

シグモイド関数の出力が0又は1であることができるので、情報を忘れて決定または覚えて使用することができます。