14.为什么LSTM模型中存在sigmoid与tanh两种激活函数,而不是选择一种

二者目的不一样。

sigmoid用在了各种gate上,产生0~1之间的值,这个使用sigmoid最直接,相当于要么是1则记住要么是0则忘掉。tanh用在了状态和输出上,是对数据的处理,这个也可以用其他激活函数。

发布了371 篇原创文章 · 获赞 36 · 访问量 6万+

猜你喜欢

转载自blog.csdn.net/strawqqhat/article/details/105175269