序列模型(4)----门控循环单元(GRU)

一、GRU

其中, rt表示重置门,zt表示更新门。

  • 重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门)

当rt趋于0的时候,前一个时刻的状态信息ht−1会被忘掉,隐藏状态h^t会被重置为当前输入的信息。

  • 更新门决定是否要将隐藏状态更新为新的状态h^t(作用相当于 LSTM 中的输出门) 。

二、GRU的优点:解决梯度消失的问题

猜你喜欢

转载自www.cnblogs.com/Lee-yl/p/10066246.html
今日推荐