【AI】_03_LSTM & GRU

 

---

【一】 Long Short Term Memory Network（长短期记忆）

通过三个门，遗忘门，输入门，输出门，控制信息的流动，解决梯度消失问题

---

【二】 Forget / Input / Output Gate（3个门）

• Forget Gate（遗忘门，0~1）
   
  $\bm {f ^ { ( t ) }} = \sigma ( w _ { f } \cdot h _ { (t - 1) } + u _ { f } \cdot x _ { t } + b_f) \;--\;(w_f, u_f, b_f)$

• Input Gate（输入门，0~1）
   
  $\bm {i ^ { ( t ) }} = \sigma ( w _ { i } \cdot h _ { (t - 1) } + u _ { i } \cdot x _ { t } + b_i) \;--\;(w_i, u_i, b_i)$

• Ouput Gate（输出门，0~1）
   
  $\bm {o ^ { ( t ) }} = \sigma ( w _ { o } \cdot h _ { (t - 1) } + u _ { o } \cdot x _ { t } + b_o) \;--\;(w_o, u_o, b_o)$

• Extra Information（在 $t$ 时刻额外得到的信息）
   
  $\bm {\tilde { c } ^ { ( t ) }}= tanh ( w _ { c } \cdot h _ { (t - 1) } + u _ { c } \cdot x _ { t } + b_c) \;--\;(w_c, u_c, b_c)$

• Final Information（在 $t$ 时刻最终的信息， $\circ$ 表示向量相乘）
   
  $\bm {{ c } ^ { ( t ) }} = f^{(t)} \circ c^{(t-1)} + i^{(t)} \circ \tilde { c } ^ { ( t ) }$

• Final hidden layer（通过那些信息计算 $h_t$）
   
  $\bm {{ h } _ { t }} = o^{(t)} \circ tanh{(c^{(t-1)})}$

---

【三】 LSTM 应用场景

 

---

【四】 Bi-LSTM（双向 LSTM）

---

【五】 RNN · LSTM · Bi-LSTM - 对比

---

【六】 GRU - Gate Recurrent Unit

• 模型架构

• Update Gate（更新门）：在 $t$ 时刻会有新的数据，从该信息中心抽取多少的信息，放到 $h_t$ 里面
   
  $\bm {u ^ { ( t ) }} = \sigma ( w _ { u } \cdot h _ { (t - 1) } + u _ { u } \cdot x _ { t } + b_u) \;--\;(w_u, u_u, b_u)$

• Reset Gate（重置门）：和 LSTM 的 Forget Gate 类似，忘记或保留多少旧的信息
   
  $\bm {r ^ { ( t ) }} = \sigma ( w _ { r } \cdot h _ { (t - 1) } + u _ { r } \cdot x _ { t } + b_r) \;--\;(w_r, u_r, b_r)$

• Extra Information（在 $t$ 时刻额外得到的信息）
   
  $\bm {\tilde { c } ^ { ( t ) }} = tanh ( w _ { c } \cdot (r^{(t)} \circ h _ { (t - 1) }) + u _ { c } \cdot x _ { t } + b_c) \;--\;(w_c, u_c, b_c)$

• Final hidden layer（通过那些信息计算 $h_t$）
   
  $\bm {{ h } _ { t }} = (1-u^{(t)}) \circ h_{(t-1)} + u^{(t)} \circ \tilde { c } ^ { ( t ) }$