LSTM（长短期记忆）网络的算法介绍及数学推导

前言

按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容不乏不准确的地方，希望批评指正，共同进步。

本文旨在说明LSTM正向传播及反向传播的算法及数学推导过程，其他内容CSDN上文章很多，不再赘述。因此在看本文前必须掌握以下两点基础知识：

①RNN的架构及算法：RNN作为LSTM的基础，是必须要先掌握的。

夹带私货，推荐自己的文章：基于Numpy构建RNN模块并进行实例应用（附代码）

②LSTM的架构：基于RNN引入上一时刻隐层输出的思想，LSTM又增加了细胞状态$C_t$的概念。$t$时刻的输出除了要参考$t-1$时刻隐层的输出$h_{t-1}$之外，还要参考$t-1$时刻的细胞状态$C_{t-1}$。为了计算细胞状态，引入忘记门、输出门、新记忆门、输出门几个路径。

推荐文章：如何从RNN起步，一步一步通俗理解LSTM 以及此篇文章中引用的文章，都值得好好看下。

基于colah的博客的LSTM结构图，稍微加工下得到下面的原理图：

一、LSTM正向传播算法

这块比较容易，只要严格按照上面原理图，正向传播的算法都容易得出。

1.隐藏层正向传播算法

$t$时刻各个门为：

• 忘记门：$f_t=\sigma (w_f\cdot x_t+v_f\cdot h_{t-1}+b_f)$
• 输入门：$i_t=\sigma (w_i\cdot x_t+v_i\cdot h_{t-1}+b_i)$
• 新记忆门：$g_t=tanh(w_g\cdot x_t+v_g\cdot h_{t-1}+b_g)$
• 输出门：$o_t=\sigma (w_o\cdot x_t+v_o\cdot h_{t-1}+b_o)$

$t$时刻的细胞状态$C_t$为：

$C_t=f_t⨀C_{t-1}+i_t⨀g_t$

$t$时刻的隐层输出$h_t$为：

$h_t=o_t⨀tanh(C_t)$

$\sigma$为Sigmoid函数，⨀为矩阵的哈达马积。

2.输出层正向传播算法

$t$时刻的最终输出为：

$y_t=softmax(w_h\cdot h_t+b_h)$

二、LSTM的反向传播算法

重点，也是LTSM算法的难点来了。

※关于反向传播，始终要牢记其目的是：求解损失函数E关于各个权重的偏导。※

既然有了正向传播的算法公式，那么反向传播就变成了一个求偏导的纯粹数学问题。下面以对忘记门的权重$w_f$求偏导为例，讲解这个过程。

损失函数E对权重$w_f$的偏导为：

这里的E根据损失函数的选择而不同，例如交叉熵损失函数，即为：
$E=-\Sigma y_{true}\cdot ln(y_t)$

可见这个偏导由3个部分组成：

1. 损失函数E对细胞状态$C_t$的偏导

首先我们要明白损失函数E是一个关于$h_0,h_1,h_2...h_n$的函数，即：

$E=L(h_0,h_1,h_2...h_n)$

根据正向传播公式，$h_t$是$C_t$的函数，$C_t$是$C_{t-1}$的函数，即：

$h_t=H(C_t)$
$C_t=F(C_{t-1})$

这样，求损失函数E对细胞状态$C_t$的偏导就成了高等数学中对复合函数求偏导的问题了。

首先计算$t=n$时刻细胞状态的偏导，即E对$C_n$的偏导：

反向传播，再求E对$C_{n-1}$的偏导：

反向传播，再求E对$C_{n-2}$的偏导：

以此类推，容易得出$t$时刻E对$C_t$的偏导：

根据正向传播公式，可以得出：

代入上式，最终得出：

实际上，上式的乘法“ · ”对于矩阵而言，都是哈达马积“⨀”。为了方便理解，均以单个变量而非矩阵的形式为例说明求偏导的过程，下面也是如此，不再特殊说明。

2. 细胞状态$C_t$对忘记门$f_t$的偏导

根据正向传播公式容易得出：

3. 忘记门$f_t$对权重$w_f$的偏导

根据正向传播公式容易得出：

对于Sigmoid函数及上面tanh函数的求导过程略，如果不会CSDN上也能找到具体过程。

最终得出：

至此，LSTM的正向传播及反向传播的过程推导结束。
后面预告下用Python实现它。
----2023.5.1更新----
填坑了，Python实现LSTM的链接：基于NumPy构建LSTM模块并进行实例应用（附代码）