对梯度回传的理解

神经网络的每一层可以看做是使用一个函数对变量的一次计算。在微分中链式法则用于计算复合函数的导数。反向传播时一种计算链式法则的算法，使用高效的特定运算顺序。

设x是实数，f和g是从实数映射到实数的函数。假设y=g(x)并且z=f(g(x))=f(y)。那么链式法则说的是

$\frac{dz}{dx}=\frac{dz}{dy}\frac{dy}{dx}$

可以将这种标量情况进行扩展。假设x $\in$ $R^m$ ，y $\in$ $R^n$ ，g是从 $R^m$ 到 $R^n$ 的映射，f是从 $R^n$ 到R的映射。如果y=g(x)并且z=f(y)，那么

$\frac{dz}{dx_i}=\sum_j\frac{dz}{dy_i}\frac{dy}{dx_i}$

使用向量记法，可以等价地写成

$\bigtriangledown_x z = (\frac{\partial y}{\partial x})^T \bigtriangledown_yz$

这里 $\frac{\partial y}{\partial x}$ 是g的nxm的Jacobian矩阵。

从这里我们看到，变量x的梯度可以通过Jacobian矩阵 $\frac{\partial y}{\partial x}$ 和梯度 $\bigtriangledown_yz$ 乘积来得到。反向传播算法由由图中每一个这样的Jacobian梯度的乘积操作所组成。通常我们将反向传播算法应用于任意维度的张量，而不仅仅是用于向量。从概念上讲，这与使用向量的反向传播完全相同。唯一区别的是如何将数字排成网络以形成张量。可以想象，在运行反向传播之前，将每个张量变平为一个向量，计算一个向量值梯度，然后将该梯度重新构造成一个张量。从这种重新排列的观点上看，反向传播仍然只是将Jacobian乘以梯度。

为了表示值z关于张量X的梯度，记为 $\triangledown _X z$ ，就像X是张量一样。X的索引现在有多个坐标------例如，一个3维的张量由3个坐标索引。可以通过使用单个变量i来表示完整的索引元组，从而完全抽象出来。对所有可能的元组i， $\triangledown _X z_i$ 给出 $\frac{\partial z}{\partial X_i}$ 。这与向量中索引的方式完全一致， $(\triangledown _x z)_i$ 给出 $\frac{\partial z}{\partial X_i}$ 。使用这种记法，可以写出适用于张量的链式法则。如果Y=g(X)并且z=f(Y)，那么

$\triangledown _x z =\sum_j(\triangledown _X Y_j)\frac{\partial z}{\partial Y_j}$

对梯度回传的理解

猜你喜欢