李宏毅深度学习

1 Basic Structures for Deep Learning Models

y是由 $h'$运算得到的




与下一个LSTM单元相连

3 Computational Graph and Backpropagation

计算图的方式：


注：代价值 C 是一个常数

$\frac{\partial C}{\partial y}$ 是一个长条状，一行多列。
softmax 得到的不是 diagonal matrix，因为所有的 z 都会影响每一个 $y_i$


注：将 $W^2_{mn}$ 平铺，共有 m*n 个元素



左右两边结果一样

4 Language Model