吴恩达深度学习总结(4)

深层神经网络

对于deaplearning而言，隐藏层的数目越多，表明神经网络越深。logistic regression是没有隐藏层的。

神经网络每一层参数的维度

神经网络共有 $L$ 层， $n^{[l]}$ 表示每一层节点的个数，用 $n^{[0]}$ 表示输入数据的维度，那么 $W^{[l]}$ 的维度为 $(n^{[l]}, n^{[l-1]})$， $b^{[l]}$ 的维度为 $(n^{[l]},1)$。 $dW^{[l]}$ 的维度与 $W^{[l]}$ 一致， $db^{[l]}$ 的维度与 $b^{[l]}$ 一致。
$Z^{[l]}$ 和 $A^{[l]}$ 的维度一致，均为 $(n^{[l]}, 1)$，若输入为 $m$ 个，那么 $Z^{[l]}$ 和 $A^{[l]}$ 为 $(n^{[l]}, m)$。loss function的维度为 $(1, 1)$

为什么要使用深层神经网络

1. 深层神经网络中，层数越靠后的隐藏层一个节点所包含的信息越多，可以更好的提取信息。
2. 对比浅层神经网络， 使用深层神经网络可以减少计算function的数目。
3. 深层神经网络可以完成浅层神经网络不能完成的任务。

Parameters 和 Hyper parameter

简单的来说神经网络本身的权重称为parameter，可以控制神经网络权重变化的参数称为hyper parameter。
parameter： $W$， $b$
hyper parameter: learning rate，#iterations， #hidden layers L

由于这周内容基本上是上周内容的延伸，所以总结比较少