1. 神经网络概览

在这里插入图片描述

对于以往由逻辑单元组成的简单神经网络，我们对其计算过程已经大致了解。接下来我们类比于浅层神经网络中。

算法过渡：
在这里插入图片描述
逐步求解：

第一层根据输入计算 $z^{[1]}$ ，然后计算第一层的输出 $a^{[1]}$ 。
在这里插入图片描述

把第一层的输出 $a^{[1]}$ 作为第二层的输入, 计算 $z^{[2]}$ , 代入 sigmoid 函数, 得到输出 $a^{[2]}$ , 进而计算损失函数。
在这里插入图片描述
还有反向的求导过程。

2. 神经网络的表示

在这里插入图片描述

3. 神经网络的输出

在这里插入图片描述
每个神经网络单元的工作包括两部分：计算 $z$ ，然后根据激活函数 (sigmoid) 计算 $\sigma(z)$
$\begin{array}{ll} z_{1}^{[1]}=w_{1}^{[1] T} x+b_{1}^{[1]}, & a_{1}^{[1]}=\sigma\left(z_{1}^{[1]}\right) \\ z_{2}^{[1]}=w_{2}^{[1] T} x+b_{2}^{[1]}, & a_{2}^{[1]}=\sigma\left(z_{2}^{[1]}\right) \\ z_{3}^{[1]}=w_{3}^{[1] T} x+b_{3}^{[1]}, & a_{3}^{[1]}=\sigma\left(z_{3}^{[1]}\right) \\ z_{4}^{[1]}=w_{4}^{[1] T} x+b_{4}^{[1]}, & a_{4}^{[1]}=\sigma\left(z_{4}^{[1]}\right) \end{array}$
[ layer ] 上标表示第几层，下标表示该层的第几个节点。
在这里插入图片描述

输入一个样本的特征向量，四行代码计算出一个简单神经网络的输出，那么输入多个样本呢？请往下看。

4. 多样本向量化

对于 $\mathrm{m}$ 个样本, $(\mathrm{i})$ 表示第 $\mathrm{i}$ 个样本
$\begin{aligned} z^{[1](i)} &=W^{[1](i)} x^{(i)}+b^{[1](i)} \\ a^{[1](i)} &=\sigma\left(z^{[1](i)}\right) \\ z^{[2](i)} &=W^{[2](i)} a^{[1](i)}+b^{[2](i)} \\ a^{[2](i)} &=\sigma\left(z^{[2](i)}\right) \end{aligned}$
为了向量化计算，进行堆叠

注意：
列向看，对应于不同的特征，就是神经网络中的该层的各个节点；
行向看，对应于不同的训练样本。

5. 激活函数

在这里插入图片描述

tanh激活函数是 sigmoid的平移伸缩结果，其效果在所有场合都优于sigmoid，tanh几乎适合所有场合。例外是，二分类问题的输出层，想让结果介于 0，1之间，所以使用 sigmoid 激活函数。

tanh、 sigmoid两者的缺点：在特别大或者特别小 $z$ 的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。

激活函数的选择经验：

如果输出是0、1值（二分类问题），输出层选择sigmoid函数，其它所有单元都选择Relu函数；
sigmoid函数需要进行浮点四则运算，在实践中，使用ReLu激活函数学习的更快；
隐藏层通常会使用Relu激活函数。有时，也会使用tanh激活函数，但Relu的一个缺点是：当是负值的时候，导数等于0；
另一个版本的Relu被称为Leaky Relu，当是负值时，这个函数的值不等于0，而是轻微的倾斜，这个函数通常比Relu激活函数效果要好，尽管在实际中Leaky ReLu使用的并不多。