吴恩达神经网络和深度学习笔记(广播,激活函数)

吴恩达神经网络和深度学习笔记

广播

A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行,在numpy中,0轴是垂直的,也就是列,而1轴是水平的,也就是行

reshape 使用数组的reshape方法,可以创建一个改变了尺寸的新数组,原数组的shape保持不变


定义矩阵X等于训练样本,将它们组合成矩阵的各列,形成一个n维或n乘以m维矩阵:
可以通过训练样本来进行索引。这就是水平索引对应于不同的训练样本的原因,这些训练样本是从左到右扫描训练集而得到的

激活函数:使用一个神经网络时,需要决定使用哪种激活函数用隐藏层上,哪种用在输出节点上

在隐藏层上使用函数
: 效果总是优于sigmoid函数。因为函数值域在-1和+1的激活函数,其均值是更接近零均值的
如果使用tanh函数代替sigmoid函数中心化数据,使得数据的平均值更接近0而不是0.5.

方括号上标[1]代表隐藏层,方括号上标[2]表示输出层

sigmoid函数和tanh函数两者共同的缺点:在z特别大或者特别小的情况下,导数的梯度或者函数的斜率会变得特别小,最后就会接近于0,导致降低梯度下降的速度。

往期回顾

吴恩达神经网络和深度学习笔记(广播,激活函数).
神经网络与深度学习笔记汇总一.
神经网络与深度学习笔记汇总二.
神经网络与深度学习笔记汇总三.
神经网络与深度学习笔记汇总四.
神经网络与深度学习笔记汇总五.

猜你喜欢

转载自blog.csdn.net/qq_43337502/article/details/108024140
今日推荐