1 激活函数
1.1 sigmoid
1.2 tanh
优缺点:
引入更简单更高效的函数:
1.3 ReLU函数
softplus导数正好为sigmoid。
1.4 ReLU函数的变种
2 Dropout
2.1 原理
最后一种方法太耗时。
去掉神经元的同时,输入输出也要去掉。-》得到一个子网络。
训练的时候都会在神经网路中抽样。
r1,r2,r3 取0 or 1.
Dropout可以与其他方法混合使用。
2.2 实验
用dorpout之后,units(参数量)明显增大。
+L2正则以此类推。
CNN草图:真草图!
在CNN和max pooling基础上,在全连接层加入dropout后效果更佳。
在6层神经网路上加入dropout,同理。
2.3 作者重点分析的一些特点
学习到更通用的特征。
大量的神经元都没有被激活,位于0周围。
左图过拟合。右图控制期望神经元数量(左图控制神经元数量)。
这张图说明dropout
的权值缩放效果很好。