cs231n----训练神经网络（激活函数、数据预处理、权重初始化、批标准化、超参数优化、正则化、迁移学习）

激活函数

sigmoid函数的缺点

tanh

Relu优点

Leaky Relu

扫描二维码关注公众号，回复： 2708165 查看本文章

ELU

Maxout

激活函数使用意见

数据预处理

PCA和白话

图片数据的使用意见：通常只做中心化处理，不做标准化方差和PCA、白化

权值初始化：具有零均值和1E-2标准偏差的高斯分布

批量归一化

超参数优化

总结

优化算法的拓展

加入动量项，不易陷入鞍点