2019.5.8深度学习技巧

一、数据集准备
二、数据集扩展
使用keras自带的ImageDATaGenerator产生更多的图片
三、数据预处理
1 0均值
2归一化
3 主成分分析
4白化
四、网络的初始化
我们已经知道，神经网络的参数主要是权重（weights）：W， 和偏置项（bias）：b。
训练神经网络的时候需先给定一个初试值，才能够训练，然后一点点地更新，但是不同的初始化方法，训练的效果可能会截然不同。本文主要记录一下不同的初始化的方法，以及相应的效果。
初始化举例
五、网络的过拟合
原因：存在噪音 训练数据太少
解决方法：调整模型的参数数目 ，即模型的层数和规模；
网络权重更新时进行正则化约束；