深度神经网络:层次非常深的神经网络
归一化:把输入数据做一个规整,使得它均值为0,方差为1。
Min-max归一化:x’=(x-min)/(max-min)
Z-score归一化:x’=(x-u)/O
批归一化:把归一化的思路从输入数据上,扩展到网络的每层激活值上。
左图:未归一化,等高线是椭圆,在椭圆上计算梯度时,指向的不一定是圆心,训练轨迹曲折。
右图:归一化,等高线是正圆。法线方向对着圆心。
Dropout:随机丢弃神经单元
作用:防止过拟合(训练集上很好,测试集上不好,参数太多,记住样本,不能泛化)