Normalization的作用，LN，BN，WN

参考资料：https://zhuanlan.zhihu.com/p/33173246?utm_source=wechat_session&utm_medium=social&utm_oi=611573545537507328

一般使用bn的话，对于模型的初始化要求没那么高，但是最终的结果可能没那么好。

1.原始数据需要whitening的原因：

让数据尽可能的保持独立同分布。

1.数据已经正则了为什么还需要各种Normalization

深层训练困难因为数据在过了某些层之后，如果不进行正则的话，每一层更新后上层参数获得的输入分布会再一次变化，高层的数据分布变化的会很厉害，所以参数更新策略很重要。如果每一层的结果都能够进行normalization的话分布相对统一，可以避免每层接收分布不同产生的影响。