【深度学习】深度学习中的Normalization

1 前言

  在debug深度学习模型时,经常会看到normalization操作。但是要一查这个操作到底有啥用处时,经常会看到同一个答案:使得神经网络每一层的分布一致,那么不禁就要问为什么一致就会使得模型的性能提高,本篇文章尝试去了解这个问题的始末。
  本篇博客主要是基于参考文献【1】的知识框架结合个人理解和其它文献整理而成,如有错误或者侵权请各位大佬在文末留言。

2 为什么需要 Normalization

参考文献

[1]详解深度学习中的Normalization,BN/LN/WN
[2]深度学习中的Normalization模型
[3]深度学习中的归一化(normalization)和正则化(regularization)
[4]Pytorch常用张量操作以及归一化算法实现

猜你喜欢

转载自blog.csdn.net/zfhsfdhdfajhsr/article/details/127731788