四种Normalization(标准化)简要介绍

Normalization简要介绍


本文将对以下四种Normalization进行简要介绍:

  • Batch Norm
  • Layer Norm
  • Instance Norm
  • Group Norm

具体图示如下(图源自B站同济子豪兄):
在这里插入图片描述


  • Batch Norm:对N张图片(即1个batch)的某个通道进行标准化。
  • Layer Norm:对某张图片所有通道进行标准化。
  • Instance Norm:对某张图片某个通道进行标准化。
  • Group Norm:介于Instance NormLayer Norm之间,对某张图片某些通道进行标准化。

大功告成!最后感谢小伙伴们的学习噢~

猜你喜欢

转载自blog.csdn.net/weixin_43800577/article/details/124929870
今日推荐