Normalization简要介绍
本文将对以下四种Normalization进行简要介绍:
- Batch Norm
- Layer Norm
- Instance Norm
- Group Norm
具体图示如下(图源自B站同济子豪兄):
- Batch Norm:对N张图片(即1个batch)的某个通道进行标准化。
- Layer Norm:对某张图片的所有通道进行标准化。
- Instance Norm:对某张图片的某个通道进行标准化。
- Group Norm:介于Instance Norm和Layer Norm之间,对某张图片的某些通道进行标准化。
大功告成!最后感谢小伙伴们的学习噢~