バッチノームとレイヤーノームの違い

ヒント:記事作成後に目次を自動生成することもできますが、生成方法については右のヘルプを参照してください。


1. バッチノーム

BatchNorm は通常 CV タスクに使用され、バッチ(N ピクチャ)内の同じチャネルの特徴を正規化します。これは、バッチ内のすべての画像の各レイヤーのピクセルを標準化すると理解できます。


二、レイヤーノーム

LayerNorm は通常 NLP タスクで使用され、現在の層のバッチ内のサンプル(文)のすべての特徴を正規化します。文全体を標準化すると理解できます。


3. まとめ

両者は異なる業務で使用され、機能の次元も異なるため、画像で比較すると誤解を招く可能性があるため、ここではテキストで説明した方が理解しやすいです。

おすすめ

転載: blog.csdn.net/Naturino/article/details/128700638