バッチ正規与層の正規化

 

LN BNと​​本質的な違い:

正規化はバッチで縦正規化、即ち、バッチの方向と同じ層の各ニューロンを正規化、同じ層内の各ニューロンの異なる平均及び分散を有します

層の正規化は、横正規化、即ち、同一層内のすべてのニューロンの同一の平均および分散を有します


 

LN BNと​​の間の差を使用します。

1.バッチサイズが小さすぎると、統計にグローバルな応答情報を取得することは困難であり、使用BNに適していない、とLNは、バッチサイズを気にしません。

情報を符号化する2としてRNN文の長さが考慮され、かつ同一の文の長さのバッチが矛盾することができ、したがって、正規化には問題がある、RNNバッチで使用され、Lnは、横正規化ネットワークRNNに適用することが可能です。

 

おすすめ

転載: www.cnblogs.com/zhufz/p/11352403.html