nn.BatchNorm2D() 詳細分析
paddle.nn.BatchNorm2D(num_features, momentum=0.9, epsilon=1e-05, weight_attr=None, bias_attr=None, data_format='NCHW', name=None):
目的
ニューラル ネットワークの収束プロセスを加速し、トレーニング中の安定性を向上させます
適用シナリオ
通常、多層ニューラル ネットワークの中間層における共分散シフトの問題を解決するために使用されます (使用するのが正しいです)。
行動
(バッチ) フィーチャ マップのバッチが、平均 0、分散 1 の分布法則を満たすようにします。このようにして、データ分布が一貫するだけでなく、勾配の消失も回避されます。
人気の説明
これは、ネットワーク入力のゼロ平均化と分散正規化の操作に似ていますが、中間層の入力に対してのみ操作されます。
パラメータ 説明
- num_features (int) - 入力
Tensorの。 - epsilon (float、オプション) - 数値安定性のために分母に追加する値。デフォルト値: 1e-05。
- 運動量(float、オプション) - この値は
moving_meansum のmoving_var。デフォルト値: 0.9。更新式は上記の通りです。 - weight_attr (ParamAttr|bool、オプション) – 重みパラメータ属性を指定するオブジェクト。False の場合は、