ニューラルネットワークモデルは、ランダムな初期化パラメータを必要とする理由

ニューラルネットワークでは、通常はランダムな初期モデルパラメータを必要とします。以下は、そうする理由を説明。

出力部は、出力層のみが残っていると仮定すると、多層パーセプトロンモデルが設けられています。 $O_1$、そして同じ活性化関数を使用して隠された層。隠れユニットのそれぞれのパラメータを同じ値に初期化される場合、算出された各隠れユニットは、前方伝播における同一の入力から同じ値であり、出力層に伝達されます。

バックプロパゲーションでは、パラメータ勾配値は、各隠れユニットに等しいです。したがって、反復最適化アルゴリズムが残っを使用して、これらのパラメータに基づいて、勾配の値に等しいです。反復の後にも。この場合には、どんなに多くの隠れユニット、劇中の隠れた単位の本質では、唯一の1つの隠れ層。

このように、ニューラルネットワークのモデルパラメータは、通常、特にランダム重みパラメータの初期化です。ランダムに多くの方法が存在するモデルパラメータを初期化することは、通常のランダム初期化方法で使用することができます。

ザビエルランダム初期化と呼ばれる一般的に使用されるランダムな初期化メソッドもあります。入力層の全体数が接続されていると、出力Bの数、ザビエルランダムな初期化は、重みパラメータの重みの各要素の層が均一のランダムサンプリングに分布している原因となります $U（ - \ SQRT {\ FRAC {6} {+のB}}、\ SQRT {\ FRAC {6} {+のB}}）$その設計を考慮した、モデルパラメータの初期化は、各レイヤの出力変動は、入力された番号の影響によって影響されるべきではない、及び勾配の各々は、出力層の数の変動に影響されません。