ポスト LN、プレ LN、サンドイッチ LN

Post-LN (Post-Normalization): Post-LN では、各層の計算後に正規化操作が実行されます。具体的には、入力は最初に 1 つの層を通過し、次に正規化操作を受け、最後に次の層に渡されます。このアプローチにより、レイヤー間の情報の流れが維持され、トレーニング中の勾配の伝播をより適切に制御できるようになります。
Pre-LN (事前正規化): Post-LN とは異なり、Pre-LN の正規化操作は各レイヤーの計算前に実行されます。Pre-LN では、入力は計算のために次の層に渡される前にまず正規化されます。このアプローチにより、層間の結合が軽減され、トレーニング中の勾配の伝播をより適切に制御できます。
Sandwich-LN (サンドイッチ正規化): Sandwich-LN は、Post-LN と Pre-LN を組み合わせた正規化方法です。この方法では、入力は最初に 1 つの層を通過し、次に正規化操作を受けてから次の層に渡されます。次に、次の層の計算の前に別の正規化操作が実行されます。このアプローチでは、層間の情報の流れを維持しながら、Post-LN と Pre-LN の利点のバランスをある程度保つことができます。

層間の情報の流れと層間の結合

層間の情報の流れとは、ニューラルネットワーク内の異なる層間でデータを転送し、情報を交換するプロセスを指します。各層は入力データに対していくつかの計算操作を実行し、計算結果を次の層に渡します。このプロセスでは、情報は入力層から開始され、徐々に出力層に転送され、各層は入力データに対していくつかの操作を実行して、変換と特徴の抽出を行います。情報の流れが良好であれば、入力データの効果的な送信と処理が保証され、ネットワークがデータの特性をより適切に学習して表現できるようになります。
層間の結合とは、異なる層間の相互依存と影響を指します。ニューラルネットワークでは、各層の出力が次の層の入力として使用され、パラメーターの更新と勾配の伝播を通じて層間で情報が転送およびフィードバックされます。層間の結合度が高いほど、層間の依存関係が近くなり、ある層の変更は他の層の計算結果に直接影響します。結合度が高いネットワークは、勾配の消失や勾配の爆発などの問題の影響を受けやすくなり、トレーニングの困難やパフォーマンスの低下につながる可能性があります。

層間の情報の流れは、ネットワーク内のデータの転送と処理に焦点を当てています。良好な情報フローとは、入力データが異なる層間で効果的に転送および処理され、ネットワークがデータの特性をより適切に学習して表現できることを意味します。
レイヤー間の結合では、異なるレイヤー間の相互依存と影響に焦点を当てます。結合度が高いということは、ある層での変更が他の層の計算結果に直接影響し、層間の依存関係が近いことを意味します。結合度が高いネットワークは、勾配の消失や勾配の爆発などの問題の影響を受けやすくなり、トレーニングの困難やパフォーマンスの低下につながる可能性があります。レイヤ正規化では、Pre-LN は各レイヤの計算前に正規化操作が実行されるため、レイヤ間の結合を低減でき、レイヤ間の相互依存度を低減できます。