序文
ターゲット検出アルゴリズムでは、焦点損失がよく発生しますが、今回はこの損失を単純に分割します。
1. 焦点損失
深層学習のトレーニング中に、ターゲット カテゴリのバランスが崩れているときに損失関数を直接計算すると、最終的な計算結果が共通のカテゴリ、低い再現率、モデルの過学習などの問題に偏る可能性があります。この問題に対処するために、 が導入されましたFocal Loss。具体的には、調整可能なパラメータγ \gammaFocal Lossが導入されます。γは、分類しやすいサンプルと分類しにくいサンプルの間の重み関係を調整するために使用されます。γ \ガンマのときγの値が低い場合、モデルは分類しやすいサンプルにより多くの注意を払います。γの値が大きいほど、モデルは困難なサンプルにより多くの注意を払います。Focal LossFL ( pt ) = − α ( 1 − pt ) γ log ( pt
) FL(p_t) = -\alpha(1 - p_t)^\gamma \log(p_t)F L ( pた)=− a ( 1−pた)cログ( p _た)
ターゲット検出では、アルゴリズムが第 1 段階で 1 回スクリーニングされており、第 2 段階の候補フレームによって正サンプルと負サンプルの深刻な不均衡が引き起こされないため、通常はアルゴリズムで使用されますFocal Loss。たとえば、画像では、ターゲットは通常比較的小さく、通常は最も正しいものの数十個ですが、候補ボックス選択を使用する場合、設定する候補ボックスの数は比較的大きく、損失を設定すると通常は数万になります。各ターゲットが に寄与する場合、ターゲットの損失はわずか数百であり、残りの候補ボックスが寄与する損失は に設定され、背景の損失も数千に達すると、ネットワークは非常に懸念します。 - ターゲット、つまり背景があると、非常に悪い検出結果が得られます。 短い答えは 1 文の機能を要約しています。実際には、ネットワークにハイパーパラメータを設定し、ネットワークに正サンプルと負サンプルの重み係数を独自に学習させて、ネットワークがターゲットとターゲットへの焦点のバランスを取ることができるようにします。どちらかの側に有利にならないように、背景を描きます。例を見てください。ここで、これは予測確率を表し、実際のラベルを表し、通常のクロスエントロピー損失を表しています。これは、計算がγ = 2、α = 0.5 \gamma=2、\alpha=0.5 に基づいていることを意味します。one-stagetwo-stage100.1Focal LosspyCEFLFocal Lossc=2 、ある=計算上は0.5。
| p | y | CE | フロリダ州 | CE/FL |
|---|---|---|---|---|
| 0.9 | 1 | 0.105 | 0.00026 | 400 |
| 0.968 | 1 | 0.033 | 0.000008 | 3906 |
| 0.1 | 0 | 0.105 | 0.00079 | 133 |
| 0.032 | 0 | 0.033 | 0.000025 | 1302 |
| 0.1 | 1 | 2.3 | 0.466 | 4.9 |
| 0.9 | 0 | 2.3 | 1.4 | 1.6 |
Focal Loss上記の例から、分割しやすいサンプルでは重量比を大幅に下げることができ、分割が難しいサンプルでは重量比をわずかに減らすことができることが わかります。使用中はFocal Lossノイズの影響を受けやすくなります。ここで質問があります: Fと(陽性サンプルと陰性サンプルのサンプリング)
の違いは何ですか?ocal LossOHEM
2. まとめ
意味：
Focal Lossの重要なアイデアは、調整可能なパラメーターを導入することです。これは、簡単なサンプルの重みを軽減し、モデルが難しいサンプルにより注意を払うようにするために使用されます。OHEM(Online Hard Example Mining)は、クラスの不均衡の問題を解決するためのトレーニング戦略です。OHEM各トレーニング反復で少数の難しい例を選択し、それらをトレーニング セットに追加することで、難しい例に関するモデルの学習能力が向上します。違い：
Focal Lossは損失関数ですOHEMがトレーニング戦略です。Focal Lossこれは主に、トレーニングに対する単純なサンプルの影響を軽減し、難しいサンプルに対するモデルの学習能力を向上させるために使用されます。モデルの学習能力は主に、OHEM困難なサンプルをマイニングすることによって強化されます。
以上がFocal Lossについての紹介でしたが、間違いがあればご指摘ください！