画像セグメンテーション損失関数の概要

1 はじめに

画像セグメンテーションでは、モデルの最適化による精度の向上が常に注目されており、ターゲット損失関数はアルゴリズム ソリューションの重要な部分として、モデルを迅速に収束させる上で重要な役割を果たします。
記事参照:

画像のセグメンテーションは、ピクセル レベルの分類タスクとして定義できます。画像はさまざまなピクセルで構成されており、これらのピクセルが集まって画像内のさまざまな要素を定義するため、これらのピクセルを要素のクラスに分類する方法はセマンティック画像セグメンテーションと呼ばれます。複雑な画像セグメンテーションに基づいて深層学習アーキテクチャを設計する場合、アルゴリズムの学習プロセスを動機付けるため、どの損失/目的関数を選択するかという重要な選択に遭遇することがよくあります。損失関数の選択は、あらゆるアーキテクチャにとって正しい目的を学習するために重要です。

これは画像セグメンテーションの損失関数をまとめたもので、合計14 個のセグメンテーションの損失関数がまとめられています。それらを4 つのカテゴリに分類します。
分布ベースの損失関数、領域ベースの損失関数、境界ベースの損失関数、および複合ベースの損失関数(分布ベース、領域ベース、境界ベース、および複合)。

論文アドレス: https://arxiv.org/pdf/2006.14822.pdf
コードアドレス: https://github.com/shruti-jadon/Semantic-Segmentation-Loss-Functions
プロジェクト推奨: https://github.com/JunMa11 /セグロス

2. 分布に基づく

2.1 バイナリ クロス エントロピー損失関数 バイナリ クロス エントロピー

クロスエントロピーは、特定の確率変数またはイベントのセットに対する 2 つの確率分布間の差の尺度として定義されます。これは分類タスクに広く使用されており、セグメンテーションはピクセルレベルの分類であるため、うまく機能します。多分類タスクでは、ソフトマックス活性化関数 + クロスエントロピー損失関数がよく使用されます。これは、クロスエントロピーが 2 つの確率分布の差を記述するためですが、ニューラル ネットワークの出力は確率分布の形式ではなくベクトルであるためです。 。したがって、ソフトマックス活性化関数は、ベクトルを確率分布の形式に「正規化」し、クロスエントロピー損失関数を使用して損失を計算する必要があります。

クロスエントロピー損失関数は、各ピクセル ベクトルのクラス予測を個別に評価し、すべてのピクセルで平均するため、画像内のピクセルが均等に学習されると考えることができます。ただし、クラスの不均衡の問題は医療画像でよく発生します。これにより、トレーニングがより多くのピクセルを持つクラスによって支配され、より小さいオブジェクトの特徴を学習することが困難になり、それによってネットワークの有効性が低下します。
最適な使用シナリオは、異なるカテゴリ間でデータが均一に分布していることです。これは、ベルヌーイ分布に基づく損失関数です。

2.2加重バイナリ クロス エントロピー 加重バイナリ クロス エントロピー

**加重バイナリ クロス エントロピー (WCE)** は、バイナリ クロス エントロピーのバリアントです。この例では、正の例が何らかの係数で重み付けされています。データが歪んでいる場合に広く使用されています。
追加された重みは、偽陰性と偽陽性を調整するために使用されます。偽陰性の数を減らしたい場合は、重みを 1 より大きく設定します。同様に、偽陽性の数を減らしたい場合は、重みを 1 未満に設定します。重みは、肯定的な例に使用される係数です。
アプリケーション シナリオ:係数によって測定される、偏ったデータ セットで広く使用されています。

2.3バランスの取れたクロスエントロピー

バランス型クロス エントロピー (BCE) は、加重クロス エントロピーに似ています。唯一の違いは、正の例に加えて、負の例にも重み付けを行うことです。
アプリケーション シナリオ: 加重クロス エントロピーと同様に、正のサンプルと負のサンプルを別々に重み付けする偏ったデータ セットで広く使用されます。

2.4焦点損失

焦点損失 (FL) は、バイナリ クロス エントロピーの変化としても見られます。これにより、簡単な例の寄与が減り、モデルは難しい例の学習にさらに集中できるようになります。非常に不均衡なクラス シナリオに適しています。
焦点損失は、重みを減らしてモデルを軽くし、変調係数を使用してハード ネガティブ サンプルのトレーニングに焦点を当てることを提案します。サンプルを間違って分割した場合、変調係数は 1 に近くなる、つまり元の損失と比べて大きな変化がなくなる傾向があります。分類が正しく、分類が容易なサンプルである場合、変調係数は 0 になる傾向があり、つまり全体の損失への寄与がほとんどありません。
アプリケーション シナリオ: 非常に不均衡なデータ セットの場合、最も効果的に単純な例の寄与を減らし、モデルが難しい例を学習できるようにします。

2.5距離マップから導出された損失ペナルティ項 距離マップから導出された損失ペナルティ項

距離マップは、グラウンド トゥルースと予測マップの間の距離 (ユークリッド距離、絶対距離など) として定義できます。マップを結合するには 2 つの方法があります。1 つは、セグメンテーション用の再構成ヘッドがあるニューラル ネットワーク アーキテクチャを作成する方法、またはそれを損失関数に導入する方法です。同じ理論に従って、GT マスクから距離マップを導き出すことができ、カスタムのペナルティベースの損失関数が作成されます。このアプローチを使用すると、セグメント化が難しい境界領域にネットワークを誘導することが簡単になります。損失関数は次のように定義されます。

アプリケーション シナリオ: セグメント化が困難な境界のクロス エントロピー変数

3. 地域に基づく

3.1ダイスの損失

Dice 係数は、2 つの画像間の類似性を計算するためにコンピューター ビジョン コミュニティで広く使用されている指標です。2016年にはDice lossと呼ばれる損失関数としても採用されました。Dice 係数:セットの類似性を測定するために使用される測定関数です。通常、2 つのサンプル間のピクセル間の類似性を計算するために使用されます。式は次のとおりです。分子に係数 2 がある理由は、分母に繰り返し回数 x と y があるため、値の範囲は [0.1] です。セグメンテーション タスクの場合、x は Ground Truth セグメント化イメージを表し、y は予測されたセグメント化イメージを表します。ダイス損失:ここでは、 のような極端な場合に関数の決定性を保証するために、分子と分母に 1 が追加されます。Dice Loss の使用はサンプルによって非常にアンバランスであり、一般的に Dice Loss を使用するとバックプロパゲーションに悪影響を及ぼし、学習が不安定になります。アプリケーション シナリオ: セグメンテーションの結果を評価するための指標であるサイコロ係数からインスピレーションを得ています。ダイス係数は非凸なので扱いやすく修正されています。

3.2 トベルスキー損失

計算式:

トベルスキー係数は、Dice 係数と Jaccard 係数を一般化したものです。α=β=0.5とした場合$ある=b=0.5$、このときのトベルスキー係数はダイス係数です。そして、$ある=b=1$の場合、トベルスキー係数はジャカード係数です。$、\_\beta \; は$、それぞれ偽陰性と偽陽性を制御します。α 、 β \alpha 、 \betaを調整することで$、\_\beta \; は、$偽陽性と偽陰性の間のバランスを制御できます。トベルスキー指数 (TI) は、サイコロ係数の一般化
として見ることもできます。係数の作用を通じて(偽陽性) と FN (偽陰性)に重みを追加します使用例:偽陽性と偽陰性に重みを追加するサイコロ係数の変形。

3,3 焦点トベルスキー損失

「焦点損失」と同様に、簡単な/一般的な損失の重みを減らすことで、難しい例を説明することに重点を置いています。Focal Tversky Loss は、以下に示すように、γ 係数を使用して小さな ROI (関心領域) の場合などの難しい例も学習しようとします。 Focal Loss アプリケーション シナリオと同様: 難しい例に焦点を当てた Tversky

の
変形

3.4 感度特異性の損失

まず第一に、感度とは再現率、つまり病気が実際に存在することを検出する能力です。

特異性、実際に病気がないことを検出する能力:

感度 特異性損失:

左側は病気のピクセルのエラー率、つまり 1-感度であり、正しい率ではないため、$\lambda$は0.05です。ここで$(r_{}-p_{}{)}^2$は滑らかなグラデーションを得る事です。
Dice 係数と同様に、感度と特異度はセグメンテーション予測を評価するために一般的に使用される指標です。この損失関数では、パラメーターを使用してクラスの不均衡を考慮できます。

3.5 Log-Cosh Dice Loss** (この記事で提案する損失関数)**

ダイス係数は、セグメンテーション出力を評価するために使用されるメトリックです。また、セグメンテーションの目的を数学的に表現できるため、損失関数としても修正されています。しかし、凸面ではないため、何度も最適な結果を達成できません。Lovsz-softmax 損失は、Lovsz 展開を使用して平滑化を追加することで、非凸損失関数の問題を解決することを目的としています。一方、Log-Cosh 法は、曲線を滑らかにするための回帰ベースの問題で広く使用されています。
これはDice係数の改善に相当しますが、Diceの非凸性により最適な結果が得られない可能性があります。

4. 境界に基づく

4.1 形状認識損失 形状認識損失

Shape-aware Loss 名前が示すように、Shape-aware Loss では形状が考慮されます。一般に、すべての損失関数はピクセル レベルで機能しますが、形状認識損失は、予測されたセグメンテーション カーブの周囲の点からグラウンド トゥルースの点と曲線までの平均ユークリッド距離を計算し、これをクロス エントロピーの係数として使用します。損失関数。
境界をセグメント化することが難しい場合は、形状ベースの係数を追加することでクロスエントロピー損失が変更されます。

4.2 **ハウスドルフ距離損失**ハウスドルフ距離損失

ハウスドルフ距離損失 (HD) は、モデルのパフォーマンスを追跡するためにセグメンテーション手法で使用されるメトリックです。これは次のように定義されます。

セグメンテーション モデルの目的は、ハウスドルフ距離 を最大化することですが、その非凸性のため、損失関数としては広く使用されていません。一部の研究者は、ハウスドルフ距離ベースの損失関数の 3 つの変形を提案しています。これらはすべて、メトリックの使用例を組み合わせており、損失関数が扱いやすいものになっています。
セグメンテーション損失を評価するためのハウスドルフ距離メトリックからインスピレーションを得たもので、距離メトリックの非凸性はいくつかの変数を追加することで処理されます。

5. 組み合わせ損失

5.1 コンボロス

複合損失は、Dice 損失と修正クロスリダクションの加重合計として定義されます。曲線の平滑化にクロスリダクションを使用しながら、Dice 損失の柔軟性を利用してクラスの不均衡問題を解決しようとします。**次のように定義されます: (DL はダイス損失を指します)

結合損失は、ダイス損失と改善されたクロスエントロピーの加重合計です。曲線の平滑化にクロスエントロピーを活用しながら、不均衡のようなサイコロ損失の柔軟性を利用しようとします。

5.2 指数対数損失

指数対数損失関数は、ダイス損失とクロスエントロピー損失の組み合わせ式を使用して、精度の低い構造を予測することに焦点を当てています。より細かいセグメンテーション境界と正確なデータ分布の利点を組み込むために、ダイス損失とエントロピー損失に対して指数変換と対数変換が実行されます。これは次のように定義されます。アプリケーション シナリオ: ダイス損失とバイナリ クロス エントロピーの組み合わせ関数は、予測精度が低い状況に焦点を当てます。

参考：
[医療画像セグメンテーションに使用される損失関数 - Blackened Pig の記事 - Zhihu]
https://zhuanlan.zhihu.com/p/267128903
[画像セグメンテーション モデルのチューニング スキル、損失関数のインベントリ]
https://zhuanlan.zhihu.com /p/393496742