MASK_RCNN = FAST_RCNN + FCN
MASK_RCNN アルゴリズムは、FAST_RCNNとセマンティック セグメンテーション アルゴリズムFCNで構成されます。FAST_RCNN はターゲット検出のタスクを完了する責任を負い、FCN はセマンティック セグメンテーションのタスクを完了する責任を負います。FCN モジュールは元の FAST_RCNN レベルに追加され、ピクセル レベルでの分類を担当する対応する MASK ブランチを生成します。
FAST_RCNN: バックボーン + FPN (オプション) + RPN + ROI プーリング + 検出ヘッド
MASK_RCNN: バックボーン + FPN (オプション) + RPN + ROI アライン + 検出ヘッド
両者はRPNモジュールを通過後の処理方法が異なります
実際、RoIAlign は RoI プーリングに若干の変更が加えられており、ピクセル レベルでの分類を改善するためのものであると言えます。
本を見ればわかる
左側が ROI プーリング、右側が ROI アライン
ROI プーリングでは、グラフの幅と高さの 2 つの次元で 2 つの丸め操作がそれぞれ使用されます。1回の丸めの誤差はわずか0.78ですが、元の画像に戻すと0.78*32=24.96となり、1回目の丸め後は25ピクセルの誤差が生じ、2回目の丸め後は誤差が生じます。はさらに大きくなりますが、これはセマンティック セグメンテーションのレベルではまったく受け入れられません。MASK が整列していないため、視覚的に明らかです。RoIAlignの提案は、この問題を解決し、位置ずれの問題を解決することです。
元の論文では、著者は 3 つの異なるアプローチを試みました
ROI プーリング、ROI Align、PrROI プーリングです。
ROIプーリング
1. 画像座標 - 特徴マップ座標に小数が表示された後、最初に切り上げおよび量子化されます。
2. 特徴マップ座標 - ROI 特徴座標に小数が表示され、切り上げおよび 2 回目の量子化が行われます。
ROI の調整
ROI プーリングに基づいて、小数が表示される場合、丸めの代わりに双一次補間方法が使用され、ピクセル浮動小数点問題が解決されます。つまり、元の画像内の仮想点の周囲の 4 つの実際のピクセル値を使用して、ターゲット画像内のピクセル値、つまり 20.56 浮動小数点の仮想位置点に対応するピクセル値を決定します。ピクセル値が推定されます。
PrROI プーリング
PrPool の主な計算の考え方は、 ROI 領域の値を合計し、ROI の領域で割ることです。
論文内での著者の実際の比較によると、ROI Alignが最も効果的です。
従来の画像アルゴリズムでは、ズームインおよびズームアウト後のエッジや画像精度を処理するためにバイリニア補間も使用されますが、最も一般的な処理方法はバイリニア補間だけでなく、最近傍補間方法、高一次補間、どの補間を選択するかについては、画像表示要件や計算量だけでなく、補間結果が結論分析に与える影響も考慮する必要があります。
マスク予報
検出ヘッドの部分では、MASK_RCNN がマスクの予測である FAST_RCNN よりも 1 つ多くなります。
マクロの観点から見ると、マスク予測はシーン内のオブジェクトをセグメント化することですが、ピクセル レベルで理解すると、セグメント化は実際には背景とターゲットに分割される二値分類問題です。したがって、マスク部分の損失関数は、クロスエントロピーの損失によって処理されます。
マスクの予測も ROI の後に FCN を通じて実行されます。ただし、これはインスタンス セグメンテーションではなくセマンティック セグメンテーションであることに注意してください。ただし、各 ROI は 1 つのオブジェクトにのみ対応するため、意味的にセグメント化する必要があるだけであり、これはインスタンス セグメンテーションと同等です。これは、最初に分類してからセグメント化するという、Mask-RCNN と他のセグメンテーション フレームワークとの違いでもあります。
元の論文で使用されている coco データ セットの場合、各 ROI マスクに 80 のカテゴリがあります。これは、coco のデータ セットには 80 のカテゴリがあるためです。これは、カテゴリ間の競争を弱め、より良い結果を得るために行われます。