ペーパーリーディングノートRGB赤外線クロスモダリティピクセルと特徴のアラインメントによる個人の再識別

ICCV2019で公開されたジョイントピクセルと機能の配置によるRGB赤外線のクロスモダリティ人物の再識別は、GANを使用してRGB-IRベースのReID問題を解決する記事です。

まとめ

夜間の歩行者の識別は、ビデオ監視やセキュリティなどの分野で重要なアプリケーションがありますが、この問題は十分に解決されていません。これは主に、夜間の赤外線歩行者の画像と日中のカラー歩行者の画像に大きなモードの違いがあるためです。この違いにより、クロスモーダル画像のマッチングがより困難になります。夜間の歩行者の再認識の問題を解決するために、この記事では、モードの違いの問題を軽減するピクセルアライメント（Pixel Alignment）のアイデアを革新的に提案し、アライメントプロセス中にIDの一貫性を維持するためのJoint Discriminatorの戦略を提案します。この方法は、最も困難な夜間の歩行者データセットで、他の最良の方法よりも10％以上高くなっています。

現在の問題と概要：

従来の方法は、特徴表現学習を通じてクロスモダリティと特徴の位置合わせの違いを補うことです。基本的な考え方は、特徴表現学習を通じて実際のRGB画像とIR画像を一致させることです。2つのモード間の大きなモード間の違いにより、共有機能空間でRGB画像とIR画像を正確に一致させることは困難です。
同時に、ジェネラルアドバタリアルトレーニングによるクロスモダリティ人物再識別によって提案されたCMGANは、クロスモーダル問題を解決するためにGANネットワークに属していますが、CMGANのランク1、mAPおよびICCS（ICCS値が大きいほど、類似性が高いことを意味します）

パフォーマンス）：結果は、クロスモード設定ではアルゴリズムのパフォーマンスが低く、クロスモードの変更をうまく克服できないことを示しています。
このペーパーでは、RGB-IRリードタスク用のエンドツーエンドのアライメント生成対立ネットワーク（AlignGAN）を提案します。
この記事で提案するネットワークには、次の特徴があります。

1. ピクセルアライメントとフィーチャアライメントは併用できます。これは、RGB-IR RE-ID問題の2つのキャリブレーション戦略を共同で確立した最初のモデルです。
2. モデルは、ピクセルジェネレーター、フィーチャジェネレーター、およびジョイントディスクリミネーターで構成されているため、クロスモーダルおよびイントラモーダルの変更を軽減できるだけでなく、同じIDでフィーチャを学習することもできます。
3. SYSU-MM01データセットでは、ランク-1とmAPがそれぞれ15.4％と12.9％増加しました。

はじめに

• Pixel Alignment Module：ピクセルレベルからのモーダルの違いを軽減します。1つの解決策は、Pixel Alignment Moduleを使用してRGB画像を仮想赤外線画像に合成し、仮想赤外線画像を実際の赤外線画像と照合することです。このようにして、RGB画像と赤外線画像の間に元々存在していたモードの違いは、仮想赤外線画像によって軽減できます。図1に示すように、最初にピクセルアライメントモジュール（Pixel Alignment Module）を使用して元のカラー画像（実際のRGB画像）を仮想近赤外線画像（偽のIR画像）に変換し、次に機能学習戦略を使用して仮想近赤外線画像（偽の赤外線画像）と実際の近赤外線画像（実際のIR画像）。

• 

• 共同差別化モジュール：モーダルアライメントによって新しいノイズが発生しないように、IDの整合性を検討してください。それにもかかわらず、私たちは依然として困難な困難に直面しています。つまり、歩行者の再識別はゼロショット問題です。つまり、テストラベルとトレーニングラベルが一致していません。したがって、トレーニングプロセスでは、ピクセルアライメントモジュールもフィーチャアライメントモジュールもトレーニングセットのラベルを単純に適合させることはできず、推論プロセスの同一性の一貫性を確保できます。たとえば、特徴空間では、歩行者Aのカラーデータを歩行者Bの赤外線データに揃えることができます。この場合、モードの違いは減少しますが、ID情報が失われ、最終的に正しい歩行者の再IDを実行できなくなります。これは望ましいことではありません。

  上記の問題を解決するために、我々はさらにジョイントディスクリミネーターモジュールを提案しました。図2に示すように、ジョイント識別モジュールは、RGBと赤外線画像、またはRGBと赤外線機能の違いを個別に最小化せず、RGBと赤外線画像機能のペアの違いを最小化します。つまり、RGB画像機能と赤外線画像機能の共同分布を最適化します。

  具体的には、赤外線データの分布と一致する画像と特徴のみ、および画像と特徴が画像と特徴のペアの同じI​​Dからのものである場合、ジョイント識別モジュールは彼をtrueと判断します。したがって、このフレームワークでは、元のカラーデータ（画像または機能）を赤外線データ（画像または機能）の分布に近づけるだけでなく、モードの違いを減らすだけでなく、位置合わせプロセス中に画像や機能を維持します。元のID情報。

モデル紹介

ピクセル配置モジュール： CycleGANメソッドを参照して、ピクセル配置モジュールには2組のジェネレータと弁別子が含まれています。これらの2組のジェネレータは、RGB2IRとIR2RGBにそれぞれ使用されます。同様に、2セットの弁別器を使用して、合成されたIR画像と合成されたRGB画像をそれぞれ区別します。トレーニングプロセスでは2セットのジェネレーターと弁別子を使用しましたが、推論プロセスでは、RGB2IRジェネレーターのみを使用してピクセルアライメント操作を実行したことに注意してください。

具体的には、ピクセルアライメントモジュールには、サイクル損失（サイクル損失）とID損失（cls + tri）が含まれています。その中でも、ループ損失により、生成された画像は元の構造とコンテンツ（姿勢、角度など）を維持でき、ID損失により、合成された画像は元の画像と同じ識別情報を可能な限り保持します。これらの損失関数は、それぞれ式1と式2に示されています。

特徴調整モジュール（特徴調整モジュール）特徴調整モジュールは、モダリティ間の違いを減らすことができますが、モダリティ内の大きな違いはまだあります。これらの違いは、主に姿勢と視点によるものです。同様に光と他の要因。この問題を解決するために、本物の赤外線画像と合成された赤外線画像を同じ機能空間にマッピングし、IDタグに基づく分類と三重項損失を使用して機能を監視する機能整列モジュールを採用しました。対応する損失関数を式5に示します。

ジョイントディスクリミネーターモジュール。上記の議論によれば、アイデンティティの一貫性をより良く維持するために、画像特徴のペアの結合データ分布を学習するための結合識別モジュールを提案します。具体的には、その入力は画像と機能のペアであり、真の画像と機能、および同じIDからのものだけが真であると判断され、そうでない場合は偽と判断されます。対応する目的関数を式8に示します。

同様に、ピクセル位置合わせモジュールと機能位置合わせモジュールの損失防止関数は、それぞれ式9と式10に示されています。

最後に、方程式4、方程式6、および方程式7に示す目的関数を最適化することで、モデルを完成させることができます。

実験

データセット：SYSU-MM01とRegDBの
比較：

この記事のさまざまな変数の比較：

特徴空間の視覚化

図5（a）と図5（b）に示すように、いくつかの単純なベースラインメソッドはトレーニングデータを適切に調整できますが、テストデータは適切に調整できません。これは、クロスモーダル差異が単純な特徴調整方法では実行できないことを示しています解決しました。図5©に示すように、ピクセルアライメントモジュールのみを使用した場合、モードの違いは大幅に減少しましたが、同一性の不一致が残っています（赤い丸で示されています）。最後に、図5（d）は、共同判別戦略を使用した後、IDの一貫性を適切に維持できることを示しています。

参考資料：

1. https://mp.weixin.qq.com/s/T9zbXi9zLG6pOwwPAWdrhQ
2. https://blog.csdn.net/qq_41967539/article/details/104282356?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522158364283319724839237170%2522%252C%2522scm%2522%253A%252220140713.130056874%E2%80%A2 ％2522％257D＆request_id = 158364283319724839237170＆biz_id = 0＆utm_source = distribute.pc_search_result.none-task