紙のメモ(30)を読む[CVPR2020]:高次の情報は、事項:オクルージョン人の再同定Fiの陽イオンのための学習関係とトポロジ

ここ客運ビュー研究所[プッシュするリファレンスポータル ]

前書き

(1)動機:

より挑戦的な再閉塞の歩行者識別(オクルージョン人レイド)。

①ブロック化の影響を受け、画像識別情報が誤った歩行者に一致するように小さく、容易です。

②本体部との間の特徴情報のマッチングに基づいて行うことが有効であるが、ブロックされている場合を厳密に整列部分に困難です。

現在の閉塞のために提案されているか、詳細なサイトをREIDが、基本的な特性や学習ステップ情報整列された領域など規定のジェスチャー、歩行者の解像度を考慮。

 

(2)の貢献:

図1(b)は、バニラ方法:ローカル機能キー領域を抽出し、すべての鍵となる特徴点を正確に整列され、部分的に良いと仮定しています。ここでは、すべての3つの段階(抽出、整列、マッチ)は、注文情報の臨界点に依存している、強力な堅牢ではありません。

図1の方法(C):前記関係情報を学習するグラフ(グラフ)(ノード)のノードとしてみなさ画像の局所特性のセットによって学習段階、。これは、閉塞引き起こした原因臨界点に、図面中の特徴無意味な情報送信の問題によってその隣接重要な特徴によって改善することができます。配向相で、堅牢なアライメント機能を学習するグラフマッチングアルゴリズム(グラフマッチング)を使用。この方法は、アラインメントの対応関係の点、それが左右にモデル化することができる対応関係に加えて使用することができます

以下のように著者は、人間関係やトポロジー情報の共同上位モデル化のための新たな枠組みを提案します:

①まず注文セマンティックモジュール(S):まず、キーのキーを学ぶために機能を学習図CNN骨格、ボディ推定モデルを使用して、キーに対応する意味情報を抽出します。

②関係は上位モジュール(R)との間で:エッジを学ぶために、グラフのノードとしてみなさ画像の意味論的特徴、パターン層(ADGC /適応方向グラフ畳み込み)と転写層の適応型コンボリューションを学習されます特徴情報。ADGC層は、自動的に各辺の方向と程度を決定することができます。これにより、送信無意味の意味論的特徴情報転送、およびノイズ抑制特性を促進します。最後に、学んだノードは、セマンティックとの関係の情報が含まれています。

③人間の高次トポロジモジュール(T):提案された断面図埋め込みアライメント(CGEA /クロスグラフ埋め込みアライメント)層。それは、入力として2つ(グラフ)を図のノード間のマップマッチングの対応関係を用いて戦略較正し、次に送信情報に隣接行列として対応関係を学習します。この理由のため、拡張特性に関連付けられるためには、アライメント情報は、フィーチャに埋め込むことができます。最後に、強制アライメント1を避けるために、2人の研究者は、マッピングによって意志の類似性の予測損失の図の監督と検証にロジットモデルに。

 

提案手法

(1)セマンティック特徴を抽出します:

歩行者の画像は、特徴マップを得るために、Xとするキーポイントをマッピングするために、両方の外積演算により、およびグローバル平均セマンティック機能、ローカルおよびグローバルな特徴を得るためにプールしました。

トレーニング損失の計算:

Kは、キーポイントの自信を表し、そして表現が正しいID確率に属する正のサンプル対の間の距離を示し、機能の喪失です。

 

(2)高次リレーショナル学習:

マップ(グラフ畳み込みネットワーク、GCN)[使用して畳み込みポータルをより高次の関係情報をモデル化します]。GCNでは、さまざまな分野におけるセマンティック特徴点は、重要なノードと考えられています。ノード間で情報を転送することによって、一次セマンティック情報(ノード特性)と高次特徴(エッジ特徴は)の世話をすることができます。それにもかかわらず、依然としてリードに問題が隠されている、すなわちオクルージョン領域は、多くの場合であっても無意味ノイズによって特徴付けられます。これらの図に再び渡されたとき、でも潜在的に多くのノイズ、閉塞されたリードの副作用を備えています。このように、研究者は、パターン層(アダプティブ有向グラフ畳み込み層、ADGCの新しい適応コンボリューション提案 )、 動的方向と情報伝達の度合いを学ぶいるとします。これは、研究者が自動的に抑制ナンセンス特徴情報、実効伝送意味素性情報を促進することができる、を意味します。

①Adgrc:

これにより、重み行列の側を取得する差分量を評価するためのローカル機能とグローバル機能の程度の意味でより局所特徴小さな差(関節グローバル特徴点からオフセットされた閉塞やノイズもよいです)、 、情報の転送を制御するために、図の畳み込み演算です。

最後に、よりADGCモジュールと、より高次の関係にカスケードすなわち、:

 

②損失関数:

上記と同様のトリプレットのカテゴリ損失や損失、:

 

③類似性メトリック:

二つの画像(X所与歩行者。1、X 2)、前記関係情報は、次のとおり類似度:

 

(3)高次学習人間トポロジ:

単純な戦略は、直接同じキーの特性に一致するように整列されます。しかし、このような戦略やアライメント順序は状況を守ら大画面の文字がある場合は特に、外れ値に対処することはできません。対照的に、図マッチング戦略(グラフマッチング)が自然に本体トポロジーに高次の情報も考慮されることができます。しかし、それだけで、このようなハードアライメント戦略に結果がまだ外れ値、干渉の影響を受けやすく、性能に非常に敏感であり、1対1の対応を学ぶことができます。この目的のために、研究者はクロス図に埋め込まれた配向膜を提案し、それが唯一の回避干渉にグラフマッチングアルゴリズムトポロジー情報取得によって、しかし、一つのアライメントから人体を最大限に活用することができません。

①グラフマッチング[深い学習マップマッチング紙の18年:ポータル ](学習するために、下に得ることはありません):

二つの絵を想定得られた二グラフに対応しターゲットはマッチング行列学習マップマッチングである要素は、対応する二つのノードのグラフを表しも一致度を第二側の類似度を考慮に入れる要素が2を表します対応するエッジマップ究極の最適化目標は:

 

 

図クロス(CGEA)の②埋め込み配向層。

図の特徴は以下のように2つのノード:、総ReLU層と接続層によって、2つの隠し層の特性を得られる、マップマッチングモジュールによって得られた入射マトリックス次のようにその計算レイヤー:

このモジュールは、最終的に、すなわち、カスケード接続CGEA複数によって得られます。

 

③類似性メトリック:

 

④損失関数:

 

(4)研修:

総損失関数:

類似度評価:

 

実験

 

 

おすすめ

転載: www.cnblogs.com/orangecyh/p/12573223.html