元のリンク：https://arxiv.org/pdf/1901.07973.pdf
DeepFashion2
衣服の認識に関しては、既存のDeepFashionデータセットには、キーポイントの不足など、実際の環境に適用できない問題があります。この記事では、これらの問題を解決するためのDeepFashion2を提案します。これは、衣服の検出、姿勢推定、セグメンテーションなどに使用できます。これは、スタイルに応じて43Kのカテゴリーに分類された801Kの衣料品を含みます。そのメモは、対応するメモよりも豊富です。さらに、873Kの売り手と買い手のショーの試合があり、DeepFashionの3.5倍です。DeepFashionにはマスクコメントがありませんが、DeepFashion2にはあります。
上の図は、DeepFashionとDeepFashion2を示しています。前者は1つの画像で1つのオブジェクトしか識別できず、キーポイントがほとんどなく、バウンディングボックスはキーポイントを使用して推定されるため、ノイズは比較的大きくなります。後者は複数のオブジェクトを認識し、手動で境界ボックスと最大20のキーポイントをマークします。
上の図に示すように、他の一部のデータセットはショッピングWebサイトからデータを取得しますが、ノイズが多く、写真の数、境界ボックス番号、キーポイント、マスク、バイヤーショー、セラーショーのペアは、DeepFashion2ほど優れていません。
DeepFashion2の利点は次のとおりです。
1多くのサンプルがあり、43.8Kのタイプがあり、各タイプには12.7のサンプルと多くのメモがあります。
2衣服の検出、分類、ポーズ評価、セグメンテーション、検索などに使用される多機能。
3表現力、写真には複数の目標があり、13種類のキーポイントがあり、各タイプには23のキーポイントがあります。
4多様性、ズーム、オクルージョン、拡大、さまざまな角度での画像（上記を参照）。
データは、DeepFashionとショッピングWebサイトから取得され、手動でフィルタリングされます。境界ボックスと分類を手動で描画し、重要なポイント、姿勢、オクルージョンなどの情報をマークしてから、画像のアウトラインを自動的に生成します。マスクを自動生成し、手動で修正します。
DeepFashion2に基づいて、4つのベンチマーク、つまり、衣類の検出、キーポイントの検出、セグメンテーション、および売り手ショーのバイヤーショーの取得（与えられたバイヤーの写真、売り手の写真の取得）が作成されました。
R-CNNに一致
マスクR-CNNに基づいて、上記の4つのタスクをエンドツーエンドで実行できるMatch R-CNNが提案されます。
一致R-CNNは2つの画像を読み取り、機能ネットワークFN、認識ネットワークPN、およびペアリングネットワークMNの3つの部分を通過します。
FNにはResNet-FPNバックボーン、RPNおよびRoIAlignモジュールが含まれています。画像は最初にResNet50に読み込まれて特徴が抽出され、次にFPNに入力されてピラミッド型の特徴マップが形成されます。RoIAlignはピラミッドのさまざまなレイヤーから特徴を抽出します。
PNには、異なるタスクを処理する3つのブランチがあります。服の検出部分は2つの完全に接続されたレイヤーで、1つは検出タイプ用で、もう1つは境界ボックスの回帰用です。キーポイント検出部分は、8つのコンボリューションレイヤーと2つの「デコンボリューションレイヤー」を備えています。セグメンテーション部分には、4つの畳み込み層、1つの逆畳み込み層、および別の畳み込み層があります。
MNには、特徴抽出機能と衣服検索のための類似性学習ネットワークが含まれています。FNが学習したRoI機能はMNに入り、検索用の機能ベクトルを生成します。v1とv2は類似性学習ネットワークに入り、I1とI2の間の類似性を取得します。特徴抽出器には、4つの畳み込み層、1つのプーリング層、1つの完全に接続された層の類似性学習ネットワークがあり、減算、正方形、1つの完全に接続された層が含まれます。
コスト関数：図に示すように、ボックスは滑らかな損失を使用し、その他はクロスエントロピー損失クロスエントロピーです。
ネットワークの実装：画像は最初にサイズ変更され、バッチサイズ16、学習率は0.02から始まり、8、11、12世代ごとに0.1ずつ減少します。SGDの重みの減衰は10 ^ -5で、運動量0.9です。
実験
いくつかのタスクのマスクR-CNNおよびマッチR-CNNの精度は、DeepFashion2でテストされました。これは、既存のネットワークがオクルージョンとスケーリングによって大きく干渉されていることを証明しています。これは、DeepFashion2が実際にモデルに課題をもたらすことを証明しています。
