教師なしジェネレーティブ敵対クロスモーダルハッシング、AAAI 2018
動機
共通のハッシュ空間へのデータの様々なモダリティに専用のクロスモーダルハッシュモダリティハッシュ問題、より簡潔な表現迅速メートルとモダリティのデータ検索を算出します。教師なしの方法は、初期条件に拘束されることを見落としていない、従ってより柔軟を比較しました。しかし、既存の方法は、計算における異なるモダリティにおける教師なし同様の構造情報を無視します。学習データ間のクロスモダリティ情報の構造と同様GAN容量および非教師あり学習法を使用してこのように、この紙UGACH、。
帰属
- 以下のための提案世代ネットワークに対するマルチモーダルのハッシュモデリング。所与のモダリティのためのデータモデルは、他のモダリティGデータを選択して生成し、検索精度を向上させるためにサンプリングされた生成図判別モデルを区別するために、判別式Dモデルに真の値と関連付けられたデータを渡します。
- 提案された連合グラフを、クロスモダリティは、類似の構造に関する情報を得ることができ、それらは小さなハミング距離を有する、検索精度を向上させることができます。
マルチメディア検索
- 教師なしクロスモーダルhasingは
、典型的には、クロスモダリティデータが相関を最大化するために、同一の一般的なハミング空間にマッピングされるであろう。
関連法は、CCA、CVH、IMH、SH、ある PDH、CMFH、CCQ のように。
長所：実用的なアプリケーションでは、より柔軟かつ実用的、人材マークの多くを必要としない
欠点：ほとんどのメソッドは、ハッシュ式の学習に基本的なマニホールド構造を無視し、意味のあるデータに最も近い隣人をキャプチャすることはできません。
このホワイトペーパーソリューション：クロスモダリティの情報まあ監督のために - 教師クロスモーダルhasing
ようCMSSH、HTH、等SCMとしてハッシュ計算式を学習標識された意味情報を使用して。
短所：それは人材データのタグ付けの多くを必要と - DNN基づく方法
深い学習方法を使用して、モードと相関のモード度を区別する能力を改善する、CMNNHが挙げられます。関連メソッドCAH（セマンティック関連性を最大化）、DVH（トレーニング機能やハッシュ計算式の最後）、DCMH。
フレームワーク
- 特徴抽出モジュール：（画像）19層VGGNet 、4096-D;（テキスト）BOW、1000 D。
- ジェネレータG：モード設定データに応じて、別のモダリティのデータを選択し、識別器Dに供給されたデータを生成します 発生器は、2経路の構造を有する2つの完全なリンク層を使用して、入力画像とテキスト、各経路ハッシュ層と層の一般的な表現として受け取ります。式（1）に示すように、第1層は、特定のモードデータは、共通の特徴付けに、共通データ空間にモダリティを横切ってマッピングすることができます。すばやくハミング距離を算出することができるので、式（2-3）に示すように、第2層ハッシュ層は、バイナリハッシュコードの共通の特徴付けにマッピングすることができます。SoftMax G、式（4）を使用してこのように、発生確率。
- ディスクリミネータD：Dは、図に構成マニホールドペアをサンプリングすることによって得られ、発電機又は図の関係からデータを区別するためのD、Dの試みへの入力としてGで生成されたペアを生成します。図は、クロスモーダルデータとの間のマニホールド構造の根底に捕捉することができるD列分類を導くことができます。：Dは、相関スコアを使用しての予測確率シグモイドインスタンスX計算することによって決定される
GおよびDに対する学習およびトレーニングを使用しました：
実験
-
数据集：NUS-WIDE、MIRFlickr，都是大规模image-text-retrival的数据集。
这里文章将整个retrieval set作为training set，但是也有unsupervised方法的文章将retrieval set中抽取部分作为training set的。
当retrieval set对应着已经获得的所有数据，比如搜索引擎里已经存好的数据，而query set对应查询时的输入，没有对应结果时，retrieval set的输入应该都可以作为training set。而真实场景中，retrieval set只有一部分是labeled的，还有一些是unlabeled的，这是实验和真实场景的不同。 -
评价指标：MAP、PR-curve、topK-precision
