スタイルVAEの読書ノート

  • 题目:半教師VAEで制御画像記述に向けて

抽象

  • 説明のより自然な画像とスタイルを生成するために、モデルは、モデルの学習スタイルに固有でなければならない、とスタイルで、特定のデータ・セットの収集を必要とし、非常に時間がかかり、この問題を解決するために、
  • 提案されたモデル:半教師条件変オートエンコーダ
  • 効果:既存のモデルと比較して、より広範なパターンの画像のより正確な記述を生成することが可能です

前書き

  • モデルの問題を既存:これらのモデルは、通常、最大の尤度を目標に訓練され、それが奨励モデルは画像の内容を漠然としか記述を生成ように、説明に人間参照のトレーニングに集中し、最も一般的なnグラムを使用して生成された説明キャプション
    • 記述の品質を向上させるためには、研究者の数はさらに様々な特定のスタイルを記述発生しないように十分な、まだ世代の記述の精度を向上させることができますが、そのような属性などの外部情報オブジェクトを、追加することを示唆しています。
  • 前の作品:StyleNet
    • モデルは(determinstic)決定論的であるため、ばらつき(変動)の説明の欠如ので、
    • 効果的な説明のすべてのスタイルを生産すると同時に、端から端まで訓練することができません
    • それは小さな定型化された記述データ・セットに制限されたスタイル、中立と説明をそれぞれ有する画像を必要とし、より多くの利用可能な非定型化画像を利用することができないので、彼らのモデルデータは、制限の面で利用可能記述データ
  • この記事のアドレス挑戦:画像記述画像記述データ・セットの特定のスタイルの全体的な富の欠如とモデルの変動を生成します
    • 全体的な変動生成されたモデル画像の説明
      • 使用VAE:文から学ぶことができるエンコードするには、グローバル表現で特定の言語にとって暗黙的に高度な特性を説明し、推論の空間からサンプリングする能力を提供し、それによってランダム生成処理の全体的な説明を増加させます性別
    • スタイル制御とデータ可用性の問題
      • VAEは、半教師付き条件(条件入力画像)の提案しました
  • 貢献:
    • スタイルスタイルは、グローバル変数と潜在的なサンプリングされた表現で制御することができます。潜在的な解決策を表す変数を導入すると、不確実性の記述を生成することができる、グローバル変数のスタイルは、明示的なスタイルを制御することができます
    • モデルは、精度を犠牲にすることなく、任意のスタイルの説明で画像を生成する能力を提供します。モデルデータが示すのさらに効果的な使用モデルの全体的なパフォーマンスを改善するために様々なスタイルの能力
    • 道の弱い監督は、より視覚的およびテキストデータを提供することで、より全体的な説明を取得するのに役立ちます加えて、で指定されたスタイルを記述したトレーニングモデル生成(いくつかのランダムなスタイルタグの記述を考慮していないではない)、そして何より一般的なランダムサンプリングの変動によって説明可能性のある領域を増やすために、精度、および

ALL

おすすめ

転載: www.cnblogs.com/doragd/p/11953802.html