画像変換を達成CycleGan

著者:王珍

入門

アルジャントゥイユ・シュル・セーヌで春1873年、セーヌ川モネ美しい田園風景の手前で記録細かいブラシストロークと明るいパレットで。私たちは、カメラがあった場合、それは絵それのようなものを残して助けることが想像することはできません。涼しい夏の夜には、カシスの港の美しい景色に直面して、私たちはカメラを拾ったときにそれを記録するために即時のシーンに圧倒されるか想像MONET。
私たちはモネの絵画のシーンの写真を見ていないが、グループはモネスタイルの絵画や写真、実際の風景、CycleGanを使用していた後、私たちは別のグループに1つのグループに変換することができるようになります。言い換えれば、我々は、モネのブラシで世界を見ることがモネモネの絵からフランスの風景の目のように現実的に可能な限り19世紀を復元することができ、また、実際の写真からです。
絵画や写真の変換を達成することに加えて、CycleGanはまた、男性と女性、衛星地図や行政地図や画像間のシマウマと馬、犬や猫、リンゴとオレンジ、夏と冬の変換を実現することができます。
1.PNG 2.PNG
図1

CycleGan原則

知人ガン

ガン(生成的敵対Network)は、また、二つの部分、即ちジェネレータ(発電機)と識別器(Discrimator)から成る構造、同様のスタイルのトレーニング・セット画像を生成するために、「ネットワークに対して生成」と呼びます。
子犬.PNG
図2は
、例えば、犬の偽画像を生成します。上記のように、モデル生成にランダムノイズ入力は、犬の偽画像を生成し、偽と真図図は、トレーニングを決定するためのタグ(偽ピクチャー0、真グラフ1)ペア、予備的なトレーニング、弁別器は一定の精度を持っています。それ以来、弁別パラメータを一定に保ち、常に弁別までジェネレータパラメータを調整することは、偽と真のチャート図を生成する発電機とを区別することができない。最大限に弁別が区別するまで、調整決意パラメータ、ジェネレータのパラメータを一定に保ちます図ジェネレータは、偽と真の図を生成します。二段階の上繰り返し、発電機は区別することができない人間の目の最終画像を生成することができます。
公式1.PNG
式(1)
式G上記()は、出力画像を生成するために、発電機を表し、Dは()弁別器を表す出力確率決意図真、xが真図であり、zはノイズです。我々はそれが(最初のタームと上記式において第2項は最大である)最大Dの決意精度を有する、すなわちを訓練し、それが判別画像(第二項最小ことを欺くために最も簡単な列Gを生成することができます)。

知人CycleGan

GaNはトレーニングセットのスタイルと同様の画像を生成することができますが、特定の画像を指定することはできません。WENは、ほとんどのようであり、入力画像に対する出力対応子犬の画像をしないことができる。例えば、発電機の出力が子犬で撮影されている可能性があり、より多くの子犬の画像を生成します。この問題に対するCycleGan効果的なソリューションを提供します。図2.PNG
図3
図はCycleGanの概略図です。図(A)、X、Yの二つの領域に対応し、我々は、画像ピクチャの当業者YにXを変換する、それぞれG、F.、GaNの二つの生成機を順方向および逆方向に対応し、即ち、X-G画像G(X)のフィールドへフィールドY画像xは、次いで、DY弁別器は、画像は、ネットワーク構成、すなわち、基本的な構造ガンに対して生成するために、Yの分野に属するか否かを判定する。図の(B)は()、元の入力、すなわち、できるだけ近いように、Xように、F F(G(x))を生成Gを必要とする部分構造(X)を増加させ、次いで逆ガン発生器を介しと比較しました可能な限り小さくサイクル一貫性の損失ので、あなたは、GaNは、対応する画像の出力を目標と問題を解決することはできません。プロセスX-の(B)> G(X) - > F(G(x))を≈x、 我々は前進サイクルの一貫性を呼びます。> -トレーニングの効果を向上させるために、同様に、我々は、(C)工程Y-> F(Y)に示すように、当該分野でYからXへの変換を訓練 G(F(Y))≈y、 我々は後方呼び出しサイクルの一貫性。

深CycleGan

公式2.PNG
式(2)
公式3.PNG
式(3)
公式4.PNG
式(4)
公式5.PNG
式(5)
CycleGanの定性的な説明上記、私たちは原則CycleGanに一般的な理解を働いていると考えていることで、次のように分析する作品CycleGan定量式により、 。式(2)と式(1)、実質的にガン発現トレーニング弁別ジェネレータG及びD、X、Yは、2つの領域であることを必要とされ、式(3)トレーニングGによって示される、FモデルせますF(G(x))を≈x 、 その結果G(F(Y))≈y 、 式(4)はCycleGan、パラメータ調整サブ重要性λの完全な表現である。我々の究極の目標は、ほとんど訓練することによって達成されます。式(5)に示すように適切なG、F、あるエリアから別のエリアに画像の遷移を完了します。以下はF.の変更の良いトレーニング効果後にGであります
part1.PNG
図4

CycleGanアプリケーション

  CycleGan 实现图片从一个领域转换到另一个领域,与 pix2pix 模型相比,它无需成对数据进行训练,因此它具有更广泛的适用范围。<br />CycleGan 可实现图像风格转换,但它不同于 neural style transfer 模型仅实现单幅作品风格(如星空)的转换,相反,它能学习到莫奈(或其他画家)全部作品的艺术风格,从而实现照片向莫奈艺术风格画的转换,如图5。它还可实现物体转换(Object transfiguration),如图6,7;季节转换,如图8;从油画生成照片,如图9。<br />![艺术画.PNG](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDgxOTIxLzE1Njg1NTEzMTY1MzQtZGQ4ODhjNzEtMTI4Mi00NWI3LWIxMzEtMGU5ZTRmZjI0ZWYyLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=502&name=艺术画.PNG&originHeight=502&originWidth=1154&size=1379093&status=done&width=1154)<br />图 5<br />![马斑马.PNG](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDgxOTIxLzE1Njg1NTEzNDY0NTQtYmEyMzI3YzQtMzAwYS00YTEzLTkyYTItOTJiNzVjZDhkMDY5LnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=401&name=马斑马.PNG&originHeight=401&originWidth=1141&size=936963&status=done&width=1141)<br />图 6<br />![水果.PNG](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDgxOTIxLzE1Njg1NTEzNjQ2NDMtMjUwY2NlMzktZmRjYS00MzRiLWJjMTctYzE5NmM1NTgwMTQyLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=384&name=水果.PNG&originHeight=384&originWidth=1154&size=1000785&status=done&width=1154)<br />图 7<br />![季节.PNG](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDgxOTIxLzE1Njg1NTE0MTg0MDgtMjZlYzg4ZmEtMGFlNC00M2Q0LTk1NGYtYjhhZTFkZmE3NzVhLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=439&name=季节.PNG&originHeight=439&originWidth=1147&size=1127238&status=done&width=1147)<br />图 8<br />![油画.PNG](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDgxOTIxLzE1Njg1NTE1MzU1NzctYTFjZTg3MTAtY2E5Yy00YTkwLWJiOTUtNGE1MWYwZTQ2YTdmLnBuZw?x-oss-process=image/format,png#align=left&display=inline&height=467&name=油画.PNG&originHeight=467&originWidth=1146&size=1334443&status=done&width=1146)<br />图 9

概要

不対問題についてですが、多くの普通のGANがあり、その後、あなたはモデルを学習することができます。数及び技術X Yのフィールドとの間のランダムなマッピングの種類の数は、それがyは技術を得ることができる対応する入力x損失GANの正常な機能を保証することができないことを除いて。サイクルの一貫性が生じ、それによって得られた出力は、ランダム、画像変換があるエリアから別のエリアに実現することができなくなったことを確実にすることなく、ランダムマッピングの数を減少させます。
プロジェクトソース住所:https://momodel.cn/explore/5d76cd483ca4fc49fa06f9e1?type=app

リファレンス

  1. 生成的敵対ネットワークス、イアン・J.グッドフェローなどhttps://arxiv.org/abs/1406.2661
  2. などサイクル一貫性の敵対ネットワークを使用して対になっていない画像間の翻訳、6月ヤン朱、https://arxiv.org/abs/1703.10593
  3. https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix
  4. 詳細GANネットワーク(ゼロからエントリー)CSDNブログ。https://blog.csdn.net/LEE18254290736/article/details/97371930
  5. CycleGAN-不対画像変換CSDNのブログ。https://blog.csdn.net/stdcoutzyx/article/details/78823249

我々について

Moは(URL:https://でmomodel.cn)のPythonのサポートである人工知能オンラインモデリングプラットフォームを迅速に開発を支援することができ、トレーニングと展開モデル。


MoのAIクラブ人工知能によっては、オンラインプラットフォームのR&Dと製品チーム発足をモデリング(URL://momodel.cnます。https)は、私たちは、クラブのしきい値を減らすために開発と利用の人工知能にコミットしています。ビッグデータの処理や分析、可視化と経験をモデル化したデータを持つチームは、フロントエンドに下から軒並み設計と開発力で、学際的知能プロジェクトを実施してきました。大規模データ分析の管理のための主要な研究の方向と人工知能技術、およびデータ駆動型の科学的な研究を推進するためです。


現在、チームごとに2週間(土曜日)は、学術交流を共有するためにシャロン、機械学習や関連書類の下杭州ラインで開催されました。すべての収束に期待しては、交流を育てる人工知能の民主化を促進し、普及していき、人工知能興味の友人に生活を歩きます。

image.png

公開された36元の記事 ウォンの賞賛4 ビュー10000 +

おすすめ

転載: blog.csdn.net/weixin_44015907/article/details/100994480