発散の様々な
エントロピ
情報の量は、配信Pによって運ば
/
サンプルPのエンコードPベースの配布に必要なバイトの最小数を使用して
クロスエントロピー
ビューの観点からP情報配信Qの分布
/
所望の符号化に必要な分布P Q「平均符号長」に基づいて、使用サンプル
クロスエントロピー損失を測定するために使用することができ、なぜ？基準
学習サンプルエントロピー分布Pが一定で、トレーニングデータの損失分布に適合するように電流分布のKLダイバージェンスの最小クロスエントロピー最小化、情報のすなわち量に等しいです。
KL散度
非負の非対称性
情報の損失の概算を使用して、Q分布ときPの分布
/
Pサンプル分布「コードに必要な余分の長さを」Qをコード基づきます。
JSダイバージェンス
0-1間の対称性より小さく、より類似しました
GAN原理
定義された元のGAN弁別器の損失、我々は識別器の最適形状を得ることができ、最適な識別器では、実際の分布を最小等価損失に元GANジェネレータを定義することができ
そして、分散型発電
間JSダイバージェンス。
D最適に決定され、その後、JS発散を与える最大DV（G、D）を代入すると、最小-2log2、G固定
すなわち、JS発散を最適化、上記の式を最小にし、そこ必要
トレーニングの問題
- G、お互いにDトレーニング
更新後G、JSの発散が小さいに対応しないだけでなく、次MAXV（G、D）が大きくなることがV（G、D）曲線に影響を及ぼし、そして、それはDであります配布悪いことの両方にフィットする機能
D、Gが更新され、複数回更新ソリューションを - JS発散問題解決プラスノイズ
画像がので、高次元生成する低次元のベクトルで構成されています と そう、彼らは定数JS発散しているか離れていることに関係なく、無視できないオーバーラップを持っていることはほとんど不可能 、最終的に勾配発生につながる（約）0、勾配が消え。 - 不安定＆崩壊モードの多様性不足への改善された発電機の損失リードは
最小限に抑えるために等しい
だけでなく、KLを最小化するだけでなく、JS勾配不安定性を最大化するために、
KL以前の問題：非対称
第一世代の第二は、サンプルには実際のデータを生成しないとエラーになり、その後、私はダイバーシティサンプルではなく、試行錯誤を生成しないことを好むだろう、本当のサンプル・データ・セットが存在しないです。
Wgan
アースムーバー（EM）距離
すべての可能な関節分布では、下限所望の服用、実際のサンプルを求めて、所望のサンプルの距離を生成します。
つまり、最適な関節分布であり、PrはPgの最小消費に移動しました。
ワッサーはKL発散距離を比較し、JS発散の優位性は、二つの分布がオーバーラップ、距離は依然としてそのワッサー距離を反映するようにしていない場合でも、ということです。
Wgan
セクタのサンプルを-f取られる（X）を生成するために、F（X）に要する実際のサンプルは、W勾配パラメータに制限があります。
連続ラプラス
元GANの違い：
1.損失関数
-
ラプラスパラメータが満たす条件に切り捨て
-
シグモイド識別器を除去して
、元のD（x）は0、値フィットであり、フィッティングはWassertain弁別器距離であるためです。
相対論的ガンズ
