1.最初の理解
相対エントロピー（相対エントロピー）は、KLダイバージェンス（カルバックレイバーダイバージェンス、略してKLD）、情報ダイバージェンス（情報ダイバージェンス）、情報ゲイン（情報ゲイン）とも呼ばれます。
KLダイバージェンスは、2つの確率分布PとQの差の非対称性の尺度です。
KLダイバージェンスは、Qベースのコーディングを使用してPからのサンプルをエンコードするために必要な追加ビットの平均数を測定するために使用されます。通常、Pはデータの真の分布を表し、Qはデータの理論的分布、モデル分布、またはPの近似分布を表します。
シャノンの情報理論によれば、文字セットの確率分布を考えると、文字セットの文字列を表すのに必要な平均ビット数を最小化するエンコーディングを設計できます。この文字セットがXであるとすると、x∈Xの場合、その発生確率はP（x）であり、最適なエンコーディングに必要な平均ビット数は、この文字セットのエントロピーと等しくなります。H（X）= ∑x∈XP（x）ログ[1 / P（x）]
同じ文字セットで、別の確率分布Q（X）があると仮定します。確率分布P（X）の最適なエンコード（つまり、文字xのエンコード長がlog [1 / P（x）]に等しい）で、分布Q（X）に適合する文字をエンコードする場合、これらの文字理想的には、より多くのビットを使用します。この場合、KLダイバージェンスは1文字あたりの平均ビット数を測定するために使用されるため、2つの分布間の距離を測定するために使用できます。つまり：
DKL（Q || P）= ∑x∈XQ（x）[log（1 / P（x））]-∑x∈XQ（x）[log [1 / Q（x）]] = ∑x∈XQ （x）log [Q（x）/ P（x）] -log（u）は凸関数であるため、次の不等式があります。
DKL（Q || P）= -∑x∈XQ（x）log [P（x）/ Q（x）] = E [-logP（x）/ Q（x）]≥-logE [P（x） / Q（x）] =-log∑x∈XQ（x）P（x）/ Q（x）= 0
つまり、KLダイバージェンスは常に0以上です。2つの分布が同じ場合に限り、KLダイバージェンスは0になります。
===========================
実用的な例を見てみましょう。たとえば、4つのカテゴリがあり、メソッドAが4つのカテゴリを取得する確率は0.1、0.2、0.3、0.4です。別の方法B（または事実上の状況）は、4つのカテゴリの確率が0.4、0.3、0.2、0.1である場合、2つの分布
KL距離（A、B）= 0.1 * log（0.1 / 0.4）+ 0.2 * log（0.2 / 0.3）+ 0.3 * log（0.3 / 0.2）+ 0.4 * log（0.4 / 0.1）これには正の値があります、負の場合、KL-Distance（）> = 0であることが証明
できます。上記からわかるように、KLの発散は非対称です。つまり、KL距離（A、B）！= KL距離（B、A）
KLの発散は非対称です。もちろん、対称にしたい場合は、Ds（p1、p2）= [D（p1、p2）+ D（p2、p1）] / 2です。
第二に、第二の理解
今日の相対エントロピーといえば、情報エントロピーはシステムの順序付けの度合いを反映することがわかっています。システムの順序付けが多ければ多いほど、情報エントロピーは低くなり、その逆も同様です。以下はエントロピーの定義です
確率変数Xの可能な値が対応する確率
である場合、確率変数Xのエントロピーは次のように定義されます。
情報エントロピーの定義から、相対エントロピーについて学びましょう。
1.相対エントロピーの理解相対エントロピーは、相互エントロピー、クロスエントロピー、識別情報、カルバックエントロピー、カルバックリーブルダイバージェンス（KLダイバージェンス）などとも呼ばれます。p（x）とq（x）をXの値の2つの確率確率分布とすると、qに対するpの相対エントロピーは
ある程度、エントロピーは2つの確率変数間の距離を測定できます。KLダイバージェンスは、2つの確率分布PとQの差の非対称性の尺度です。KLダイバージェンスは、Qベースのコーディングを使用してPからのサンプルをエンコードするために必要な追加ビットの平均数を測定するために使用されます。通常、Pはデータの真の分布を表し、Qはデータの理論的分布、モデル分布、またはPの近似分布を表します。
2.相対エントロピーの特性相対エントロピー（KL発散）には2つの主要な特性があります。以下の通り
（1）KLダイバージェンスは直感的には計量または距離関数ですが、対称性がないため、実際の計量または距離ではありません。
（2）相対エントロピーの値は非負、つまり
証明する前に、ギブス不等式と呼ばれる重要な不等式を認識する必要があります。内容は以下の通りです
3.相対エントロピーの適用相対エントロピーは、2つのランダム分布間の距離を測定できます。2つのランダム分布が同じである場合、それらの相対エントロピーはゼロであり、2つのランダム分布間の差が増加する場合、それらの相対エントロピーも増加します。したがって、相対エントロピー（KLダイバージェンス）を使用して、テキストの類似性を比較し、最初に単語の頻度をカウントしてから、KLダイバージェンスを計算できます。さらに、マルチインデックスシステムの評価では、インデックスウェイトの割り当てが重要かつ困難なポイントであり、これは相対エントロピーを通じて処理できます。
3. CFで使用
まず、KLDには確率（頬と1）が必要ですが、スコアが使用されます。
第二に、後者の2つの役割。
差出人：http://www.cnblogs.com/hxsyl/p/4910218.html
