エントロピーの情報理論_

主に、基本的な考え方は、事を行うことですどのくらいの定量化するために、信号に含まれる情報の情報理論は、おそらくより多くの情報を提供するよりも、起こることは稀です。

共通の焦点メトリック情報インデックス情報エントロピー、または条件付きエントロピー、相互情報、クロスエントロピ。

エントロピ

情報エントロピー（エントロピー）は、エントロピーは、ランダム変数の不確実性の尺度であると称される。それは以下のように定義されています。

H（X）=ΣP _I *ログ₂（Pの_I）

その0-1エントロピーを持つ変数の確率分布の関係を実装するには、次のコードを使用します。

インポートPLTのAS matplotlib.pyplot 

＃％matplotlibのインラインJupyterだけこの行を追加する必要があり、残りはこのラインエディタなしで使用されている

P = np.arange（0、1.05、0.05 ）
HX = []
 のための I におけるP：
     IF I == 0 または I == 1。 ：
        HX.append（0）
    他：
        HX.append（ 。。-i * np.log2（I） - （1 - I）* np.log2（1 - I））
plt.plot（P、 HX、ラベル = ' エントロピー' ）
plt.xlabel（' P ' ）
plt.ylabel（' H（X）'）
plt.show（）

pが1次元配列、範囲[0,1.05）の値である、0.05のステップで、HXは、各データのエントロピーの一次元アレイを記録するためのリストです。

次のように得られた結果は以下のとおりです。

確率が0又は1である場合、それは、見られ、H（X）= 0;場合P = 0.5、ランダム変数の最大不確実性、すなわち、画像エントロピーの最大値。

条件付きエントロピー

条件付きエントロピーH（Y | X）ホワイトああ確率変数X、確率変数Yの不確実性で知られている条件の下で。これは次のように定義されます。

H（Y | X）=Σ ^N_{i = 1} Σの^m個の_J_{= 1}、P（X = X _、I Y = Yの_I）* X * logP値（Y = Y _I | X = X _I）

定義により、H（Y | X-）≦H（Y）

相互の情報

また、相互情報として別のイベントの出現に貢献したイベントが発生した情報の量を評価するための情報を得る知られています。カウント：

I（X、Y）= H（Y）-H（Y | X）

特徴選択意思決定ツリーでは、主に情報利得に基づきます。訓練データDの所与のセットについて、データセットは、次元特徴Nからなると仮定すると、ときに決定木、中心的な問題は、このような最大純度を分割した後ことは、データセットを分割する機能を選択することです。一般的に、ゲイン情報大きく、特定の情報が分割収入大きい「純度が促進」であることを意味します。だから、多くの場合、決定木ファームウェア除算特性に関する情報を得るために使用。

相対エントロピー

2つのランダム変数の相対エントロピーの個体差、個人差も大きく、より大きな相対エントロピー。（x）はxの実分布を示し、Pとしても、KLダイバージェンスとして知られ、Q（S）はXの分布の分布のトレーニング及び予測を示し、その後、pおよびqは、相対エントロピーです。

KL（P（X）|| Q（X））=Σ _x∈Xの P（x）はログ₂（P（X）/ Q（X））を

相対エントロピー意義はです：

相対エントロピー、すなわち、対称性、伝統的でない1距離KL（P（X）|| Q （X））≠KL（Q（X）|| P（X））

予測と実際の分布を正確に等しく分布は、相対エントロピーが0である2

3.2つの大きな分布差であれば、より高い相対エントロピー、逆に小さい相対エントロピー

前記非負相対エントロピーを満たします

クロスエントロピー

Diは、コスト関数としてニューラルネットワークに（機械学習）を横断することができ、pは実際のマークの分布を表し、qは訓練された予測モデルマーカーが配布された、交差エントロピーコスト関数は、pとqの類似度を測定することができます。別の利点交差エントロピーコスト関数を回避することができる勾配降下で使用されるシグモイド関数であるように、縮小率の平均二乗誤差コスト関数学習問題、学習制御の誤り率を出力することができるからです。定義されているクロスエントロピ（クロスエントロピー）。

H（P（X0、Q（X））= H（X）+ KL（P（x）| Q（x））を

どこで：

H（X）= - Σ _x∈X P（x）はログ₂（X）

KL（P（X）|| Q（X））= Sxup（X）（logz P（X） - H（P（X0、Q（x）は）に簡略化lgq（x）のように：

そのようにH（P（X0、Q（ x））を簡素化した後に

H（P（X0、Q（X））=Σ _x∈Xの P（x）は（ログ₂ Pを（X）-log ₂ Q（x））を