情報理論：定量化するための情報を含む信号のどのくらいの。基本的な考え方は次のとおりです。実際に起こっ万一、非常に可能性の高いイベントよりも、より多くの情報を提供することができます。
まず、情報理論の基本的な考え方は、情報を定量化するために、そこに次のようになります。
1、情報のない量あってはならないイベントが発生する可能性があることを保証するために、非常に少ない、極端な場合の情報量よりも発生する可能性が高いイベント。
図2に示すように、イベントは、情報のより高い量で発生しにくくなります。
図3に示すように、独立したイベントは、正の二回フロントアップ情報量の2倍であるべきで二回コインを投げ渡さコインを投げて、そのような情報の量と、増分情報を有していなければなりません。
第二に、情報及びシャノンエントロピーの量以来。
三、KLダイバージェンス：
1、定義：D：Xは、2つの別個の確率分布P（x）と同一のランダム変数Q（X）を有する場合、我々はKL発散を有する2つの分布間の差を測定することができるKL（P || Q）= EをP〜X [logP値（X）-logQ（X）]
2.目的：我々は一種類を使用する場合、追加の情報を測定するためには、Pは、所望の生成シンボルの確率分布を含むメッセージを送信し、そのようなメッセージの最小符号長Qその確率分布に設計されています。
3、クロスエントロピー：H（P、Q）= H（P）+ D KL（P || Q）= - E X〜P [LOGQ（X）]