平均条件付き相互情報量
意味：イベントyjが発生した後に提供されるセットXに関する情報の平均量
和集合XYの平均条件付き相互情報量I（X; yj）> = 0
等号の条件は、集合Xの各xiがyjから独立していることです（つまり、XとYは互いに独立しています）。
平均相互情報量
説明：I（X; Y）は、セットYを受信することによって取得されたセットXに関する情報の平均量を表します。つまり、セットXおよびY全体について、セットYを受信した後に除去されたXに関する平均不確実性を表します。これは固定値です。
平均相互情報量とさまざまなタイプのエントロピーとの関係：
I（X; Y）= H（X）-H（X | Y）= H（Y）-H（Y | X）
I（X; Y）= H（X）+ H（Y）-H（XY）
説明：
H（X）：ソースXの平均不確実性（以前のエントロピー）
H（Y）：Yの平均不確実性
H（X | Y）：Yを受け取った後、 Xの残りの不確かさは、チャネルの疑いとしても知られるチャネル損失を表します。Xの残りの不確かさは、損失エントロピーとしても知られる干渉によって引き起こされる損失です。
I（X; Y）：Yを受け取った後にXを排除するのに役立つ平均不確実性。
次の図からもわかります。H（X | Y）≤H（X）、H（Y | X）≤H（Y）、等号を取るための必要十分条件は、XとYが独立していることです。お互いの。
ポストエントロピー非増加プロパティ：
チャネルでの情報の送信中、後部エントロピーは前のエントロピーを超えてはならず、せいぜい前のエントロピーと等しくてはなりません。エントロピーは常に減少する方向に発達し、せいぜい変化しません。エントロピーを減少させるプロセスは、情報をチャネル送信するプロセスです。
極値：
I（X; Y）<= H（X）; I（X; Y）<= H（Y）
凸面機能：
I（X; Y）は、ソース分布p（ xi ）とチャネル転送確率p（y j | xi ）の凸関数です。
