著者：Venceslas
リンク：https：//www.zhihu.com/question/67066372/answer/251430955
出典：
著者がほぼ著作権を所有していることを知っています。商用転載の場合は、著者に連絡して許可を求めてください。非商用転載の場合は、出典を明記してください。
厳密な証明については、TomasM.CoverによるElementsof InformationTheoryのチャネルコーディング定理の定理7.7.1の証明を参照してください。
説明のために、最初に典型的なセットの概念を紹介します。典型的なセットは、iidシーケンスX ^ nの場合、次の確率関係が満たされることです。
シーケンスのコレクション。上記の式から、\ epsilonがゼロになる傾向がある場合、その確率は同じになる傾向があることがわかります。そして、多数の定理から、任意のシーケンスを選択でき、典型的なセットでシーケンスを取得する確率は次のとおりです。
つまり、可能なすべてのシーケンスからシーケンスを取得し、常に1の確率で通常の濃度のシーケンスを取得します。そして、典型的なセットのシーケンスの数はであることがわかります。
以下に、チャネル容量を相互情報量で表すことができる理由を説明します。離散メモリレスチャネルの場合、送信シーケンスは、iid X〜P（X）に従い、通常のセットのシーケンスのみを考慮します（シーケンスは任意であるため、通常のセットのシーケンスをフェッチする確率は1になる傾向があります） 、つまり、送信シーケンスのセットサイズは
です。同様に、受信側では、送信シーケンスに従って受信シーケンスを生成し、条件付き分布P（Y | X）に従い
ます。この分布に対応する一般的なセットサイズは、です。そして、分布のみに基づく
典型的なセットサイズは
です。受信シーケンスに基づいて送信シーケンスを回復できるようにするには、2つの送信シーケンスが同じ出力シーケンスを生成できないようにする必要があります。そうしないと、受信シーケンスから送信シーケンスを回復できません。つまり、任意の2つの送信シーケンスに対応する受信シーケンスのセットはオーバーラップできないため、最大で
1つのシーケンスがチャネルを通過できるようにすることができます。これは、相互情報の量を使用してチャネル容量を表すことができる理由を簡単に説明しています。
注：送信終了シーケンス、送信終了受信端末
シーケンスに対応する各シーケンスは、以下に示すように、多数でした。ノイズのないチャネルの
場合
、送信
Coverの情報理論の基礎は、私が言ったよりもはるかに明確です。重要なのは、典型的なセットの概念を理解して受け入れることです。上記の説明があまり明確でない場合は、AWGNチャネル（英語版p324-325のフィルインモデル）でのチャネル容量の説明を見ることができます。これは非常に直感的です。