Autor:
Enlace de Venceslas : https: //www.zhihu.com/question/67066372/answer/251430955
Fuente: saber casi con
derechos de autor del autor. Para reimpresiones comerciales, comuníquese con el autor para obtener autorización. Para reimpresiones no comerciales, indique la fuente.
Para una prueba estricta, consulte la prueba del teorema 7.7.1 del teorema de codificación de canales en Elements of Information Theory de Tomas M. Cover.
Para ilustrar, primero presentamos el concepto de un conjunto típico. El conjunto típico es que para la secuencia iid X ^ n, se satisfacen las siguientes relaciones de probabilidad:
Una colección de secuencias. Puede verse en la fórmula anterior que cuando \ epsilon tiende a cero, su probabilidad tiende a ser la misma. Y a partir del teorema de los números grandes, podemos elegir cualquier secuencia, y la probabilidad de obtener una secuencia en un conjunto típico es:
Es decir, tomamos la secuencia de todas las secuencias posibles y siempre tomamos la secuencia en la concentración típica con una probabilidad de uno. Y se puede ver que el número de secuencias en un conjunto típico es .
A continuación explicamos por qué la capacidad del canal se puede representar por la cantidad de información mutua. Para canales discretos sin memoria, la secuencia de envío está sujeta a iid X ~ P (X), solo consideramos la secuencia en el conjunto típico (debido a que la secuencia es arbitraria, la probabilidad de obtener la secuencia en el conjunto típico tiende a 1) , es decir , el conjunto de secuencias de envío El tamaño es
. De manera similar, en el extremo receptor, generamos la secuencia de recepción de acuerdo con la secuencia de envío y obedecemos la distribución condicional P (Y | X), y el tamaño de conjunto típico correspondiente a esta distribución es
. Y el tamaño de conjunto típico basado solo en la
distribución es
. Para poder recuperar la secuencia de envío basada en la secuencia de recepción, requerimos que dos secuencias de envío no puedan producir la misma secuencia de salida; de lo contrario, no podemos recuperar la secuencia de envío de la secuencia de recepción. Es decir, el conjunto de secuencias de recepción correspondientes a dos secuencias de envío cualesquiera no puede superponerse, por lo que podemos permitir que
como máximo una secuencia pase por el canal . Esto explica brevemente por qué se puede utilizar la cantidad de información mutua para representar la capacidad del canal.
Nota: las secuencias finales de transmisión, cada secuencia correspondiente a las
secuencias terminales de recepción final transmisora eran, como se muestra a continuación, muchas. Para canal sin ruido
,
el extremo emisor
La base de la teoría de la información de Cover es mucho más clara de lo que dije: la clave es comprender y aceptar el concepto de conjuntos típicos. Si la descripción anterior no es muy clara, puede mirar la descripción de la capacidad del canal debajo del canal AWGN (modelo de relleno, en la versión en inglés p324-325), que es muy intuitiva.