La base de la teoría de la información en el aprendizaje automático: entropía, entropía condicional, entropía conjunta, entropía relativa, información mutua y sus propiedades

En 1948, "Una teoría matemática de la comunicación" del Dr. Shannon (Teoría matemática de la comunicación) resultó ser la creación de la teoría de la información. Desde entonces, la teoría de la información ha estado brillando en el campo de la comunicación, sentando una teoría sólida para el éxito. de la base de ingeniería de comunicaciones. Sin embargo, la teoría de la información es una teoría universal. Se considera que es la "fuerza interna" del auge actual de la inteligencia artificial y el aprendizaje automático. Esto se debe a que la esencia de la inteligencia artificial es procesar información . Creemos que el algoritmo de la máquina el aprendizaje puede entenderse con el pensamiento de la teoría de la información.

---

prefacio

在引入熵的概念之前，我们可以思考这样一个问题：
¿Qué experimento es más incierto, lanzar una moneda con caras pares o lanzar un dado con seis caras?

En términos generales, sentimos que el experimento de lanzar una moneda al aire tendrá menos incertidumbre, porque después de todo, la moneda tiene solo 2 resultados y el dado tiene 6 resultados , pero por un hecho tan intuitivo, ¿cómo lo cuantificamos para que el número ¿Refleja la relación de tamaño entre las incertidumbres de dos variables aleatorias?

Shannon propuso el concepto de entropía para resolver el problema anterior. Para los eventos aleatorios discretos anteriores, la entropía discreta se puede utilizar para definir su incertidumbre:

La entropía es una medida de la incertidumbre de una variable aleatoria, para una variable aleatoria discreta $X\sim p\left(x\right)$ , su entropía discreta se puede definir como:

$$H\left(X\right)=-\underset{x\in x}{}pag\left(x\right)iniciarsesiónpag\left(x\right)$$

Entre ellos: floritura $\chi$ se expresa incluyendo todos$Conjunto\; de\; elementos\; x$ , base logarítmica 2.

Lo siguiente utiliza la cuantificación de entropía discreta de Shannon para resolver los dos experimentos que presentamos antes:

Sea una variable aleatoria $X$ es el valor de lanzar una moneda justa, donde las caras están representadas por 1 y las cruces están representadas por 0, por lo que hay:

$$P\{X=0,1\}=\frac{}{2}$$
Nota: Dado que $X=0,X=1$ Las probabilidades son todas iguales y se combinan por motivos de disposición ordenada. $$H\left(X\right)=-\frac{}{2}\times iniciarsesión\frac{}{2}-\frac{}{2}\times iniciarsesión\frac{}{2}=1$$

Sea variable aleatoria $Y$ es el valor de lanzar un dado uniforme de seis caras, donde$Y=1,2,\dots ,6$ , entonces:
P { Y = 1 , 2 , … , 6 } = 1 6 P\{Y=1,2, \ldots, 6\}=\frac{1}{6}P{ Y=1 ,2 ,…,6 }=61
有
$$H\left(Y\right)=6\times \left(-\frac{}{6}iniciarsesión\frac{}{6}\right)=iniciarsesión6En$$
resumen, tenemos las siguientes conclusiones:
$$H\left(X\right)=1=iniciarsesión2<H\left(Y\right)=iniciarsesión6$$
es la variable aleatoria$De\; hecho,\; X$ es más incierto que una variable aleatoria$Y$ viene más pequeño, en línea con nuestra intuición.

Para echar un vistazo más de cerca, cuanto mayor es la entropía de una variable aleatoria, mayor es la incertidumbre, en otras palabras, cuanto mayor es la cantidad de información contenida en la variable aleatoria , entonces, ¿cuál es la cantidad de información? La cantidad de información al lanzar una moneda es, cara arriba, cruz arriba, este $2$ es la cantidad de información; de manera similar, la cantidad de información al tirar los dados es$6$ números diferentes boca arriba, el$6$ es también la cantidad de información. Entonces, desde el punto de vista de la computadora, qué es exactamente la entropía, también podríamos ver
$$H\left(X\right)=1,H\left(Y\right)=iniciarsesión6$$
en realidad significa que en una computadora, para expresar el resultado de lanzar una moneda, necesitas usar$1bitt$ , para expresar el resultado de tirar los dados se necesita usar$log6bitt$ (la representación real se redondea$3bit$ ), es decir,la entropía es la longitud de codificación de las variables aleatorias en el$sentido$ medio . ¿Por qué dices eso?

De la definición de entropía, sabemos:
$$H\left(X\right)=-\underset{x\in x}{}pag\left(x\right)iniciarsesiónpag\left(x\right)=\underset{x\in x}{}pag\left(x\right)iniciarsesión\frac{}{pag\left(x\right)}=mi\left[registro\_\frac{}{pag\left(x\right)}\right]$$

Es decir, la entropía es en realidad la variable aleatoria XXLa función de$X$$iniciarsesión\frac{}{pag\left(x\right)}$Expectativas.

Hasta ahora, hemos entendido el significado de la entropía en la teoría de la información y el significado físico en la codificación informática. Finalmente, expliquemos nuevamente, ¿qué es la entropía de un evento inevitable? Debe ser 0, porque el evento inevitable es cierto y no contiene incertidumbre, es decir, el evento inevitable no contiene información.

上面的介绍只是让各位读者基本对熵有了解，接下来我们进入正题

1. Autoinformación, ¿qué es la entropía?

Primero repasemos el concepto de autoinformación. Para el conjunto de eventos $X=\left\{x_{},X_{}\dots X_{}\right\}$ , uno de los eventos$X_{}$La probabilidad de ocurrencia es ${pag}_{}$, entonces la autoinformación se define como:
$$I\left(X_{}\right)=-iniciarsesión{pag}_{}$$
显然$I\left(X_{}\right)\ge 0$ , y con${pag}_{}$Disminuir y aumentar. La base aquí se puede elegir arbitrariamente, por conveniencia, tomamos $2.$ En este momento, la unidad de autoinformación es "bit" ($poco)$ . Pero también medido en Sh, nat, Hart, dependiendo de la base del logaritmo utilizado por la definición.

De acuerdo con el punto de vista de la teoría de la probabilidad, aquí el conjunto de eventos $De\; hecho,\; X$ se puede considerar como undominio de eventos en un espacio de probabilidad, por lo que también se pueden definir variables aleatorias en el espacio de probabilidad. Para facilitar la comprensión, esta variable aleatoria se puede registrar como$X$，而$\left\{x_{},X_{}\dots X_{}\right\}$ esel conjunto de observaciones de esta variable aleatoria. Para la autoinformación, se puede entender desde múltiples perspectivas:

• Indica la magnitud de la incertidumbre del evento.
• Indica la cantidad de información generada por la ocurrencia de un evento. Una vez que ocurre un evento, elimina la incertidumbre y por lo tanto trae información.
• Indica la cantidad de información requerida para determinar la ocurrencia de un evento.

Por ejemplo, una pequeña castaña: la probabilidad de un tsunami en Tokio es del $0.01\%$ , entonces la autoinformación correspondiente$yo\left(x\right)=-iniciarsesiónpag\left(x\right)=13.2879$

Luego, para cuantificar la incertidumbre de esta variable aleatoria, podemos introducir el concepto de entropía.

1. Definición de entropía

"Información" en la teoría de la información se refiere a "información de probabilidad". Cuanto menor sea la probabilidad de un evento, más información nos puede dar . En la vida, una vez que ocurre un evento de pequeña probabilidad, a menudo nos sorprende, e incluso exclama: "La cantidad de información es demasiado para aceptar por un tiempo", mientras que la ocurrencia de un evento de alta probabilidad está dentro de nuestras expectativas. Este es un reflejo intuitivo de la cantidad de información del evento. Desde un punto de vista cualitativo, cuanto menor sea la probabilidad de un evento, mayor será la incertidumbre y mayor será la cantidad de información que se traerá una vez que ocurra. Los siguientes conceptos se utilizan para analizar cuantitativamente esta incertidumbre.

Entropía : Es una medida de la estabilidad de un sistema. De hecho, es la expectativa o valor medio de toda la información variable en un sistema , también conocida como autoinformación promedio.La definición matemática es la siguiente:

Fórmula (variable discreta):
$$H\left(X\right)=\underset{X\in X}{}pag\left(x\right)iniciarsesión\frac{}{pag\left(x\right)}=-\underset{X\in X}{}pag\left(x\right)iniciarsesiónpag\left(x\right)=-miiniciarsesiónP\left(X\right)$$
puede entender el concepto de entropía desde varias perspectivas:

• El tamaño de la incertidumbre de la variable aleatoria.
• La observación de esta variable aleatoria arroja el tamaño de la entropía promedio
• La cantidad promedio de información requerida para determinar el valor de esta variable aleatoria
• desorden del sistema

Cuanto más inestable es un sistema, o cuanto mayor es la incertidumbre de los eventos que ocurren, mayor es su entropía.
Tomando una moneda como ejemplo, la probabilidad de cara es , y la probabilidad de cruz es , entonces la entropía de este sistema es
obviamente fácil de obtener, en ese momento, el valor de es el más grande, lo que también confirma que cuanto mayor sea la incertidumbre de la ocurrencia del evento, cuanto mayor sea su entropía, mayor será .

2. Propiedades matemáticas de la entropía

1. Simetría
   cuando ${pag}_{}$Al intercambiar lugares, el valor de entropía no cambia. Esto es en realidad una limitación de la entropía, porque solo considera la distribución de probabilidad general de los eventos, eliminando la particularidad de los individuos.
   Para solucionar esta limitación se propone el concepto de entropía ponderada:
   $$H_{}\left(X\right)=-\sum _{yo=1}{w}_{}{pag}_{}iniciarsesión{pag}_{}$$
   De esta manera, la importancia de cada evento se puede reflejar a través del peso.
2. La no negatividad
   obviamente tiene $H\left(X\right)=-{\sum }_{yo=1}^{}{pag}_{}iniciarsesión{pag}_{}\ge 0$ , solo un${pag}_{}=1$ en punto está disponible y así sucesivamente. Esto muestra que la entropía solo puede reducirse a 0 cuando la incertidumbre desaparece por completo.
3. Escalabilidad
   De hecho, es difícil para nosotros enumerar todos los eventos posibles, porque siempre hay algunos eventos de pequeña probabilidad que son inesperados, y la escalabilidad nos dice que estos eventos de pequeña probabilidad no tienen efecto sobre la entropía.
   $$\underset{ϵ\to 0}{}H({pag}_{},{pag}_{},\dots ,{pag}_{}-,\_)\_=H\left({pag}_{},{pag}_{},\dots ,{pag}_{}\right)$$
4. Aditividad
   Esto refleja la relación entre entropía, entropía condicional y entropía conjunta:
   $$H(X,Y)=H\left(X\right)+H(Y|X)$$
   Del mismo modo, hay:
   $$H(X,Y)=H\left(Y\right)+H(X|Y)$$
   se puede probar mediante la fórmula de probabilidad condicional, que se omite y se deja como ejercicio.
5. Valor extremo (teorema de la máxima entropía)
   Cuando todos los eventos del conjunto ocurren con la misma probabilidad, la entropía del conjunto alcanza el valor máximo:
   $$H\left({pag}_{},{pag}_{},\dots ,{pag}_{}\right)\le H\left(\frac{}{norte},\frac{}{norte},\dots ,\frac{}{norte}\right)=iniciarsesiónnorte$$
6. Convexidad
   La función de entropía es una función convexa.

2. Entropía condicional

1. Autoinformación condicional

En la vida, la ocurrencia de un evento hará que cambie la probabilidad de otro evento. Por ejemplo, el brote de la epidemia en Tianjin ha reducido drásticamente la probabilidad de conferencias fuera de línea en la Universidad de Nankai, y la probabilidad de posponer los exámenes finales ha aumentado rápidamente. Combinado con el concepto de información anterior, es decir, la información dada por la ocurrencia del evento y cambiará la incertidumbre del evento x, y la incertidumbre del evento x en este momento es su autoinformación condicional. Definido matemáticamente como:
$$yo(x|y)=-iniciarsesiónpag(x|y)$$
sigue siendo la castaña en lo anterior, si se ha demostrado que ha ocurrido un terremoto en el fondo marino frente a la costa de Tokio, entonces la probabilidad de un tsunami en Tokio en este momento aumentará al 1 % 1 \$1\%$ , entonces su autoinformación condicional$yo(x|y)=-iniciarsesiónpag(x|y)=6.6584$ , menor que$I\left(x\right)$ , su incertidumbre se reduce.

2. Entropía condicional

Al considerar la relación de incertidumbre entre dos variables aleatorias, es necesario introducir el concepto de entropía condicional. Una variable aleatoria en una situación dada, la entropía del sistema.
$$\begin{array}{rl}H(Y|x)& =\underset{X\in X}{}P\left(x\right)H(Y|X=x)\\ & =\underset{X\in X}{}pag\left(x\right)\left[\underset{y\in y}{}P(y|x)iniciarsesión\frac{}{P(y|x)}\right]\\ & =\underset{X\in X}{}\underset{y\in y}{}pags\left(x\right)pags(y|x)iniciarsesión\frac{}{P(y|x)}\\ & =\underset{X\in X}{}\underset{y\in y}{}PAG(X,y)iniciarsesión\frac{}{P(y|x)}\\ & =-miiniciarsesiónP(Y|x\end{array}$$
No es difícil ver que la entropía condicional es la expectativa de la cantidad de información en el sistema bajo una variable dada.

La entropía condicional también tiene múltiples ángulos de comprensión:

• La incertidumbre promedio que permanece en la variable aleatoria Y cuando se observa X
• Después de obtener la observación de X, la cantidad promedio de información que se puede obtener al observar Y
• Después de obtener la observación de X, piense en la cantidad de información necesaria para determinar Y

---

3. Entropía conjunta

La entropía conjunta, también conocida como coentropía, tiene un significado similar a la entropía, excepto que se considera que los eventos en dos conjuntos ocurren simultáneamente.
$$H(X,Y)=\underset{X\in X}{}\underset{y\in y}{}PAG(X,y)iniciarsesión\frac{}{PAG(X,y)}=-miiniciarsesiónP(X,Y)$$

4. Entropía diferencial

Todas las discutidas anteriormente son variables aleatorias discretas, pero las variables aleatorias continuas son algo diferentes. Dado que el valor de la variable aleatoria continua es infinito, su incertidumbre también es infinita, para una mejor descripción. Dividimos el 樀 de las variables aleatorias continuas en entropía diferencial y entropía absoluta, donde la entropía diferencial corresponde a la entropía de las variables aleatorias discretas, generalmente denominada entropía.
$$H_{}\left(X\right)=-{\int }_{-\infty }^{+}pag\left(x\right)iniciarsesiónp\left(x\right)dx$$
Cabe señalar quela entropía diferencial puede ser negativa, lo que es diferente de la entropía de las variables aleatorias discretas.

5. Entropía relativa

Kullback-Leibler Divergence, es decir K-L散度, es una forma de cuantificar la diferencia entre dos distribuciones de probabilidad P y Q , aka 相对熵. En probabilidad y estadística, a menudo usamos a 更简单的、近似的分布para reemplazar 观察数据o 太复杂的分布. La divergencia KL nos ayuda a medir la cantidad de información que se pierde al usar una distribución para aproximar otra.
$$D_K(pag\Vert q)=\underset{i}{}pag\left(X_{}\right)\cdot \left[registro\_\frac{}{q\left(X_{}\right)}-iniciarsesión\frac{}{pag\left(X_{}\right)}\right]=\underset{i}{}pag\left(X_{}\right)\cdot iniciarsesión\frac{pag(X_{}}{q\left(X_{}\right)}$$
donde es la distribución variable observada, $q$ es una distribución de mejor esfuerzo que encontramos. Es una medida asimétrica, aquí esperamos que cuando ocurra una mayor probabilidad, la diferencia entre el valor aproximado y la distribución real de la información tenga un mayor peso.

No negatividad de la divergencia KL
Según la definición de divergencia KL, hay:
$$KL(PAG\Vert Q)=\sum _{yo=1}{pag}_{}iniciarsesión\frac{{pag}_{}}{q_{}}=-{mi}_{}\left[registro\_\frac{q_{}}{{pag}_{}}\right]$$
De acuerdo con la desigualdad de Jensen, se puede probar que$KL(PAG\Vert Q)\ge 0$ , igual si y solo si las dos distribuciones son iguales. También:$H(P,q)\ge H\left(P\right)$ .
En la entropía cruzada asimétrica
y la divergencia KL, P y Q no son intercambiables, es decir, no satisfacen la definición de "distancia", pero a menudo los usamos para medir dos distribuciones en la práctica y especificar la distribución real como P.

6. Entropía cruzada

Entropía cruzada (cross entropy): También se utiliza para medir la diferencia entre dos distribuciones.
$$H_{}(pag,q)=\underset{i}{}pag\left(X_{}\right)\cdot iniciarsesión\frac{}{q\left(X_{}\right)}$$
Aparentemente, la entropía cruzada es la primera parte de la entropía relativa, porque generalmente la conocemos, es decir, la segunda parte es una constante. En este momento, la entropía cruzada y la entropía relativa son una relación lineal. Teniendo en cuenta la cantidad de cálculo, generalmente todos utilizar esta parte de la entropía cruzada para hacer. |

JS散度(divergencia de Jensen-Shannon)：为了解决相对熵（KL散度不对称的问题），对KL散 度进行变体。 DJS ( p ∥
$$\begin{array}{rl}{D}_J(pag\Vert q)& ==0.5\ast \left[D_K\left(pag\Vert \frac{pag+}{2}\right)+D_K\left(q\Vert \frac{pag+}{2}\right)\right]\\ & =0.5\ast [\underset{i}{}pag\left(X_{}\right)\cdot iniciarsesión\frac{2p\_(X_{}}{pag\left(X_{}\right)+q\left(X_{}\right)}+\underset{i}{}q\left(X_{}\right)\cdot iniciarsesión\frac{2q(X_{}}{pag\left(X_{}\right)+q\left(X_{}\right)}\end{array}$$

7. Ganancia de información

Ganancia de información: en un conjunto de entrenamiento, se usa para medir una variable AALa influencia de$A\; en\; él.$Por ejemplo, ya sea que la sandía esté madura o no, tiene un 樀. Sin embargo, la incertidumbre del juicio se puede reducir a través de los pedículos y las texturas del melón, y muchas veces la variable que mejor nos permite determinar la madurez del melón es la variable clave.
$$\begin{array}{rl}g(re,un)& =alto\left(fondo\right)-H(D|un)\\ & =-\sum PAG\left(D_{}\right)iniciarsesiónPAG\left(D_{}\right)-\sum \frac{|D_{}}{|re|}H(D_{}\end{array}$$
Cuando este valor es grande, es decir, no hay cambio en la entropía original, la variable no es una variable clave, por el contrario, la variable clave reducirá en gran medida el 樀 del sistema. Esta métrica se usa a menudo para seleccionar el nodo raíz de un árbol de decisión.

8. Información mutua

1. Información mutua

A partir de la autoinformación condicional, sabemos que existe una conexión inextricable entre los eventos, para caracterizar la cercanía de esta conexión, definimos el concepto de información mutua.
$$yo(x;y)=(-iniciarsesiónpag(x))-(-iniciarsesiónpag(x|y))=iniciarsesión\frac{pag(x|y}{pag\left(x\right)}=yo(x)-yo(x|y)$$
en realidad, es decir:

Información mutua = autoinformación - confianza condicional = evento $y$ esxxIncertidumbre eliminada por$x$

En la teoría de la probabilidad y la teoría de la información, la información mutua ( información mutua, denominada MI) o la información de transferencia (transinformación ) de dos variables aleatorias es una medida de la interdependencia entre las variables. A diferencia del coeficiente de correlación, la información mutua no se limita a variables aleatorias de valor real, es más general y determina la distribución conjunta $pag(X,Y)$ y el producto de la distribución marginal descompuestap ( X ) p ( Y ) p(X)p(Y)El grado de similitud entre$p$$($$X$$)$$yp$$($$Y$$)\; .$La información mutua es una medida de la correlación entre dos conjuntos de eventos.

Formalmente, la información mutua de dos variables aleatorias discretas X e Y se puede definir como:
donde $pag(x,y)$ es$X$ 和 $La\; función\; de\; distribución\; de\; probabilidad\; conjunta\; de\; Y$ , y$p\left(x\right)$ y$p\left(y\right)$ son las funciones de distribución de probabilidad marginal de X e Y respectivamente.

$$yo(X;Y)=\underset{y\in y}{}\underset{X\in X}{}pag(x,y)iniciarsesión\left(\frac{pag(x,y}{p\left(x\right)p\left(y\right)}\right)$$
en el caso de variables aleatorias continuas, la suma se reemplaza por una integral definida doble:
$$yo(X;Y)={\int }_{}{\int }_{}pag(x,y)iniciarsesión\left(\frac{pag(x,y}{p\left(x\right)p\left(y\right)}\right)dxdy$$
la información mutua se puede expresar de manera equivalente como
$$\begin{array}{rl}yo(X;Y)& =H\left(X\right)-H(X|Y)\\ & =H\left(Y\right)-H(Y|x)\\ & =H\left(X\right)+H\left(Y\right)-H(X,Y)\\ & =H(X,Y)-H(X|Y)-H(Y|x\end{array}$$
donde $H\left(X\right)$ y$H\left(Y\right)$ es la entropía marginal,$H(X|Y)$ 和 $H(Y|X)$ es condicional, y$H(X,Y)$ es$X$和 Y Y La entropía conjunta de$Y.$Tenga en cuenta que este conjunto de relaciones es similar a las relaciones de unión, diferencia e intersección, usando$El\; diagrama\; de\; Venn$ muestra que

cuando dos variables aleatorias son iguales, la información mutua es mayor, de la siguiente manera:
$$yo(X;x)=H\left(X\right)-H(X|x)=H(X)$$
En el aprendizaje automático, idealmente, cuando la información mutua es la más grande, se puede considerar que la distribución de probabilidad de la variable aleatoria ajustada a partir del conjunto de datos es la misma que la distribución real.

Usando la desigualdad de Jensen sobre la base de la definición de información mutua, podemos probar que $yo(X;Y)$ no es negativo, entonces$H\left(X\right)>=H(X|Y)$ , aquí damos$yo(X;Y)=H\left(Y\right)–$ Derivación detallada de$H$$($$Y$$|$$X$$)\; :$
$$\begin{array}{rl}yo(X;Y)& =\underset{x,y}{}pag(x,y)iniciarsesión\frac{pag(x,y}{p\left(x\right)p\left(y\right)}\\ & =\underset{x,y}{}pag(x,y)iniciarsesión\frac{pag(x,y}{pag\left(x\right)}-\underset{x,y}{}pag(x,y)iniciarsesiónp(y)\\ & =\underset{x,y}{}p\left(x\right)p(y|x)iniciarsesiónp(y|x)-\underset{x,y}{}pag(x,y)iniciarsesiónp\left(y\right)\\ & =\underset{X}{}pag\left(x\right)\left(\underset{y}{}p(y|x\left)iniciarsesiónp\right(y|x)\right)-\underset{y}{}iniciarsesiónp\left(y\right)\left(\underset{X}{}pag(x,y)\right)\\ & =-\underset{X}{}p\left(x\right)H(Y|X=x)-\underset{y}{}iniciarsesiónp(y)p(y)\\ & =-H(Y|x)+H(Y)\\ & =H\left(Y\right)-H(Y|X)\end{array}$$
Después de la derivación, podemos ver intuitivamente que $H\left(X\right)$ se expresa como la variable aleatoria original$La\; cantidad\; de\; información\; de\; X$ ,$H(X|Y)$ por conocer el hecho$Y$ después de$La\; cantidad\; de\; información\; de\; X$ , la información mutua$yo(X;Y)$ significa conocer el hecho$Después\; de\; Y$ , cuánto se reduce la cantidad original de información.

Pongamos un ejemplo para ilustrar el cambio de la incertidumbre del evento:

Supongamos que ahora te doy una moneda y te digo que es par. Por favor, tírala 100 veces y dime el resultado. Después de que la lanzaste 100 veces, el resultado registrado es: 90 caras y 10 cruces, y empiezas a preguntarte "¿Es ¿Esta es realmente una moneda justa?"

De la primera parte de la entropía, sabemos que la entropía de esta moneda debe ser de 1 bit, pero después de tal experimento, ¿sigue siendo la entropía de esta moneda de 1 bit? Podemos suponer que la probabilidad de cara es 0,9 y la probabilidad de cruz es 0,1. Calcula la entropía:
$$H(X|\hat{X})=-\mathrm{0,9}iniciarsesión0.9-0.1iniciarsesión0.1\approx 0.469$$
donde$H(X|\hat{X})$se expresa como la entropía de la moneda original después de saber que han salido 90 caras.
Después de lanzarla 100 veces, sabemos que tal moneda puede ser impar, y la nueva entropía es de 0,469 bits, es decir, después de saber que la cara sale 90 veces y la cruz 10 veces, la entropía de esta moneda se reduce 0,531 bits, la cantidad de información de este 0,531, llamamosinformación mutua.

2. La diferencia entre información mutua y ganancia de información

• La información mutua describe la cantidad de información de las partes correspondientes de dos subsistemas en el mismo sistema; la
  ganancia de información describe la cantidad de información en diferentes estados del mismo sistema.
• Se refiere a la cantidad de información cuando se clasifican algunos objetos con diferentes atributos, y evalúa la criticidad de los atributos,
  se refiere al grado de incertidumbre de un evento después de que se conoce un evento.
• La ganancia de información es una estimación imparcial de la información mutua, por lo que en el proceso de formación del árbol de decisión, los dos son equivalentes.

3. Naturaleza de la información mutua

1. La reciprocidad (simetría)
   se deriva fácilmente:
   $$yo(x;y)=yo(y;x)$$
   Esto significa que la cantidad de información que dos cosas pueden proporcionarse entre sí debe ser igual. Esta propiedad muestra que la información mutua se puede utilizar para caracterizar la cercanía de la conexión entre dos eventos.
   Cuando la cantidad de información mutua es positiva, los dos eventos se correlacionan positivamente y se promueven entre sí; cuando la cantidad de información mutua es negativa, los dos eventos se correlacionan negativamente y tienen un efecto inhibidor entre sí; cuando la cantidad de información mutua es 0, los dos eventos no tienen conexión, son independientes.
   Cabe señalar que la información mutua positiva no significa que dos eventos estén relacionados causalmente, y todos pueden ser el "efecto" de una "causa" potencial. Por ejemplo, las conferencias en línea y los exámenes en línea de la Universidad de Nankai obviamente tienen información mutua positiva, pero no existe una relación causal entre ellos, y ambos son "efectos" de la epidemia.
2. La cantidad de información mutua no es mayor que la cantidad de autoinformación de cualquier evento
   Es fácil entender que la incertidumbre eliminada por la representación de información mutua no puede exceder la incertidumbre del evento mismo. La prueba es la siguiente:
   $$yo(x;y)=iniciarsesión\frac{pag(x|y}{pag\left(x\right)}\le iniciarsesión\frac{}{pag\left(x\right)}=I\left(x\right)$$
   A partir de esto podemos ver que la autoinformación en realidad puede entenderse como un caso especial de información mutua:$yo(x;x)=yo\left(x\right)$。

Resumir

En aprendizaje automático, la entropía es el grado de caos que caracteriza la distribución de variables aleatorias. Cuanto más caótica es la distribución, mayor es la entropía. Es uno de los parámetros que caracterizan el estado de la materia en física, y también es una medida del grado de caos en el sistema; el significado de la entropía es medir la cantidad de información La gente suele decir que hay mucha información, o que hay poca información, pero es difícil decir cuánta información hay. En este momento, se refleja el significado de la entropía. Arriba presentamos la definición y las propiedades de la entropía. Es ampliamente utilizado en el aprendizaje automático.Por ejemplo, la red neuronal aprende la información de Fisher, mientras que la Generalización está representada por la información de Shannon. La representación computacional del objetivo de aprendizaje se puede describir o explicar mediante la optimización de la función de entropía, etc. En el aprendizaje automático, siempre podemos ver la sombra de la entropía de la información.

以下是本文的参考链接，如有问题，欢迎各位读者批评指正！

Link de referencia

Cubierta, TM y Thomas, JA (2006). Elementos de la teoría de la información, 2ª ed. Hoboken, Nueva Jersey: Wiley. MR2239987

Schervish, MJ (1995). Teoría de la Estadística. Serie Springer en Estadística. Nueva York: Springer. MR1354146

[Teoría de la información] El concepto básico de entropía - Zhihu (zhihu.com)

[Teoría de la información] Autoinformación e información mutua - Zhihu (zhihu.com)

Una muestra de información mutua (1): Conceptos básicos - Zhihu (zhihu.com)

Libro breve: cómo comprender la divergencia KL (entropía relativa) .

Comprensión Zhihu-Popular de la ganancia de información en el algoritmo del árbol de decisión

Zhihu-¿Cuál es la conexión y la diferencia entre la obtención de información y la información mutua?

Fórmula de información mutua y descripción general - OmegaXYZ

Cómo entender la divergencia KL (entropía relativa) - Libro corto (jianshu.com)

[Teoría de la información] Medida de distancia de distribución - Zhihu (zhihu.com)

¿Cuál es la relación entre la teoría de la información y el aprendizaje automático? - Zhihu (zhihu.com)