Notas de lectura de Huashu (2) -Teoría de la información y la probabilidad

Resumen de todas las notas: Libro de flores de "aprendizaje profundo" - Resumen de notas de lectura

Descarga gratuita de PDF de "Deep Learning" : "Deep Learning"

1. Probabilidad

Está directamente relacionado con la frecuencia de ocurrencia de eventos y se llama probabilidad frecuentista; cuando se
trata del nivel de certeza, se llama probabilidad bayesiana.

Segundo, variables aleatorias

Las variables aleatorias pueden ser discretas o continuas.

Tres, distribución de probabilidad

Se utiliza para describir la probabilidad de una variable aleatoria o un grupo de variables aleatorias en cada estado posible. La forma en que describimos la distribución de probabilidad depende de si la variable aleatoria es discreta o continua.

La distribución de probabilidad de una variable discreta se puede describir mediante una función de masa de probabilidad ; cuando el objeto de nuestra investigación es una variable aleatoria continua, usamos una función de densidad de probabilidad para describir su distribución de probabilidad.

Cuarto, probabilidad marginal

Conocemos la distribución de probabilidad conjunta de un conjunto de variables, pero queremos conocer la distribución de probabilidad de un subconjunto de ellas. Dicha probabilidad se define en un subconjunto de la distribución que se llama distribuciones de probabilidad marginal (distribución de probabilidad marginal).

5. Probabilidad condicional

En muchos casos, estamos interesados ​​en un evento determinado, dada la probabilidad de que ocurran otros eventos, esta probabilidad se llama probabilidad condicional .

6. La regla de la cadena de probabilidad condicional

$$P(a,b,c)=P(a|b,c\left)P\right(b,c)=P(a|b,c)P(b|c\left)P\right(c)$$

Siete, independencia e independencia condicional

Dos variables aleatorias $x$和$y$ , si su distribución de probabilidad se puede expresar como el producto de dos factores, y un factor solo contiene$El$ otro factor de$x$ solo contiene$y$ , llamamos a estas dos variables aleatorias independientes entre sí.
$$x\perp y$$
si alrededor de$x$和 y y La distribución de probabilidad condicional de$y$ es parazzCada valor de$z$ se puede escribir como un producto, luego estas dos variables aleatorias$x$和$y$ en una variable aleatoria dada$z$ es condicionalmente independiente. $$x\perp y|z$$

8. Expectativa, varianza y covarianza

La covarianza (covarianza) en cierto sentido da la fuerza de la correlación lineal entre dos variables y la escala de estas variables: $$Cov\left(f\right(x),g(y\left)\right)=E\left[\right(f\left(x\right)-E\left[f\right(x\left)\right]\left)\right(g\left(y\right)-E[g(y)])]$$

Nueve, distribución de probabilidad de uso común

1. Distribución de Bernoulli
2. Distribución multinoulli (distribución multinoulli) o distribución categórica
3. Distribución normal o distribución gaussiana
4. Distribución exponencial
5. Laplace 分布 （Distribución de Laplace）
6. Distribución de Dirac o distribución empírica
7. Distribución de la mezcla (modelo de mezcla gaussiana GMM)

10. Propiedades útiles de funciones de uso común

función sigmoidea logística: $$\sigma \left(x\right)=\frac{1}{1+\exp (-x)}$$

función softplus: $$\zeta \left(x\right)=log(1+\exp (x\left)\right)$$

Algunas propiedades comunes:

Once, regla bayesiana

$$P(x|y)=\frac{P\left(x\right)P(Y|x)}{P\left(y\right)}$$

12. Detalles técnicos de las variables continuas

13. Teoría de la información

La principal investigación consiste en cuantificar cuánta información contiene una señal.

Usamos la divergencia de Kullback-Leibler (KL) para medir la diferencia entre dos distribuciones: $${re}_{KL}(P||Q)={mi}_{x~P}\left[log\frac{P\left(x\right)}{Q\left(x\right)}\right]={mi}_{x~P}\left[logP\right(x)-logQ(x\left)\right]$$

La divergencia KL tiene muchas propiedades útiles, la más importante de las cuales es que no es negativa. La divergencia de KL es 0 si y solo si $P$ y$Q$ es la misma distribución en el caso de variables discretas, o `` casi en todas partes '' la misma en el caso de variables continuas.

14. Modelo de probabilidad estructurado

Hay dos tipos principales de modelos de probabilidad estructurados: dirigidos y no dirigidos. Dirigida o no dirigida no es una característica de una distribución de probabilidad; es una característica de una descripción especial de una distribución de probabilidad, y cualquier distribución de probabilidad puede describirse de estas dos formas.

El portal del próximo capítulo: notas de lectura de Huashu (3) -cálculo numérico