Huashu Reading Notes (2) -Probabilidade e Teoria da Informação

Resumo de todas as notas: Livro de flores de "Aprendizado profundo" - Resumo das notas de leitura

Download gratuito do PDF "Deep Learning" : "Deep Learning"

1. Probabilidade

Está diretamente relacionada com a frequência de ocorrência do evento e é chamada de probabilidade frequentista, quando se
trata do nível de certeza é chamada de probabilidade bayesiana.

Em segundo lugar, variáveis ​​aleatórias

Variáveis ​​aleatórias podem ser discretas ou contínuas.

Três, distribuição de probabilidade

É usado para descrever a probabilidade de uma variável aleatória ou um grupo de variáveis ​​aleatórias em cada estado possível. A maneira como descrevemos a distribuição de probabilidade depende se a variável aleatória é discreta ou contínua.

A distribuição de probabilidade de uma variável discreta pode ser descrita por uma função de massa de probabilidade ; quando o objeto de nossa pesquisa é uma variável aleatória contínua, usamos uma função de densidade de probabilidade para descrever sua distribuição de probabilidade.

Quarto, probabilidade marginal

Conhecemos a distribuição de probabilidade conjunta de um conjunto de variáveis, mas queremos saber a distribuição de probabilidade de um subconjunto delas. Tal probabilidade é definida em um subconjunto da distribuição chamada de distribuições de probabilidade marginal (distribuição de probabilidade marginal).

5. Probabilidade condicional

Em muitos casos, estamos interessados ​​em um determinado evento, dada a probabilidade de ocorrência de outros eventos, essa probabilidade é chamada de probabilidade condicional .

6. A regra da cadeia de probabilidade condicional

$$P(a,b,c)=P(a|b,c\left)P\right(b,c)=P(a|b,c)P(b|c\left)P\right(c)$$

Sete, independência e independência condicional

Duas variáveis ​​aleatórias $x$和$y$ , se sua distribuição de probabilidade pode ser expressa como o produto de dois fatores, e um fator contém apenas$O$ outro fator de$x$ contém apenas$y$ , chamamos essas duas variáveis ​​aleatórias independentes uma da outra.
$$x\perp y$$
se cerca de$x$和yyA distribuição de probabilidade condicional de$y$ é parazzCada valor de$z$ pode ser escrito como um produto, então essas duas variáveis ​​aleatórias$x$和$y$ em uma determinada variável aleatória$z$ é condicionalmente independente. $$x\perp y|z$$

8. Expectativa, variância e covariância

A covariância (covariância) em certo sentido dá a força da correlação linear entre duas variáveis ​​e a escala dessas variáveis: $$Cov\left(f\right(x),g(y\left)\right)=E\left[\right(f\left(x\right)-E\left[f\right(x\left)\right]\left)\right(g\left(y\right)-E\left[g\right(y\left)\right]\left)\right]$$

Nove, distribuição de probabilidade comumente usada

1. Distribuição Bernoulli
2. Distribuição Multinoulli (distribuição multinoulli) ou distribuição categórica
3. Distribuição normal ou distribuição gaussiana
4. Distribuição exponencial
5. Laplace 分布 （Distribuição de Laplace）
6. Distribuição de Dirac ou distribuição empírica
7. Distribuição da mistura (modelo de mistura gaussiana GMM)

10. Propriedades úteis de funções comumente usadas

função sigmóide logística: $$\sigma \left(x\right)=\frac{1}{1+\exp (-x)}$$

função softplus: $$\zeta \left(x\right)=log(1+\exp (x\left)\right)$$

Algumas propriedades comuns:

Onze, regra bayesiana

$$P(x|y)=\frac{P\left(x\right)P(Y|x)}{P\left(y\right)}$$

12. Detalhes técnicos de variáveis ​​contínuas

13. Teoria da Informação

A principal pesquisa é quantificar quanta informação um sinal contém.

Usamos a divergência de Kullback-Leibler (KL) para medir a diferença entre duas distribuições: $$D_{KL}(P||Q)=E_{x~P}\left[log\frac{P\left(x\right)}{Q\left(x\right)}\right]=E_{x~P}\left[logP\right(x)-logQ(x\left)\right]$$

A divergência de KL tem muitas propriedades úteis, a mais importante das quais é que não é negativa. Divergência KL é 0 se e somente se $P$ e$Q$ é a mesma distribuição no caso de variáveis ​​discretas, ou `` quase em todo lugar '' a mesma no caso de variáveis ​​contínuas.

14. Modelo de probabilidade estruturado

Existem dois tipos principais de modelos de probabilidade estruturados: direcionados e não direcionados. Direcionado ou não direcionado não é uma característica de uma distribuição de probabilidade; é uma característica de uma descrição especial de uma distribuição de probabilidade, e qualquer distribuição de probabilidade pode ser descrita dessas duas maneiras.

O portal do próximo capítulo: Huashu lendo notas (3) - cálculo numérico