estimativa de probabilidade máxima e a posteriori máxima

• Este artigo primeiro número do público: RAIS , erro de fórmula acesse: aqui a vista.

prefácio

Esta série de artigos para o "Profundo Aprendizagem" notas de estudo, você pode ver o livro original para ler em conjunto, melhor.

MLE VS MAP

A função de probabilidade máxima (MLE) e o máximo de uma estimativa de probabilidade a posteriori (MAP) são dois métodos de estimação completamente diferentes, função de probabilidade máxima pertence às estatísticas de frequência facção (que não é um valor verdadeiro de θ), pertencente ao máximo Bayesiana uma estimativa a posteriori estatísticas (acho que θ é uma variável aleatória, em linha com uma certa distribuição de probabilidade), que é a diferença entre os dois métodos de compreensão. O mesmo modelo, a probabilidade é que os dados de pressão de parâmetros, dados estatísticos é empurrado parâmetro.

estimativa de máxima verosimilhança

A função de probabilidade é uma função dos parâmetros do modelo, o modelo baseia-se em observações, o valor estimado dos parâmetros do modelo. Dado saída x, sobre a função de probabilidade L (θ | x) θ é igual a uma dada probabilidade parâmetros [teta] dos valores de X variáveis. Sua definição matemática é:

\ [G (i | x) = f_th (x) = P_th (X = X) \]

estimativa de probabilidade máxima que é uma boa estimativa de quando a amostra tende para infinito, a estimativa de máxima probabilidade é a melhor taxa de convergência assintótica, e por causa das suas estatísticas de consistência e de eficiência, aprendizagem máquina também é preferido métodos de estimação. No caso de independentes e identicamente distribuído:

\ [\ Hatth_ {MLE} = argmaxP (X; i) = argmaxP (x_1; i) P (x_2; i) ... P (x_n; i) = argmax \ log \ i = Prod_ {1} ^ nP ( x_i; i) = \\\\ argmax \ sum_ {i = 1} ^ N \ log P (x_i; i) = argmin- \ sum_ {i = 1} ^ N \ log P (x_i; i) // 负对 数 似 然 \]

Desde os logarítmicas função monotônica aumenta, e, portanto, gostaria de solicitar um valor máximo L, o que pode estar a tentar encontrar o seu número máximo de funções, de modo que o mesmo resultado é obtido. Profundidade estudo feito pela natureza do componente transversal entropia usado em tarefas de classificação é a esforçar-se para a função de probabilidade máxima.

Condições de estimativa da probabilidade máxima

\ [\ Hatθ_ {MLE} = argmaxP (Y | X; θ) = argmax \ sum_ {i = 1} ^ {m} \ log {P (y ^ {(i)} | x ^ {(i)} | θ)} \]

Máxima a posteriori estimativa

fórmula Bayesiana:

\ [P (θ | x) = \ frac {P (x | θ) P (θ)} {P (x)} \]

Em que P (x | θ) é a função de probabilidade, P (θ) é a probabilidade a priori.

A definição matemática do máximo uma estimativa posteriori são os seguintes:

\ [\ Hat \ theta_ {MAP} (x) = \ arg \ MAX_ \ theta f (\ theta | x) = \ arg \ MAX_ \ theta \ frac {f (x | \ theta) g (\ theta)} { \ int_ \ vartheta f (x | \ vartheta) g (\ vartheta) d \ vartheta} = \ arg \ MAX_ \ teta f (x | \ teta) g (\ teta) \]

teta para os parâmetros a serem estimados, f é a probabilidade, g é uma estimativa a priori, a maximização de uma estimativa a posteriori obtido por f · g. Quando a distribuição antes é constante, coincide com o pico máximo a posteriori máximo estimativa da verosimilhança estimativa.

resumo

estimativa de probabilidade máxima e o máximo de uma estimativa a posteriori análise comparativa.

• Este artigo primeiro número do público: RAIS , erro de fórmula acesse: aqui a vista.