El aprendizaje automático tiene su propia base matemática única, utilizamos el cálculo para procesar infinitamente pequeño cambio de la función, y calcular su cambio; utilizamos álgebra lineal para manejar los cálculos; también utilizamos teoría de la probabilidad y la incertidumbre de modelos estadísticos. En éste, la teoría de probabilidad tiene su posición única para predecir los resultados del modelo, el proceso de aprendizaje, los objetivos de aprendizaje pueden ser entendidas por el punto de vista de la probabilidad.
Al mismo tiempo, desde el punto de vista más fina, la distribución de probabilidad de la variable aleatoria de contenido es lo que tenemos que entender. En este artículo, el autor describe el proyecto de distribución estadística de todo lo que necesita saber, sino que también proporciona una implementación del código de cada distribución.
Dirección del proyecto: https: //github.com/graykode/distribution-is-all-you-need
Veamos la distribución general de probabilidad tiene lo que:
Muy interesante es la vista de cada distribución están vinculados. Por ejemplo, la distribución de Bernoulli, distribución binomial se repite varias veces, si luego se expandió a un multi-clase, se convirtió en la distribución del polinomio. Tenga en cuenta que, en donde el conjugado (conjugado) representa la distribución de probabilidad de mutuamente conjugado; variable aleatoria Multi-Class representa a más de 2; N veces representa también consideramos la distribución P anterior (X).
conceptos de la teoría bayesiana, si la distribución a posteriori p (θ | x) y la distribución a priori p (θ) es la distribución de probabilidad de la misma familia, el perfil de distribución a posteriori pueden ser referidos al conjugado distribución a priori se puede denominar función de verosimilitud del conjugado anterior.
Con el fin de estudiar la distribución de probabilidad, los autores del proyecto sugirieron que vemos Obispo de reconocimiento de patrones y aprendizaje automático. Por supuesto, si usted está listo para ir sobre "Teoría de la probabilidad y la estadística matemática", que es excelente.
Distribución de probabilidad y características
1. uniforme (continua)
Se refiere a un intervalo cerrado variable aleatoria uniformemente distribuida [a, b], y la probabilidad de ocurrencia de cada variable son los mismos.
2. distribución de Bernoulli (discreta)
distribución de Bernoulli no se considera a priori probabilidades P (X), que es la distribución de una sola variable aleatoria binaria. Se φ∈ por un único parámetro [0, 1] controles, [PHI] da la probabilidad de una variable aleatoria es igual. Utilizamos las funciones de entropía mutuos para la clasificación binaria, es coherente con la forma de tomar el logaritmo negativo de la distribución de Bernoulli.
3. distribución binomial (discreta)
distribución Binomial es el concepto propuesto por Bernoulli, se refiere a los ensayos de Bernoulli repetidos n independientes. Sólo hay dos posibles resultados de cada ensayo, y los dos resultados producirse o no opuestas entre sí.
distribución 4.Multi-Bernoulli (discreta)
distribución Multi-Bernoulli todavía perfil visible (distribución categórica), su categoría excede 2, la forma de la entropía cruzada y el logaritmo negativo de esta distribución es coherente con el formulario.
5. distribución multinomial (discreta)
Categoría distribución polinomio es la distribución (distribución Multinomial) es un caso especial, el alcance de su relación con la distribución como la relación de distribución de Bernoulli con una distribución binomial.
perfil 6.Beta (continua)
distribución Beta (Beta Distribution) como una distribución de Bernoulli es función de distribución de densidad de distribución antes binomial y el conjugado, se refiere a un grupo definido en la probabilidad continua (0,1) de distribución. distribución Beta es un caso especial de la distribución uniforme, es decir, alfa = 1, beta = 1 de distribución.
7. distribución Dirichlet (continua)
Dirichlet distribución (distribución Dirichlet) es una clase de distribuido en un simplex positivo (simplex estándar) conjunto de soporte (soporte) de dominio real continua probabilidad dimensional alta, una distribución Beta promover más dimensiones. inferencia bayesiana, como una distribución de Dirichlet polinomio conjugado a priori distribución aplicada, se utilizan para construir el modelo de mezcla Dirichlet en el aprendizaje de la máquina.
perfil 8.Gamma (continua)
distribución gamma es estadísticamente la distribución continua común, distribución exponencial, distribución chi-cuadrado y la distribución de Erlang son su caso especial. Si Gamma (a, 1) / Gamma (a, 1) + Gamma (b, 1), entonces la distribución gamma es equivalente a Beta (a, b) de distribución.
9. distribución exponencial (continua)
distribución exponencial se puede utilizar para indicar el tiempo de los sucesos aleatorios independientes de intervalo, tales como los pasajeros entran en los intervalos del aeropuerto en el centro de llamadas de intervalo y así sucesivamente. Cuando alfa es igual a 1, la distribución exponencial es un caso especial de la distribución gamma.
10. distribución gaussiana (continua)
Gaussiana o distribución normal es uno de los más importantes, es ampliamente utilizado en todo el aprendizaje automático modelo. Por ejemplo, nuestro derecho a volver a utilizar la inicialización distribución de Gauss, nuestro vector escondida con distribución de Gauss se normaliza así sucesivamente.
Cuando la media de la distribución normal es de 0, 1 varianza tiempo, que es la distribución normal estándar, que es nuestra distribución más popular.
11. La distribución chi-cuadrado (continua)
En resumen, la distribución de chi-cuadrado (Chi-cuadrado) puede ser entendido como la suma de los cuadrados de k grados independientes de libertad cumplimiento estándar variable normal k es una distribución chi-cuadrado. distribución Chi-cuadrado es una distribución especial gamma, la distribución de probabilidad es una de las más ampliamente utilizado en la inferencia estadística, como la computación intervalos de prueba de hipótesis y de confianza.
12. distribución t de Student
Estudiante de la distribución t (distribución t de Student) de acuerdo con la muestra estimado tenía una distribución normal y la varianza de población desconocida, el valor medio es. distribución t es simétrica distribución en forma de campana invertida, tan normal como se representó más larga cola, lo que significa la distribución t es más propenso a la muestra lejos de la media.
Código aplicación se distribuye
manera NumPy para construir una variedad de distribución de arriba y cartografía proporciona el lector de código correspondiente se puede encontrar en el proyecto original. Cartografía espectáculos construidos de la siguiente distribución exponencial, podemos definir directamente la función de densidad de probabilidad, y luego imprimirlo bien.
import numpy as np
from matplotlib import pyplot as plt
def exponential(x, lamb):
y = lamb * np.exp(-lamb * x)
return x, y, np.mean(y), np.std(y)
for lamb in [0.5, 1, 1.5]:
x = np.arange(0, 20, 0.01, dtype=np.float)
x, y, u, s = exponential(x, lamb=lamb)
plt.plot(x, y, label=r'$mu=%.2f, sigma=%.2f,'
r' lambda=%d$' % (u, s, lamb))
plt.legend()
plt.savefig('graph/exponential.png')
plt.show()
