Maschinelles Lernen hat seine eigene einzigartige mathematische Grundlage, wir Kalkül verwenden unendlich kleine Änderung der Funktion zu verarbeiten und ihre Veränderung berechnen; wir verwenden lineare Algebra, die Berechnungen zu behandeln; wir auch Wahrscheinlichkeitstheorie und statistische Modellierung Unsicherheit verwenden. In diesem, Wahrscheinlichkeitstheorie hat seine einzigartige Lage, die Ergebnisse des Modells zur Vorhersage, der Lernprozesses, können die Lernziele durch die Wahrscheinlichkeit Sicht zu verstehen.
Zur gleichen Zeit, von der feineren Sicht ist die Wahrscheinlichkeitsverteilung der Zufallsvariablen Inhalt, was wir verstehen müssen. In diesem Artikel beschreibt der Autor das Projekt statistische Verteilung der alles, was Sie wissen müssen, er auch eine Implementierung des Codes jeder Verteilung zur Verfügung stellt.
Projektadresse: https: //github.com/graykode/distribution-is-all-you-need
Sie uns auf der gesamten Wahrscheinlichkeitsverteilung aussehen lassen hat, was es:
Sehr interessant ist die Ansicht jeder Verteilung verbunden sind. Zum Beispiel Bernoulli-Verteilung wird Binomialverteilung es mehrmals wiederholt, wenn dann zu einer Multi-Klasse erweitert, wurde die Polynom-Verteilung. Man beachte, dass, wenn das Konjugat (Konjugat) von zueinander Konjugat die Wahrscheinlichkeitsverteilung darstellt; Multi-Class-Zufallsvariable, die mehr als 2; N-mal repräsentiert wir auch die vorherige Verteilung P (X) in Betracht ziehen.
Bayes-Theorie Konzepte, wenn die posteriori-Verteilung P (θ | x) und die vorherige Verteilung P (θ) die Wahrscheinlichkeitsverteilung der gleichen Familie ist, kann das Verteilungsprofil zu posterior-Konjugat a priori Verteilung bezeichnet werden kann bezeichnet werden Likelihood-Funktion des Konjugats vor.
Um die Wahrscheinlichkeitsverteilung, Projekt Autoren zu studieren schlugen vor, dass wir Bischof von Mustererkennung und maschinellem Lernen zu sehen. Natürlich, wenn du bereit zu gehen „Wahrscheinlichkeitstheorie und Mathematische Statistik“, das ist ausgezeichnet.
Wahrscheinlichkeitsverteilung und Eigenschaften
1. uniform (kontinuierlich)
Bezieht sich auf eine gleichförmig verteilte Zufallsvariable geschlossenen Intervall [a, b] in, und die Wahrscheinlichkeit des Auftretens der einzelnen Variablen sind die gleichen.
2. Bernoulli-Verteilung (diskrete)
Bernoulli-Verteilung ist nicht a priori Wahrscheinlichkeiten P (X) betrachtet, der die Verteilung eines einzelnen binären Zufallsvariable ist. Es φ∈ durch einen einzigen Parameter [0, 1] steuert, [Phi] gibt die Wahrscheinlichkeit, dass eine zufällige Variable gleich. Wir verwenden die gegenseitigen Entropie-Funktionen für binäre Klassifikation ist es im Einklang mit der Form des negativen Logarithmus der Bernoulli-Verteilung nehmen.
3. Binomialverteilung (diskrete)
Binomialverteilung ist das Konzept von Bernoulli vorgeschlagen, es auf die wiederholten n unabhängigen Bernoulli-Versuchen bezieht. Es gibt nur zwei mögliche Ergebnisse in jeder Studie, und die beiden Ergebnisse auftreten oder nicht entgegengesetzt zueinander sind.
4.Multi-Bernoulli-Verteilung (diskrete)
Multi-Bernoulli-Verteilung noch sichtbares Profil (Categorical Verteilung), seine Kategorie von mehr als 2, die Form der Quer Entropie und dem negativen Logarithmus dieser Verteilung ist mit der Form überein.
5. Multinomialverteilung (diskrete)
Kategorie Polynom Verteilung ist die Verteilung (Multinomialverteilung) ist ein Sonderfall, der Umfang seiner Beziehung mit der Verteilung als Bernoulli-Verteilung Beziehung mit Binomialverteilung.
6.Beta Profil (kontinuierlich)
Beta-Verteilung (Beta-Verteilung) als Bernoulli-Verteilung ist binomische und Konjugat vor Verteilungsdichteverteilungsfunktion, um es zu einer Gruppe in dem kontinuierlichen Wahrscheinlichkeits (0,1) definierte Verteilung bezieht. Beta-Verteilung ist ein Spezialfall der gleichmäßigen Verteilung, das heißt, alpha = 1, = 1 beta-Verteilung.
7. Dirichlet-Verteilung (kontinuierlich)
Dirichlet-Verteilung (Dirichlet-Verteilung) ist eine Klasse von verteilten in einem positiven simplex (Standard simplex) Set-Unterstützung (Support) eine hohe Dimensions kontinuierliche Wahrscheinlichkeits realen Domäne, eine Beta-Verteilung fördern höherdimensionalen. Bayes-Inferenz als Dirichlet Verteilung Polynom Konjugat a priori-Verteilung angewandt wird, werden verwendet, um das Dirichlet Mischungsmodell in maschinellem Lernen zu konstruieren.
8.Gamma Profil (kontinuierlich)
Gamma-Verteilung ist statistisch die gemeinsame kontinuierliche Verteilung, Exponentialverteilung, Chi-Quadrat-Verteilung und Erlang-Verteilung ist der Sonderfall. Wenn Gamma (a, 1) / Gamma (a, 1) + Gamma (b, 1), dann ist die Gamma-Verteilung entspricht Beta (a, b) Verteilung.
9. Exponentialverteilung (kontinuierlich)
Exponentialverteilung kann verwendet werden, um das Zeitintervall unabhängige zufällige Ereignisse, um anzuzeigen, wie Passagiere die Flughäfen Intervalle in das Call-Center des Intervalls eingeben und so weiter. Wenn alpha gleich 1 ist, ist die exponentielle Verteilung ein spezieller Fall der Verteilung Gamma.
10. Gaußsche Verteilung (kontinuierlich)
Gauß- oder Normalverteilung ist eine der wichtigsten, ist es in dem gesamten Modell maschinellen Lernen weit verbreitet. Zum Beispiel unser Recht, die Initialisierung Gaußschen Verteilung, unsere verborgenen Vektor mit Gauß-Verteilung wieder zu verwenden ist normalisiert so weiter.
Wenn der Mittelwert der Normalverteilung 0, 1 Zeitvarianz, die die Standardnormalverteilung ist, die die beliebtestene Distribution.
11. Die Chi-Quadrat-Verteilung (kontinuierlich)
Kurz gesagt, Chi-Quadrat-Verteilung (Chi-Quadrat) kann als die Summe der Quadrate von k unabhängigen Freiheitsgrad Einhaltung Standardnormalgröße k verstanden wird, ist eine Chi-Quadrat-Verteilung. Chi-Quadrat-Verteilung ist eine spezielle Gamma-Verteilung ist die Wahrscheinlichkeitsverteilung eine der am häufigsten in statistischer Inferenz verwendet werden, wie die Berechnung Hypothesenprüfung und Konfidenzintervalle.
12. Schüler t- Verteilung
Student t-Verteilung (Student-t-Verteilung) entsprechend der geschätzten Probe hatte eine Normalverteilung und Varianz unbekannter Bevölkerung, der Mittelwert ist. t Verteilung symmetrisch ist glockenförmige Verteilung, so wie normal invertiert, da sie für mehr long tail berücksichtigt, die t-Verteilungseinrichtung ist anfälliger vom Mittelwert Probe entfernt.
Code verteilt Umsetzung
NumPy Art und Weise eine Vielzahl von Verteilung über und Kartografie liefert den entsprechenden Codeleser bauen kann im ursprünglichen Projekt. Shows konstruiert Kartographie als Exponentialverteilung folgt, können wir direkt die Wahrscheinlichkeitsdichtefunktion definieren, und es dann in Ordnung einfach ausdrucken.
import numpy as np
from matplotlib import pyplot as plt
def exponential(x, lamb):
y = lamb * np.exp(-lamb * x)
return x, y, np.mean(y), np.std(y)
for lamb in [0.5, 1, 1.5]:
x = np.arange(0, 20, 0.01, dtype=np.float)
x, y, u, s = exponential(x, lamb=lamb)
plt.plot(x, y, label=r'$mu=%.2f, sigma=%.2f,'
r' lambda=%d$' % (u, s, lamb))
plt.legend()
plt.savefig('graph/exponential.png')
plt.show()
