常用概率分布

许多简单的概率分布在众多领域中都是有用的。

• 高斯分布(Gaussian distribution)

实数上最常用的分布，也称为正态分布(Normal distribution)。

$$N\left ( x; \mu ,\sigma ^{2}\right )=\sqrt{\frac{1}{2\pi\sigma ^{2} }}\textrm{exp}\left ( -\frac{1}{2\sigma ^{2}}\left ( x- \mu \right )^{2} \right )$$
正态分布由两个参数控制： $\mu \in \mathbb{R}$和 $\sigma \in (0, )$。参数 $\mu$给出了中心峰值的坐标，这也是分布的均值。分布的标准差用 $\sigma$表示，方差用 $\sigma^{2}$表示。

当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时，正态分布是默认的比较好的选择，其中有两个原因：
第一，建模的很多分布的真实情况是比较接近正态分布的。中心极限定理说明很多独立随机变量的和近似服从正态分布。这意味着在实际中，很多复杂系统都可以被成功的建模成正态分布的噪声，即使系统可以分解为一些更结构化的部分。
第二， 在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性。因此，我们可以认为正态分布是对模型加入的先验知识量最少的分布。

• 混合分布模型