【概率论】范畴分布 Categorical / Multinoulli Distribution

Multinoulli 分布, 指的也是单个离散型随机变量, 可以随机地取 $k$ 个不同的状态, 在每个状态上的概率用 $p_i$ 来表示. 因此 Multinoulli 分布可以用一个 $k-1$ 维的向量 $\mathbb p$ 表示, 因为这个分布只有 $k-1$ 个自由度, $p_k = 1 - \sum_0^{k-1}p_i$.

在 ML 中, Multinoulli 分布常用来表示 classification 的 $k$ 个class, 而class之间一般是没有可比可计算性的, 因此我们一般不用计算 Multinoulli 分布的期望和方差.