深度学习中Multinoulli分布

Multinoulli 分布

Multinoulli 分布是多项式分布(multinomial distribution)的一个特例。 多项式分布是{0; : : : ; n}k 中的向量的分布,用于表示当对 Multinoulli 分布采样 n 次时 k 个类中的每一个被访问的次数。很多文章使用 “多项式分布’’ 而实际上说的是 Multinoulli 分布,但是他们并没有说是对 n = 1 的情况,这点需要注意。

Multinoulli 分布(multinoulli distribution)或者 范畴分布(categorical distribution)是指在具有 k 个不同状态的单个离散型随机变量上的分布,其中 k 是一个有限值。 2 Multinoulli 分布由向量 p 2 [0; 1]k-1 参数化,其中每一个分量 pi 表示第 i 个状态的概率。最后的第 k 个状态的概率可以通过 1 - 1⊤p 给出。注意我们必须限制 1⊤p ≤ 1。 Multinoulli 分布经常用来表示对象分类的分布,所以我们很少假设状态 1 具有数值 1 之类的。因此,我们通常不需要去计算 Multinoulli 分布的随机变量的期望和方差。

Bernoulli 分布和 Multinoulli 分布足够用来描述在它们领域内的任意分布。它们能够描述这些分布,不是因为它们特别强大,而是因为它们的领域很简单;它们可以对那些,能够将所有的状态进行枚举的离散型随机变量进行建模。当处理的是连续型随机变量时,会有不可数无限多的状态,所以任何通过少量参数描述的概率分布都必须在分布上加以严格的限制。

https://zhuanlan.zhihu.com/p/32482774摘自知乎前述链接

猜你喜欢

转载自blog.csdn.net/limiaoiao/article/details/98479573
今日推荐