概率与信息论-笔记

概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一
个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散

的还是连续的。


PMF:   离散型变量的概率分布可以用概率质量函数(probability mass function, PMF)
1来描述。我们通常用大写字母P 来表示概率质量函数。通常每一个随机变量都会有

一个不同的概率质量函数,并且读者必须根据随机变量来推断所使用的PMF

如果一个函数P 是随机变量x 的PMF,必须满足下面这几个条件:




PDF:   当我们研究的对象是连续型随机变量时,我们用概率密度函数(probability
density function, PDF)而不是概率质量函数来描述它的概率分布

如果一个函数p
是概率密度函数,必须满足下面这几个条件:



有时候,我们知道了一组变量的联合概率分布,但想要了解其中一个子集的概
率分布。这种定义在子集上的概率分布被称为边缘概率分布(marginal probability

distribution)。




条件概率的链式法则

相对于 联合概率分布, 不是独立分布



两个随机变量x 和y,如果它们的概率分布可以表示成两个因子的乘积形式,并
且一个因子只包含x 另一个因子只包含y,我们就称这两个随机变量是相互独立的

(independent):


如果关于x 和y 的条件概率分布对于z 的每一个值都可以写成乘积的形式,

那么这两个随机变量x 和y 在给定随机变量z 时是条件独立的





猜你喜欢

转载自blog.csdn.net/u011808673/article/details/80791135
今日推荐