概率图模型

概率图模型（Probabilistic Graphical Model，PGM），简称图模型（Graphical Model， GM），是指一种用图结构来描述多元随机变量之间条件独立关系的概率模型，

从而给研究高维空间中的概率模型带来了很大的便捷性。

高维随机变量的联合概率为高维空间中的分布，一般难以直接建模。在不做任何独立性假设的条件下，模型的参数将随维度的增长呈指数级增长。

一种有效减少参数量的方法是独立性假设。如果某些变量之间存在条件独立性，其参数数量就可以大幅减少。因此，如何描述多元随机变量之间的条件独立关系成为高维空间概率模型构建的关键。

当概率模型中的变量数量比较多时，其条件依赖关系也比较复杂。我们可以使用图结构的方式将概率模型可视化，以一种直观、简单的方式描述随机变量之间的条件独立性的性质，

并可以将一个复杂的联合概率模型分解为一些简单条件概率模型的组合。

图中给出了4个变量之间的条件独立性的图形化描述。图中每个节点表示一个变量，每条连边变量之间的依赖关系。对于一个非全连接的图，都存在一个或多个条件独立性假设，可以根据条件独立

性将联合概率分布进行分解，表示为一组局部条件概率分布的乘积。联合概率分布可表示为：

图模型的基本问题

图模型有三个基本问题：

如何通过图结构来描述变量之间的依赖关系？

图由一组节点和节点之间的边组成。在概率图模型中，每个节点都表示一个随机变量（或一组随机变量），边表示这些随机变量之间的概率依赖关系。

常见的概率图模型可以分为两类：

有向图模型的图结构为有向非循环图，如果两个节点之间有连边，表示对于的两个变量为因果关系。

无向图模型使用无向图来描述变量之间的关系。每条边代表两个变量之间有概率依赖关系，但是并不一定是因果关系。

带阴影的节点表示可观测到的变量，不带阴影的节点表示隐变量，连边表示两变量间的条件依赖关系。

有向图模型（Directed Graphical model），也称为贝叶斯网络（BayesianNetwork），或信念网络（Belief Network， BN），是指用有向图来表示概率分布的图模型。

条件独立性：在贝叶斯网络中，如果两个节点是直接连接的，它们肯定是非条件独立的，是直接因果关系。父节点是“因”，子节点是“果”。

如果两个节点不是直接连接的，但是它们之间有一条经过其它节点的路径来连接，那么这两个节点之间的条件独立性就比较复杂。

常见的有向图模型：

无向图模型，也称为马尔可夫随机场（Markov Random Field， MRF）或马尔可夫网络（Markov Network），是一类用无向图来描述一组具有局部马尔可夫性质的随机向量 X的联合概率分布的模型。

无向图模型中的团和最大团

常见的无向图模型：

无向图模型可以表示有向图模型无法表示的一些依赖关系，比如循环依赖；

但它不能表示有向图模型能够表示的某些关系，比如因果关系。

具有共果关系的有向图的道德化示例

推断问题：在已知部分变量时，计算其它变量的后验概率分布。