什么是贝叶斯网络？原理入门

现实生活中的很多问题都是概率问题，由多个变量(因素，要素)相互影响。而想要用贝叶斯网络对其建模，我们需要考虑三个问题：1. 如何定义节点；2.如何定义节点之间的概率依赖关系；3. 如何表示联合概率分布。

假设我们现在有 $N$ 个变量，每个变量有 $K$ 个取值，则可建模为如下形式：

$p(\mathbf{X})=p\left(X_{1}, X_{2}, \ldots, X_{N}\right), X_{i} \in\{1,2, \ldots K\}$

若使用枚举法，参数个数为： $K^{N}$ 。

假设变量之间相互独立，则联合概率分布大大简化为如下形式：

$p(\mathbf{X}) = p(X_{1})p(X_{2})\cdots p(X_{N})$

但是变量之间相互独立的这个假设太强了，那我们如何来利用图的结构优势降低模型的复杂度？

贝叶斯网络

贝叶斯网络是一个有向无圈图(Directed Acyclic Graph, DAG)(有向边并不会形成一个圈)，由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率表达变量间依赖关系，没有父节点的用先验概率进行信息表达。

令 $G$ 为定义在 $\{X_{1},X_{2},\cdots,X_{N}\}$ 上的一个贝叶斯网络，则其联合概率分布可以表示为各个节点的条件概率分布的乘积：

$p(X)=\prod_{i} p_{i}\left(X_{i} | \operatorname{Par}_{G}\left(X_{i}\right)\right)$

其中 $Par_{G}(\mathbf{X}_{i})$ 为节点 $\mathbf{X}_{i}$ 的父节点， $p_{i}(\mathbf{X}_{i}|Par_{G}(X_{i}))$ 为节点条件概率表。

我们以一个例子来对其进行实例化建模：

实际生活中的一个例子：对一个学生能否拿到老师的推荐信这一问题进行建模研究。假设与该问题相关的变量有以下五个：试题难度、学生智力、考试成绩、高考成绩、是否得到老师推荐信。那么其节点可定义为如下形式：

定义节点

可以看到Grade有两个父节点，SAT有一个父节点(有父子节点的表示为条件概率分布的形式)。所以其联合概率分布可表示为如下形式：

$\begin{array}{l} p(D, I, G, S, L) \\ =P(D) P(I) P(G | I, D) P(S | I) P(L | G) \end{array}$

那写成这这种联合概率分布的情况有什么好处呢？我们可以看一下其参数形式：

枚举法：2 * 2 * 3 * 2 * 2 - 1 = 47 个参数(减去1的原因是联合概率分布求和需要等于1)。
结构化分解：1 + 1 + 8 + 3 + 2 = 15个参数 (每一行的参数求和需要等于1)。

更一般地，假设 $n$ 个二元随机变量的联合概率分布，表示该分布需要 $2^{n}-1$ 个参数。如果用贝叶斯网络建模，假设每个节点最多有 $k$ 个父节点，所需要的参数最多为 $n*2^{k}$ ，一般每个变量局部依赖于少数变量。

算一个实际的例子：

实际算数举例

那为什么联合概率为什么可以表示为局部条件概率表的乘积？

随机变量 $X$ , $Y$ 相互独立, 则会满足以下三个等式：

$P(X,Y)=P(X)P(Y)$

$P(X|Y)=P(X)$

$P(Y|X)=P(Y)$

或者说上面三个等式中的任意一个等式成立，则随机变量 $X$ , $Y$ 是相互独立的。下图是其举例：

随机变量相互独立

随机变量 $X$ , $Y$ 在给定 $Z$ 条件下条件独立, 如果满足：

$P(X,Y|Z)=P(X|Z)P(Y|Z)$

$P(X|Y,Z)=P(X|Z)$

$P(Y|X,Z)=P(Y|Z)$

我们可以将下图中具体的数值代进去，其将会成立：

随机变量在给定条件下的独立性

概率影响的流动性

为了更好地去介绍贝叶斯网里面的条件独立性，我们引入新的概念，概率影响的流动性。概率影响的流动性说地是：在一定的观测条件下，变量间的取值概率是否会相互影响。所谓的观测条件是这个系统是否有观测变量，或者观测变量的取值是否确定。当变量取值未知，通常根据观测变量取值，对隐变量的取值概率进行推理。

比如：判断 $W$ 是否为观测变量， $X$ 与 $Y$ 的概率影响的流动性。