贝叶斯网络（belief network）及相关知识
频率派：认为theta是个固定的未知常数。认为样本是随机的，重点研究样本分布
贝叶斯派：认为theta是不确定的未知数。认为样本是固定的，重点研究参数theta的分布
贝叶斯的思考方式不同于传统“非黑即白，非0即1”的思考方式。
先验分布+样本信息=后验分布
有一个基本的先验分布，根据样本信息的变化和不断迭代，得到被影响的后验结果
条件概率：P(A|B)=P(A交B)/P(B)
联合概率：P(A交B)=P(A,B)
边缘概率：P(A),P(B)
贝叶斯公式：P(A|B)= P(B|A)P(A)/P(B)
——————————————————————————————————
贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directedacyclic graphical model)，是一种概率图模型是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。
“有环的话，谎言传到最后自己都相信了”
贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。
连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。
假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示：
把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
下图是一个简单的贝叶斯网络：
因为a导致b，a和b导致c，所以有联合概率为：
贝叶斯网络的3种结构形式：
先引入D-分离(D-Separation)的概念：是一种用来判断变量是否条件独立的图形化方法。即对于一个DAG(有向无环图)E，D-Separation方法可以快速的判断出两个节点之间是否是条件独立的。
形式1：head-to-head
贝叶斯网络的第一种结构形式：
在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。
形式2：tail-to-tail
在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为tail-to-tail条件独立
形式3：head-to-tail
在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。
当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链（Markov chain）。
——————————————————————————————————
因子图是什么？
为什么要引入因子图？
因子图如何使用？
因子图：
wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。包含变量节点和函数节点。
顶点是这两种中的一种边表示其函数关系。
一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。
因子图是概率图中的一种。其他概率图如贝叶斯图、贝叶斯网络、马尔科夫随机场都是概率图。
有向图vs无向图vs条件随机场：
1.有向图模型（Directed Graphical Models, DGM），又称作贝叶斯网络：
2. 无向图模型（UndirectedGraphical Models, UGM）, 又被称为马尔科夫随机场或者马尔科夫网络:
3. 设X=(X1,X2…Xn)和Y=(Y1,Y2…Ym)都是联合随机变量，若随机变量Y构成一个无向图 G=(V,E)表示的马尔科夫随机场（MRF），则条件概率分布P(Y|X)称为条件随机场（Conditional Random Field, CRF）。如下图所示为一个线性链条件随机场的无向图模型：
边缘分布：多维随机变量中，只包含其中部分变量的概率分布。
*****【实际问题—(抽象)—概率图——因子图——sum-product求解变量的边缘分布】
在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用sum-product算法高效的求各个变量的边缘分布。
由贝叶斯网络构造因子图的方法：
· 贝叶斯网络中的一个因子对应因子图中的一个结点
· 贝叶斯网络中的每一个变量在因子图上对应边或者半边
· 结点g和边x相连当且仅当变量x出现在因子g中。
如何由联合概率分布求边缘概率分布：
· 联合概率表示两个事件共同发生的概率。A与B的联合概率表示P(A,B)。
· 边缘概率（又称先验概率）是某个事件发生的概率。求边缘概率：在联合概率中，把最终结果中不需要的那些事件合并成其事件的全概率而消失（对离散随机变量用求和得全概率，对连续随机变量用积分得全概率）。这称为边缘化（marginalization）。A的边缘概率表示为P(A)，B的边缘概率表示为P(B)。
某个随机变量fk的边缘概率可由x1,x2,x3, ..., xn的联合概率求到，具体公式为：
变量的边缘概率等于所有与他相连的函数传递过来的消息的积。
计算过程将一个概率分布写成两个因子的乘积，而这两个因子可以继续分解或者通过已知得到。这种利用消息传递的观念计算概率的方法便是sum-product算法。前面说过，基于因子图可以用sum-product算法可以高效的求各个变量的边缘分布。
sum-product算法，也叫beliefpropagation，有两种消息：
一种是变量(Variable)到函数(Function)的消息，
另外一种是函数(Function)到变量(Variable)的消息，
如果因子图是无环的，则一定可以准确的求出任意一个变量的边缘分布，如果是有环的，则无法用sum-product算法准确求出来边缘分布。
例：贝叶斯网络
对应的因子图：
··········受益良多·······
转自：https://blog.csdn.net/bluebelfast/article/details/51509223