贝叶斯估计

--来自百度百科

贝叶斯估计

贝叶斯估计将 后验概率 （考虑相关证据或数据后，某一事件的条件机率）推导为二个前、先验概率（考虑相关证据或数据前，某一事件不确定性的机率）及 似然函数 （由 概率模型 推导而得）的结果。贝叶斯推断根据贝叶斯定理计算后验概率：

 

其中，

1)

   

表示将某事件成立作为条件（因此

   

表示假定B成立的A）

2)

   

表示假说，其机率可能会受实验数据（以下会称为证据）影响。一般来说会有许多互相矛盾的

假说，任务是要确认哪一个假说可能性最高。

3)

   

表示证据。证据对应新的数据，也就是还没用来计算先验概率的数据。

4)

   

， 先验概率，是观察到数据

   

（目前证据）之前，假说

   

的机率。

5)

   

， 后验概率，是在给定证据

   

之后，假说

   

的机率，是希望求得的资讯，也就是在有目前证据时，假说

   

的机率。

6)

   

是假定

   

成立时，观察到

   

的机率。在

   

不变时，这是

   

的函数，也是 似然函数，指出在给定假设下假说和证据的相容程度。似然函数是证据

   

的函数，而后验概率是假说

   

的函数。

7)

   

有时会称为边缘似然率。此系数对所有可能的假说都是定值，因此在判断不同假说的相对机率时，不会用到这个系数中。

针对不同的

   

数值，只有

   

和

   

（都在分子）会影响

   

的数值。假说的后验概率和其先验概率（固有似然率）和新产生的似然率（假说和新得到证据的相容性）乘积成正比。

贝叶斯定理也可以写成下式：

其中系数

   

可以解释成

   

对

   

机率的影响。

贝叶斯估计最关键的点是可以利用贝斯定理结合新的证据及以前的先验机率，来得到新的机率（这和频率论推论相反，频率论推论只考虑证据，不考虑先验机率）  [1]   。

而且贝叶斯估计可以迭代使用：在观察一些证据后得到的后设机率可以当作新的先验机率，再根据新的证据得到新的后设机率。因此贝斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为贝叶斯更新（Bayesian updating）。

定义

编辑

1.参数

1)

   

是数据点，可能是一个有许多数值形成的 向量。

2)

   

是数据点分布的 参数，也就是说

   

。这也有可能是参数形成的向量。

3)

   

是参数的 超参数，也就是说

   

。这也有可能是超参数形成的向量。

4)

   

，由观测到的

   

个数据点组成的一组数据，

 

5) 

 

，需预测分布的新数据点。

2.定义描述

1） 先验分布是在观测资料前的参数分布

   

；

2）先验分布可能不容易确认，此时可以用杰佛里斯事前分配在更新较新的观测值时，先获得后验分布；

3） 取样分布是以观测资料的条件，其参数的分布

   

，这也称为 似然函数，尤其是视为是参数的函数时，有时会写成

   

；

4） 边缘似然率（有时也称为证据）是观测资料在参数上的边缘分布

   

；

5）后验分布是考虑观测资料后的参数分布。可以由 贝叶斯法则确认，也是贝叶斯推断的核心：

若用文字表示，即为“后验和先验及似然率的乘积成正比”，有时也会写成“后验 = 先验 × 似然率，在有证据的情形下  [2]   。