Expectation Propagation (EP) 是一个迭代算法,其中使用一个密度概率(包含具体参数组)来近似目标概率密度。类似于重要性抽样。
EP属于一组消息传递算法,该算法使用一组局部推断推断目标密度。首先我们假设目标概率密度有一些便利的因式分解:
在贝叶斯推理中,目标概率密度通常是后验概率,举个例子其中可以将因子分配给先验,并将因子从1到K当作似然函数(将数据划分成k个部分,且每一个都是独立于给定的模型参数)。消息传递算法的工作原理是用概率密度
迭代逼近目标概率密度 :
并且使用一些合适的初始化所有的。其中因子与近似的合起来称为位置群,而近似的分布被称为全局近似。
因为分成了K份,对于算法的每次迭代,加上先验,则有。我们采用当前的近似函数同时将目标中的因子 替换成 ,这样定义了 cavity distribution 如下:
和一个tilted distribution:
扫描二维码关注公众号,回复:
14824417 查看本文章
该算法首先构造了一个对 tilted distribution ()的近似值,之后用 来更新对于目标因子的近似值。按顺序活并行迭代这些更新如一下算法所示:
在某些来源中,上述步骤2b有更严格的表述:
其中表示离散度方法。在定义中,该算法可以更自由地实现任何近似方法,而不必最小化任何发散。
全局近似和位置近似被限制在一个选定的指数族中,例如多元正态分布。由于步骤2b通常被定义了,位置近似被更新,导致产生的KL离散度是最小的。