共轭先验

参考维基百科https://en.wikipedia.org/wiki/Conjugate_prior#Example

共轭先验

---

在贝叶斯概率理论中，如果后验分布 $p(\theta|x)$与先验分布 $p(\theta)$属于同类，则先验分布和后验分布被称为共轭分布，先验分布被称为似然函数的共轭先验。

比如，高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。就是如果似然函数的高斯分布，选择一个高斯先验能够确保后验分布依旧是高斯分布。

具体来说，给定贝叶斯公式 $p ( \theta | x ) = \frac { p ( x | \theta ) p ( \theta ) } { \int p ( x | \theta ^ { \prime } ) p \left( \theta ^ { \prime } \right) d \theta ^ { \prime } }$,假定似然函数 $p(x|\theta)$已知，问题就是选择什么样的先验分布 $p(\theta)$会让后验分布于先验分布具有相同的数学形式。

共轭先验的好处主要在于代数上的方便性，可以直接给出后验分布的封闭形式，否则的话只能数值计算。共轭先验也有助于获得关于似然函数如何更新先验分布的直观印象。所有指数家族的分布都有共轭先验。