贝叶斯超参数共轭后验的证明

贝叶斯超参数共轭后验的证明

1. 结论

对于服从正态分布的变量$x$

$$x \sim N(\mu,\sigma^2)$$
其中 $\mu,\sigma^2$为超参数

若设$\mu|\sigma^2$与$\sigma^2$的先验分布为：

$$\pi(\mu|\sigma^2) \sim N(\eta,\frac{\sigma^2}{T})$$

$$\pi(\sigma^2) \sim Inv-\chi^2(v_0,c_0^2)$$

则其后验分布为：

$${\rm{p}}\left( {{\rm{\mu |x}},{\sigma ^2}} \right) \sim N\left( {\frac{{n\hat \mu + T\eta }}{{n + T}},\frac{{{\sigma ^2}}}{{n + T}}} \right)$$

$${\rm{p}}\left( {{\sigma ^2}{\rm{|x}}} \right) \sim {\rm{Inv}} - {\chi ^2}\left( {{v^*},{c^{2*}}} \right)$$
其中：

• ${v^*} = {v_0} + {\rm{n}}$
• ${c^{2*}} = \frac{1}{{{v^*}}}\left( {n - 1} \right){s^2} + {v_0}{c_0}^2 + \frac{{nT}}{{n + T}}{\left( {\hat \mu - \eta } \right)^2}$

2. 推导过程

由上述过程，可以推出$\mu|\sigma ^2$的后验分布为正态分布

$${\rm{p}}\left( {{\rm{\mu |x}},{\sigma ^2}} \right) \sim N\left( {\frac{{n\hat \mu + T\eta }}{{n + T}},\frac{{{\sigma ^2}}}{{n + T}}} \right)$$

由上述过程，可以推出$\sigma ^2$的后验分布为$Inv-\chi^2$分布

$${\rm{p}}\left( {{\sigma ^2}{\rm{|x}}} \right) \sim {\rm{Inv}} - {\chi ^2}\left( {{v^*},{c^{2*}}} \right)$$
其中：

• ${v^*} = {v_0} + {\rm{n}}$
• ${c^{2*}} = \frac{1}{{{v^*}}}\left( {n - 1} \right){s^2} + {v_0}{c_0}^2 + \frac{{nT}}{{n + T}}{\left( {\hat \mu - \eta } \right)^2}$