Beta 函数
B ( α , β ) ≜ ∫ 0 1 x α − 1 ( 1 − x ) β − 1 d x \Beta(\alpha, \beta) \triangleq \int_0^1 x^{\alpha-1}(1-x)^{\beta-1}dx B(α,β)≜∫01xα−1(1−x)β−1dx
其中 α , β > 0 \alpha, \beta > 0 α,β>0
Beta 函数与 Gamma 函数
B ( α , β ) = Γ ( α ) Γ ( β ) Γ ( α + β ) \Beta(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} B(α,β)=Γ(α+β)Γ(α)Γ(β)
当 α , β ∈ N + \alpha,\beta\in N^+ α,β∈N+ 时，
B ( α , β ) = ( α − 1 ) ! ( β − 1 ) ! ( α + β − 1 ) ! \Beta(\alpha, \beta) = \frac{(\alpha-1)!(\beta-1)!}{(\alpha+\beta-1)!} B(α,β)=(α+β−1)!(α−1)!(β−1)!
Beta 分布
f ( x ; α , β ) ≜ 1 B ( α , β ) x α − 1 ( 1 − x ) β − 1 f(x;\alpha, \beta) \triangleq \frac{1}{\Beta(\alpha, \beta)} x^{\alpha-1}(1-x)^{\beta-1} f(x;α,β)≜B(α,β)1xα−1(1−x)β−1
为定义在 [ 0 , 1 ] [0,1] [0,1]上的 Beta分布 的概率密度函数，显然
∫ 0 1 f ( x ; α , β ) d x = 1 \int_0^1 f(x;\alpha, \beta) dx = 1 ∫01f(x;α,β)dx=1
Beta 分布的期望
∫ 0 1 x f ( x ; α , β ) d x = ∫ 0 1 1 B ( α , β ) x α ( 1 − x ) β − 1 d x = 1 B ( α , β ) ∫ 0 1 x α + 1 − 1 ( 1 − x ) β − 1 d x = B ( α + 1 , β ) B ( α , β ) = Γ ( α + 1 ) Γ ( β ) Γ ( α + 1 + β ) Γ ( α + β ) Γ ( α ) Γ ( β ) = α α + β \begin{aligned} \int_0^1 xf(x;\alpha, \beta) dx &=\int_0^1 \frac{1}{\Beta(\alpha, \beta)} x^{\alpha}(1-x)^{\beta-1}dx \\\\ &=\frac{1}{\Beta(\alpha, \beta)} \int_0^1 x^{\alpha+1-1}(1-x)^{\beta-1}dx \\\\ &=\frac{\Beta(\alpha+1, \beta)}{\Beta(\alpha, \beta)} \\\\ &= \frac{\Gamma(\alpha+1)\Gamma(\beta)}{\Gamma(\alpha+1+\beta)}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)} \\\\ &= \frac{\alpha}{\alpha+\beta} \end{aligned} ∫01xf(x;α,β)dx=∫01B(α,β)1xα(1−x)β−1dx=B(α,β)1∫01xα+1−1(1−x)β−1dx=B(α,β)B(α+1,β)=Γ(α+1+β)Γ(α+1)Γ(β)Γ(α)Γ(β)Γ(α+β)=α+βα
Beta-Binomial 共轭
假定二项分布 B ( n , p ) B(n, p) B(n,p) 的参数 p p p 服从 B e t a ( p ; α , β ) Beta(p;\alpha,\beta) Beta(p;α,β) 先验分布
p ∼ B e t a ( p ; α , β ) = 1 B ( α , β ) p α − 1 ( 1 − p ) β − 1 p \sim Beta(p;\alpha,\beta) = \frac{1}{\Beta(\alpha, \beta)} p^{\alpha-1}(1-p)^{\beta-1} p∼Beta(p;α,β)=B(α,β)1pα−1(1−p)β−1
然后又做了 n 1 + n 2 n_1 + n_2 n1+n2 次伯努利实验(记为 W W W)，成功 n 1 n_1 n1 次，失败 n 2 n_2 n2 次，于是后验分布为
P ( p ∣ W ) = P ( p , W ) P ( W ) = P ( W ∣ p ) P ( p ) ∫ 0 1 P ( W ∣ p ) P ( p ) d p = ( n 1 + n 2 n 1 ) p n 1 ( 1 − p ) n 2 1 B ( α , β ) p α − 1 ( 1 − p ) β − 1 ∫ 0 1 ( n 1 + n 2 n 1 ) p n 1 ( 1 − p ) n 2 1 B ( α , β ) p α − 1 ( 1 − p ) β − 1 d p = p n 1 + α − 1 ( 1 − p ) n 2 + β − 1 ∫ 0 1 p n 1 + α − 1 ( 1 − p ) n 2 + β − 1 d p = p n 1 + α − 1 ( 1 − p ) n 2 + β − 1 B ( n 1 + α , n 2 + β ) \begin{aligned} P(p|W) &= \frac{P(p,W)}{P(W)} \\\\ &= \frac{P(W|p)P(p)}{\int_0^1P(W|p)P(p)dp} \\\\ &= \frac{\dbinom{n_1+n_2}{n_1}p^{n_1}(1-p)^{n_2} \frac{1}{\Beta(\alpha, \beta)} p^{\alpha-1}(1-p)^{\beta-1}}{\int_0^1\dbinom{n_1+n_2}{n_1}p^{n_1}(1-p)^{n_2}\frac{1}{\Beta(\alpha, \beta)} p^{\alpha-1}(1-p)^{\beta-1}dp} \\\\ &= \frac{ p^{n_1+\alpha-1}(1-p)^{n_2+\beta-1}}{\int_0^1 p^{n_1+\alpha-1}(1-p)^{n_2+\beta-1}dp} \\\\ &= \frac{ p^{n_1+\alpha-1}(1-p)^{n_2+\beta-1}}{\Beta(n_1+\alpha, n_2 + \beta)} \\\\ \end{aligned} P(p∣W)=P(W)P(p,W)=∫01P(W∣p)P(p)dpP(W∣p)P(p)=∫01(n1n1+n2)pn1(1−p)n2B(α,β)1pα−1(1−p)β−1dp(n1n1+n2)pn1(1−p)n2B(α,β)1pα−1(1−p)β−1=∫01pn1+α−1(1−p)n2+β−1dppn1+α−1(1−p)n2+β−1=B(n1+α,n2+β)pn1+α−1(1−p)n2+β−1即服从 B e t a ( n 1 + α , n 2 + β ) Beta(n_1+\alpha, n_2 + \beta) Beta(n1+α,n2+β) 分布！
简而言之：
B e t a ( α , β ) + B i n o m C o u n t ( n 1 ， n 2 ) = B e t a ( n 1 + α , n 2 + β ) Beta(\alpha, \beta) + BinomCount(n_1， n_2) = Beta(n_1+\alpha, n_2 + \beta) Beta(α,β)+BinomCount(n1，n2)=Beta(n1+α,n2+β)
Beta 分布是二项分布的共轭先验， α \alpha α 和 β \beta β 可以分别看成伯努利试验中成功和失败的次数，而 B e t a ( p ; α , β ) Beta(p;\alpha, \beta) Beta(p;α,β)就是对伯努利试验中成功概率 p p p 的概率密度函数。
上图中的蓝色虚线对应 p = 0.25 p = 0.25 p=0.25，是 Beta(2,6) 和 Beta(10,30) 的期望值，即：
0.25 = 2 2 + 6 = 10 10 + 30 0.25 = \frac{2}{2+6} = \frac{10}{10+30} 0.25=2+62=10+3010
但是可以明显看出 Beta(10,30) 的概率密度曲线要比 Beta(2,6)更尖锐，说明当实验次数越多时，对 p = 0.25 p = 0.25 p=0.25 的信念越强！