从标题上看，是“指数分布族(exponential family)”，不是“指数分布(exponential distribution)”，这是两个不同的概念，不要弄混了。指数分布族在上世纪30年代中期被提出，在概率论和统计学中，它是一些有着特殊形式的概率分布的集合，包括许多常用的分布，如正态分布、指数分布、伯努利分布、泊松分布、gamma分布、beta分布等等。指数分布族为很多重要而常用的概率分布提供了统一框架，这种一般性有助于表达的方便和从更大的宏观尺度上理解这些分布。
下面我们用一个重要分布的例子来说明下指数分布族。假设有一个正态分布，均值为0，服从X−N(0,σ2)X−N(0,σ2)，则其概率密度函数PDF为：
f(x|σ)=1σ2π−−√e−x22σ2
f(x|σ)=1σ2πe−x22σ2
这个概率密度函数由一个参数σσ来定义。我们可以把该式子作如下变形：
f(x|σ)=12π−−√e−logσe−x22σ2=12π−−√e−x22σ2−logσ=12π−−√e−12σ2x2−logσ
f(x|σ)=12πe−logσe−x22σ2=12πe−x22σ2−logσ=12πe−12σ2x2−logσ
令：h(x)=12π√h(x)=12π，η(σ)=−12σ2η(σ)=−12σ2，T(x)=x2T(x)=x2，A(σ)=logσA(σ)=logσ；则上式可以用如下的形式表达：
f(x|σ)=h(x)exp(η(σ)T(x)−A(σ))
f(x|σ)=h(x)exp(η(σ)T(x)−A(σ))
我们把参数一般化为θθ，则上式为：
f(x|θ)=h(x)exp(η(θ)T(x)−A(θ))
f(x|θ)=h(x)exp(η(θ)T(x)−A(θ))
这就是指数分布族的概率密度函数PDF或概率质量函数PMF的通用表达式框架。
分布函数框架中的h(x)h(x),η(θ)η(θ),T(x)T(x)和A(θ)A(θ)并不是任意定义的，每一部分都有其特殊的意义。
θθ是自然参数(natural parameter)，通常是一个实数；
h(x)h(x)是底层观测值（underlying measure）；
T(x)T(x)是充分统计量（sufficient statistic）；
A(θ)A(θ)被称为对数规则化（log normalizer）。
为什么被称为对数规则化，和对数有什么关系？我们把上式作以下变形：
f(x|θ)=h(x)exp(η(θ)T(x))exp(A(θ))
f(x|θ)=h(x)exp(η(θ)T(x))exp(A(θ))
两边同乘以exp(A(θ))exp(A(θ))，得到：
exp(A(θ))f(x|θ)=h(x)exp(η(θ)T(x))
exp(A(θ))f(x|θ)=h(x)exp(η(θ)T(x))
两边同时积分，得到：
∫exp(A(θ))f(x|θ)dx=∫h(x)exp(η(θ)T(x))dx
∫exp(A(θ))f(x|θ)dx=∫h(x)exp(η(θ)T(x))dx
exp(A(θ))∫f(x|θ)dx=∫h(x)exp(η(θ)T(x))dx
exp(A(θ))∫f(x|θ)dx=∫h(x)exp(η(θ)T(x))dx
根据概率密度函数PDF的定义，∫f(x|θ)dx=1∫f(x|θ)dx=1，因此整理上式得到：
exp(A(θ))=∫h(x)exp(η(θ)T(x))dx
exp(A(θ))=∫h(x)exp(η(θ)T(x))dx
则：
A(θ)=ln∫h(x)exp(η(θ)T(x))dx
A(θ)=ln∫h(x)exp(η(θ)T(x))dx
我们再看看泊松分布的例子，根据泊松分布的概念，其概率质量函数PMF为：
f(x|λ)=e−λλxx!
f(x|λ)=e−λλxx!
改写上式，我们可以得到：
f(x|λ)=e−λλxx!=1x!e−λelnλx=1x!exlnλ−λ
f(x|λ)=e−λλxx!=1x!e−λelnλx=1x!exlnλ−λ
令θ=λθ=λ，h(x)=1x!h(x)=1x!，η(θ)=lnλη(θ)=lnλ，T(x)=xT(x)=x，A(θ)=λA(θ)=λ，则泊松分布也可以表示成：
f(x|θ)=h(x)exp(η(θ)T(x)−A(θ))
f(x|θ)=h(x)exp(η(θ)T(x)−A(θ))
因此，泊松分布也属于指数分布族。
---------------------
作者：saltriver
来源：CSDN
原文：https://blog.csdn.net/saltriver/article/details/55105285
版权声明：本文为博主原创文章，转载请附上博文链接！