前言
指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正态分布(Gaussian)、泊松分布（Poisson）、二项分布(Bernoulli)、指数分布(exponential)、Gamma分布、多项式分布(multivariate)等。指数分布族中的分布以及指数分布族的性质，经常用于机器学习(machine learning)模型的参数假设以及参数推理中。较为典型的模型是生成模型，例如主题模型(Topic Models)中经常使用到的共轭分布(multivariate和Dirichlet分布、Bernoulli和Beta分布、Poisson和gamma分布等)。指数分布族中的共轭经常用于参数推理、另外其统计特性经常用于变分推理。
指数族分布的一般表达式：
其中：
η：η为自然参数(natural parameter)，可以是向量形式
T(x)：T(x)为充分统计量(sufficient statistic)
A(η)：A(η)为累计函数(cumulant function)，作用是确保概率和为1
h(x)：h(x)为underlying measure
典型指数族分布转化
1、Poisson分布
泊松分布的标准形式为：
扫描二维码关注公众号，回复：
5595935 查看本文章
其对应的指数分布形式：
其中：
2、Gaussian分布
标准形式：
指数族分布形式：
其中：
3、Bernoulli分布
标准形式：
其中：
4、多元Gaussian分布
标准形式：
指数族形式：
5、Multinomial分布
标准形式：
指数族形式：
总结
在很多机器学习算法中，指数族分布是一个很重要的概念，比如在LDA算法，因此了解机器学习就从指数族分布开始吧。