经典机器学习算法：最大熵模型

最大熵模型简介

最大熵模型是对数线性模型，属于判别模型。

最大熵模型（maximum entropy model）由最大熵原理推导实现。 这里首先叙述一般的最大熵原理，然后讲解最大熵模型的推导，最后给出最大熵模型学习的形式。

顾名思义，最大熵模型就是：给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}学习的目标是用最大熵原理选择最好的分类模型。

最大熵原理

最大熵原理是概率模型学习的一个准则。最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。

通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。
假设离散随机变量X的概率分布是P(X)，则其熵是$H(P)=-\sum _{x}P(x)logP(x)$

熵满足下列不等式：$0\le H(P)\le log|X|$

式中，$|X|$是$X$的取值个数，当且仅当$X$的分布是均匀分布时右边的等号成立。这就是说，当X服从均匀分布时，熵最大。
直观地，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，那些不确定的部分都是“等可能的”。最大熵原理通过熵的最大化来表示等可能性。“等可能”不容易操作，而熵则是一个可优化的数值指标。

最大熵模型

概念定义

最大熵原理是统计学习的一般原理，将它应用到分类得到最大熵模型。

假设分类模型是一个条件概率分布$P(Y|X)$，$X\in x\subseteq R^n$表示输入，$Y\in y$ 表示输出，$x$和$y$ 分别是输入和输出的集合。这个模型表示的是对于给定的输入$X$，以条件概率$P(Y|X)$输出$Y$。给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),...,(xN​,yN​)}学习的目标是用最大熵原理选择最好的分类模型。

统计数据集

首先考虑模型应该满足的条件。给定训练数据集，可以确定联合分布$P(X,Y)$的经验分布和边缘分布$P(X)$的经验分布，分别以 $\tilde{P}(X,Y)$和$\tilde{P}(X)$表示。这里，
$$\tilde{P}(X=x,Y=y)=\frac{\nu (X=x,Y=y)}{N}$$
$$\tilde{P}(X=x)=\frac{\nu (X=x)}{N}$$
其中，$\nu (X＝x,Y＝y)$表示训练数据中样本$(X,Y)$出现的频数，$\nu (X＝x)$表示训练数据中输入$x$出现的频数，$N$表示训练样本容量。

用特征函数（feature function）$f(X,Y)$描述输入$x$和输出$y$之间的某一个事实。其定义是
$$f(x,y)=\{\begin{array}{ll}1,& x与y满足某一事实\\ 0,& 否则\end{array}$$
它是一个二值函数，当$x$和$y$满足这个事实时取值为1，否则取值为0。 注：这里的$x$不是指完整的一个输入，而是一个特征，所以有n个特征，就可以有n个特征函数，与标签y一一对应的特征函数。

特征函数$f(X,Y)$关于经验分布 $\tilde{P}(X,Y)$的期望值，用$E_{\tilde{P}}(f)$表示。
$$E_{\tilde{P}}(f)=\sum _{x,y}\tilde{P}(x,y)f(x,y)$$
特征函数$f(X,Y)$关于模型$P(Y|X)$与经验分布 $\tilde{P}(X)$的期望值，用$E_P(f)$表示。
$$E_P(f)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即$E_{\tilde{P}}(f)=E_P(f)$，则$$\sum _{x,y}\tilde{P}(x,y)f(x,y)=\sum _{x,y}\tilde{P}(x)P(y|x)f(x,y)$$

可以看到，我们最终需要计算的条件概率为：$P(y|x)$，其他都是从我们的数据集中可以获取得到的信息，所以这成为了我们使用数据集的$X与Y$约束$P(y|x)$的一个约束条件。假如有$n$个特征函数$f_i(X,Y)，i＝1,2,\dots ,n$，那么就有$n$个约束条件。

数学定义

假设满足所有约束条件的模型集合为
C ≡ { P ∈ ρ ∣ E p ( f i ) = E P ~ ( f i ) , i = 1 , 2 , … , n } C \equiv \{ P\in \rho | E_p(f_i) = E_{\widetilde P}(f_i),i=1,2,…,n\} C≡{ P∈ρ∣Ep​(fi​)=EP ​(fi​),i=1,2,…,n}

定义在条件概率分布$P(Y|X)$上的条件熵为
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$
则模型集合$C$中条件熵$H(P)$最大的模型称为最大熵模型。式中的对数为自然对数。

推导求解