版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/MrWilliamVs/article/details/89099120
最大熵 是 概率模型学习的一个准则， 将其推广到分类问题，得到最大熵模型。(ME, Maximum Entropy)
LR(Logistic Regression),统计学习中的经典分类算法。
最大熵和逻辑斯蒂 都是 对数线性模型。
逻辑斯蒂： 分布函数F(X): 是一条Sigmoid形曲线, 密度函数f(x),
二项逻辑斯蒂回归(binomial)：用于二分类。
多项逻辑斯蒂回归(multi-nominal)：用于多分类。
最大熵原理：学习概率模型时，在所有可能的概率模型(分布)中，熵最大的模型是最好的模型。
均匀分布时，熵最大。
最大熵原理，用到分类任务中，得到最大熵模型。
最大熵模型的学习过程，就是求解最大熵模型的过程。形式化为约束最优化问题。