最大信息熵模型
根据最大信息熵原理，信息熵最大时得到的模型是最优模型，即最大信息熵模型。
最大信息熵原理
信息论的开创者香农将信息的不确定程度称为熵，为了与热力学中熵的概念区分，这种信息的不确定程度又称信息熵。
最大信息熵原理认为在所有可能的概率模型中，熵最大的那个模型为最优模型。
贝叶斯概率模型
贝叶斯定理
贝叶斯定理认为任何变量都可以看作一个随机变量，可以用一个概率分布来描述。 当这个分布在实验前就已经确定，则称这个分布为先验概率分布。
贝叶斯公式的本质是基于先验概率分布和似然函数来求解后验概率分布。
不同先验概率分布对后验影响很大。
朴素贝叶斯
朴素贝叶斯的原理推导
朴素贝叶斯是基于贝叶斯定理和特征条件独立性假设的分类算法