朴素贝叶斯（navie Bayes）法，朴素是最高级的词汇，方法真的可以说简单而又高级了。贝叶斯定理，可以说奠定了很多概率研究的基础，通过转换，把因果颠倒，可以求得概率，可以说很amazing的一件事了。 对于朴素贝叶斯而言，除了贝叶斯定理以外，需要注意的一个假设前提就是，特征条件独立假设，这个假设是说，A特征和B特征是独立的，P(A,B|w）=P(A|w)P(B|w）。
过程：依据特征条件独立假设，我们利用训练数据得到输入，输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的y。P(X,Y)--->maxP(y|x)。统计学习方法成立的前提，是训练数据和测试数据依P(X,Y)独立同分布，我们在学习过程中，利用训练数据学习P(X,Y)的联合概率分布，在分类过程中，使用P(X,Y)得到P(Y|X)，然后对其进行分类。
学习过程：我们知道P(Y)，我们知道条件概率P(X|Y)，所以可以求出P(X,Y)，但有个问题，就是P(X,Y)的取值太多，在强假设条件独立性假设中，我们假定若类别为ck,则在这个类别下，取到x1的概率，取到x2的概率等相乘，也就是把顺序去掉了。这个强假设使得精度有一点下降，但同时复杂度也下降，从而变得简单。后验概率最大来作为类别的输出。后验概率最大，等价于期望风险最小化。
分类过程，依据P(X,Y)联合概率分布，因为P(X)是一样的，可以忽略，利用后验概率最大，得到最大的P(X，Y)，最终实现判断。
朴素贝叶斯法的参数估计，主要是估计P(Y)和P(X|Y)。
极大似然估计，是最直接的方法，不加任何先验，直接通过频率估计概率。
贝叶斯估计，极大似然估计中，可能出现零频的情况，然后最后估计的概率为0，这种情况肯定是不可取的，所以在分子分母同加一个值，保证不存在0概率的情况。当这个值取值为0的时候，为极大似然估计，当这个值取值为1时，为拉普拉斯平滑。