贝叶斯分类器贝叶斯分类器
- 概率和统计
- 似然
- 最大似然估计法
- 最大后验概率法
- 最小错误率的贝叶斯决策
- 最小风险的贝叶斯决策
- 贝叶斯决策的一般过程
- 后验概率最大化的含义
- 朴素贝叶斯
- 贝叶斯估计（拉普拉斯）
1.概率和统计
概率是一个事件没发生时，将要发生的一个度量。强调的是事件没发生。
统计是多个事件发生后，某个事件在全部事件中的一个度量。强调的是事件发生后。
2.似然
似然和概率的意思差不多，概率是根据模型推出事件发生的情况。似然是根据发生的结果去推出模型中最可能的参数。有点像函数和反函数的关系。
3.最大似然估计法
根据似然的定义，我们知道，最大化似然估计法，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
举个例子：
抛硬币，我们都知道抛硬币正反面的概率是0.5.但是这个0.5怎么来的呢。我们可以通过最大似然估计得到。首先，我们要计算一个统计问题，回想一下，解决统计问题需要什么？ 数据！
我们抛了10次，出现了1010110100，1代表正，0代表反。
假设出现正面的概率是x，那么抛10次这个事件的概率就是（x的5次方）*（1-x的5次方）
这个事件是已经发生的了，那概率肯定是很大的，所以求一个函数的最大值，那么求导=0，得到x=0.5，那么抛硬币的概率就是0.5
4.最大后验概率
接着上个例子，如果我们抛了10次，出现了11111111111.那么根据最大似然估计。我们得出抛硬币出现正面的概率是1。这个只要是正常人都觉得不对，那么怎么去解决出现这种特殊情况下的概率呢。贝叶斯说，使用后验概率，代替概率。后验概率=先验概率条件概率/事件的概率。
用普通话说，就是一个事件发生的概率=在很多事件中出现的概率人类认知的概率（人们相信它的概率）。
继续上个特殊情况讲。抛硬币出现正面的概率=在均匀的硬币下出现正面的概率（（10次都是正面））=1*（硬币出现正面的概率=0.5）/（抛硬币10次这件事的概率=1）=0.5.这样是不是舒服多了。
最大后验概率估计则是想求x使在(均匀的硬币下出现正面的概率)*(硬币出现正面的概率)最大。求得的x不单单让似然函数大，x自己出现的先验概率也得大。 （这有点像正则化里加惩罚项的思想，不过正则化里是利用加法，而MAP里是利用乘法）
5.最小错误率的贝叶斯决策
通过贝叶斯得到概率，错误率=（1-贝叶斯概率），错误率的期望就是将决策的错误率看做服从同样分布的样本的理论错误率的期望，样本的概率*错误率。
最小错误率意味着每一个决策都必须遵从最大后验概率。而最小错误率贝叶斯决策的判决方式就是遵从最大后验概率。使得贝叶斯概率最大，则错误率最小。
6.最小风险的贝叶斯决策
普通话说，就是错误率是有权重的，有些错误可以理解，有些错误不能理解。比如明明是晴天，预测是阴天，这个错误是1个权重，那么预测成雨天就是10个权重，这样符合现实。
7.贝叶斯决策的一般过程
（1）估计先验概率：①根据实际情况做经验估计；②根据样本分布的频率估计概率。
（2）计算类条件概率密度：①参数估计：类条件概率分布类型已知，参数未知，通过训练样本来估计（最大似然法、Bayes估计）；②非参数估计：不判断类条件概率分布类型，直接根据训练样本来估计（Parzen窗、kn-近邻法）。
（3）计算后验概率。
（4-1）若进行最小错误率决策，根据后验概率即可作出决策。
（4-2）若进行最小风险决策
8.后验概率最大化的含义
9.朴素贝叶斯
假设多个条件概率相互独立，互不影响，这要是为了方便计算。如果一个n个特征的事情发生的概率，通过条件概率，复杂度就是n！，如果相互独立，那么复杂度就是n。这样多个数据相乘的公式，我们可以使用log，变成加法，方便计算。
9.贝叶斯估计（拉普拉斯）
当我们计算条件概率时，如果是一个在训练集没有出现过的特征，那么条件概率为0，这样在多个特征的条件概率相乘时结果为0，所以概率为0，这样是不对的。所以我们在计算条件概率的时候，分子加上1，分母加上特征个数。计算贝叶斯的时候，分子加1，分母加上类别的个数。