Machine learning Bayesian classifier

1. Bayesian decision theory

1. Bayes' theorem
(1) Bayes' theorem:

略

(2) Naive Bayes classifier:

"朴素贝叶斯分类器"(Naive Bayes Classifier)假设不同的条件是相互独立的.设输入为a,其属性为a1...an,全部标签构成的集合为ω,其中的元
素为ω1...ωm,则分类器如下:

$\omega =\underset{{\omega }_i\in \omega }{\mathrm{argmax}}P({\omega }_i|a_1,a_2...a_n)=\underset{{\omega }_i\in \omega }{\mathrm{argmax}}\frac{P(a_1,a_2...a_n|{\omega }_i\left)P\right({\omega }_i)}{P(a_1,a_2...a_n)}=\underset{{\omega }_i\in \omega }{\mathrm{argmax}}P(a_1,a_2...a_n|{\omega }_i)P\left({\omega }_i\right)=\underset{{\omega }_i\in \omega }{\mathrm{argmax}}P\left({\omega }_i\right)\prod _{j=1}^{n}P(a_j|{\omega }_i)$

(3) Example (text classification):

"词袋模型"(Bag of Words Model)认为1篇文章的内容主要取决于其中不同词汇出现的频率,和词汇的顺序关系不大.设V为常用词汇构成的集合,Vk
表示V中第j个单词,aj为该篇文章的第j个词,ni表示标签为ωi的所有文章中的总单词数,nik表示Vj在上述文章中出现的次数,则:

$\omega =\underset{{\omega }_i\in \omega }{\mathrm{argmax}}P\left({\omega }_i\right)\prod _{j=1}^{m}P(a_j=V_k|{\omega }_i)=\underset{{\omega }_i\in \omega }{\mathrm{argmax}}P({\omega }_i)\prod _{j=1}^m\frac{n_{ik}+1}{n_i+|V|}$