【统计学习笔记】习题四

4.1 朴素贝叶斯概率估计公式

a. $P(Y=c_k)$

设$P(Y=c_k)=\theta$，进行N次实验，n次Y=c_k。
则有：
$$L(\theta )={\theta }^n(1-\theta {)}^{N-n}$$
取对数：
$$\log L(\theta )=n\log \theta +(N-n)\log (1-\theta )$$
求导：
$$\frac{d\log L(\theta )}{d\theta }=\frac{n}{\theta }-\frac{N-n}{1-\theta }$$
当$\theta =n/N$时，似然函数取极大值。
故先验概率的极大似然估计为：
$$P(Y=c_k)=\frac{n}{N}=\frac{\sum _{i=1}^{N}I(y_i=c_k)}{N}$$

b. $P(X^{(j)}=a_{jl}|Y=c_k)$

设$P(X^{(j)}=a_{jl}|Y=c_k)=\theta$，进行N次试验，有n次Y=c_k，有m次Y=c_k且X^（j）=a_jl。
则有：
$$L(\theta )=(\frac{n}{N}\theta {)}^m(1-\frac{n\theta }{N}{)}^{N-m}$$
取对数：
$$\log L(\theta )=m\log \frac{n}{N}+m\log \theta +(N-m)\log (1-\frac{n\theta }{N})$$
求导：
$$\frac{d\log L(\theta )}{d\theta }=\frac{m}{\theta }-\frac{n(N-m)}{N(1-n\theta /N)}$$
则：
$$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{m}{n}$$