【统计学习笔记】习题一

【统计学习笔记】习题一

1.1.1 伯努利分布的极大似然估计

$P(X=1)=\theta P(X=0)=1-\theta$
设随机变量k次取1，n-k次取0，则
似然函数为：
$L(\theta )=\prod _{i=1}^{n}P(x_i;\theta )={\theta }^k(1-\theta {)}^{n-k}$
取对数：
$\log (L(\theta ))=k\log (\theta )+(n-k)\log (1-\theta )$
求导：
$$\frac{\partial \log (L(\theta ))}{\partial \theta }=\frac{k}{\theta }-\frac{n-k}{1-\theta }$$
当$\theta =k/n$时，导数为0，故$\theta$的极大似然估计值为$k/n$。

1.1.2 贝叶斯估计

由贝叶斯定理可得：
$$P(\theta |A_1,A_2,\cdots ,A_n)=\frac{P(A_1,A_2,\cdots ,A_n|\theta )\times P(\theta )}{P(A_1,A_2,\cdots ,A_n)}$$
$\theta$的贝叶斯估计值为：

$$\begin{gathered} \hat{\theta }=arg\underset{\theta }{\max }P(\theta |A_1,A_2,\cdots ,A_n) \\ =arg\underset{\theta }{\max }\prod P(A_1,A_2,\cdots ,A_n|\theta )\times P(\theta ) \\ =arg\underset{\theta }{\max }{\theta }^k(1-\theta {)}^{n-k}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1} \end{gathered}$$
求导可得，
$$\hat{\theta }=\frac{k+(\alpha -1)}{n+(\alpha -1)+(\beta -1)}$$
其中$\alpha ,\beta$是$\beta$分布中的参数。

1.2 极大似然估计是经验风险最小化的特殊情况

经验风险最小化就是求解优化问题：
$$\underset{f\in \mathcal{F}}{\min }\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$
当模型是条件概率分布、损失函数是对数损失函数时，这个问题就变成了：$$\underset{\theta \in \Theta }{\min }-\frac{1}{N}\sum _{i=1}^N\log P(y_i|(x_i;\theta ))$$
等价于极大似然估计：
$$\underset{\theta \in \Theta }{\max }\frac{1}{N}\sum _{i=1}^N\log P(y_i|(x_i;\theta ))$$