概率 & 采样

Inference and Decision
some notation：
p(D|\theta) 表示的并不是一个条件概率，这是一个关于\theta的函数；
p(x_i|\theat)表示的是一个PDF，这里的\theta是一个定值；

1. 生成模型： 根据P(x|y) 和p(x), 利用贝叶斯求出p(y|x)；
   判别模型：直接求出(y|x)
   这些模型分为两个步骤：
   inference: 估计各种密度函数；
   decision： 根据PDF给出输出；
2. 参数估计
   
   • 点估计
     认为需要被估计的参数是一个定值.
     
     • 最大似然估计 MLE
       $\theta = argmax_\theta l(\theta) = argmax \sum p(x_i|\theta)$
     • 最大后验估计 MAP
       $\theta^* = argmax_\theta l(\theta)*p(\theta)$
       MAP和MLE的区别就是，MLE是在假设估计的$\theta$是一个定值，而MAP假设$\theta$是一个随机变量，存在着先验表示；
       没有任何关于$\theta$的information的时候，MLE equal MAP。视$\theta$为一个随机变量，存在分布$p(\theta)$将其影 响（先验分布）代入，但仍然假设存在最优的参数
   • unbias estimation
   • 贝叶斯估计
     无论是MLE还是MAP都是假设存在最优的参数，估计的依然是一个点，而在贝叶斯的观点中，$\theta$ is a distribution, so estimation should be a distribution not a point!!!
     $p(\theta|D)$: 是贝叶斯参数估计的输出，是一个完整的分布，而不是一个点；
     实际的一个例子是：高斯分布的贝叶斯估计。

===============
关于蒙特卡洛采样
http://blog.csdn.net/baimafujinji/article/details/51407703