概率处理的相关问题

1. 为什么在处理概率问题的时候，都会使用log(p(x)), 而不是p(x)的这种操作。
   主要有两个理由，(1) 在求最优解的过程中，如 $p(x) = e^{-x^2}$. 其本身的梯度scale得非常不好，当ｘ稍微大时，其值接近于０，此时就会要求学习率接近于无穷大。而其log函数性质就非常好，使得非常容易找到合适的x的步长。(2) 在涉及到多个概率连乘时，多个p(x)小值相乘就会导致概率接近于０，如一个位置的概率0.1, 观测到8次时候（连乘８次），就会超出浮点数的精度范围。如果此时取log相加，实际上是对其指数本身的一种操作，更容易计算机保存。