版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/shenziheng1/article/details/86773583
1. 方差的两种计算方法
对于方差计算的一个重要结论：
2. 联合概率分布-条件概率分布
当然，利用联合概率分布也很容易推出边缘概率分布；只需要对其他变量进行全积分即可！
条件概率分布直观想象还是有难度的，很多时候我们仍然需要借助公式进行求解：
需要注意的是，上面介绍的是推广情况。针对于特殊情况，例如X,Y是相对独立的。那么联合概率和条件概率将退化成非常简单的形式：
- 考虑一种特殊情况：如果我们有三个随机变量X,Y,Z；我们知道Z, 并且Y并不能提供给我们任何关于X的信息。也就是说，给定Z的情况下，X和Y是条件独立的，必定有P(X|Y,Z)=P(X|Z)成立。那么如何计算Pr(X,Y|Z):
- 动态模型中的条件独立分布(Conditional Independence):
- 贝叶斯线性回归 Bayesian Linear Regression:
3. 联合概率分布期望-条件概率分布期望
- 联合概率分布期望 及 实例：
- 条件概率分布 及 期望：
4. 贝叶斯预测分布 Bayesian Predictive Distribution
一个经典的案例，就是入侵检测系统Intrusion Detection System（IDS）：
- 假设对于所有的TCP连接， 1%的连接遭受到入侵；
- 假设入侵情况下，系统发送警报的概率87%；
- 假设没有入侵情况下，系统发送警报的概率6%；
具体计算如下：
通过上例，我们也能归纳出后验推断。实质上，后验推断posterior inference就是寻找最佳的q(θ)去逼近p(θ|X)。
