卡尔曼家族从零解剖-(02)贝叶斯公式推导与理解→知其所以然

讲解关于slam一系列文章汇总链接:史上最全slam从零开始，针对于本栏目讲解的卡尔曼家族从零解剖链接 :卡尔曼家族从零解剖-(00)目录最新无死角讲解：https://blog.csdn.net/weixin_43013761/article/details/133846882

${\color{blue}{文末正下方中心}提供了本人 \color{red} 联系方式，\color{blue}点击本人照片即可显示WX→官方认证}$

$\color{red}郑重声明：该系列博客为本人(WenhaiZhu)独家私有,禁止转载与抄袭,首次举报有谢!$

一、前言

如果一上来，就从卡尔曼滤波的公式推导开始，个人觉得这样不太合适的，因为会导致困惑太多了？比如，为什么要有这个东西，这个东西有什么用？为什么就非得用它？毕竟不是在学校，不像读高中，仅仅是为了考试。这里我个人的目的是，彻底弄明白，琢磨透，把他用起来，亦或者说，别人在使用这个算法的时候，可以轻松的明白他的目的，知道他为什么选用这个算法，这个算法有什么优势。再如，利用别人开源算法做项目的时候，出现了问题，知其所以然的情况下，能够更快的定位到原因，而不是瞎子摸鱼，全靠运气。话不多说，我们正式开始吧。

要探索贝叶斯滤波，那么不得不提及到贝叶斯公式，在详细推导之前，来说一下平常生活中比较寻常的事情：
$\color{blue} (1)室友迟到:$ 今天上课的时候你的室友迟到了(9.00上课)，你是否偶尔会出现一个念想，他 8.30 之前起床的概率是多少？
$\color{blue} (2)车祸原由:$ 路过人行道的时候，你看到了一起车祸，相信很多人都会想，到底是因为闯红绿灯引起的，还是正常行驶偶发的？
$\color{blue} (3)小孩打架:$ 自己家孩子和邻居家孩子打架了，自己的小孩过来诉苦，告诉你他被欺负了，你心里想，到底是谁家孩子先动手的？
$\color{blue}(4)神探破案:$ 这个例子就比较典型了，如发生了一起杀人事件，嫌疑人锁定了3个，那么谁才是真正的凶手呢？或者说谁是凶手的概率最大。

这些事情，都有一个共同点，那就是从结果推原由。如果时间充足，我会尽量使用数学公式对上面的案例进行分析。一些比较简单的正向推导我就不做分析了，比如一副扑克，随机抽取一张，为红桃A 的概率是多少；一枚硬币，连续抛 10 次，出现3次正面的概率是多少；盒子里面10张一块的、5张五块的、1张十块的、随机抽取3张，能获得多少前；这些都是概率论的东西。

大学中有一门课程叫做概率论与数理统计，其实吧概率论（Probability Theory）和数理统计（Mathematical Statistics）是两个密切相关但又不同的数学领域，它们都用于研究和理解不确定性和随机现象。以下是它们的定义和主要关注点：

概率论（Probability Theory）：
概率论是一门数学分支，研究的是不确定事件和随机现象的数学模型，以及它们的概率性质和规律。
主要关注点包括事件的概率、随机变量、概率分布、条件概率、独立性、期望值、方差等。
概率论用于描述和分析事件发生的可能性，它提供了一种框架来量化不确定性，从而可以做出合理的决策和推断。

数理统计（Mathematical Statistics）：
数理统计是一门数学分支，关注如何通过收集和分析数据来做出关于总体特征的推断和决策。
主要关注点包括参数估计、假设检验、置信区间、方差分析、回归分析等。
数理统计帮助我们从收集的数据中提取信息，了解总体特性，并通过统计推断来回答关于总体的问题。

$\color{red}个人理解：$ 通常与正向推导(因→果)相关的，与概率论关联较大；与反向推导(果→因)相关的，与数理统计关系更加密切。

在讲解贝叶斯滤波之前，需要了解一下贝叶斯公式，该公式的推导过程请查看卡尔曼家族从零解剖-(01)预备知识点，这里给离散与连续随机变量贝叶斯公式：

$\color{blue}(1)离散:$
$\color{Green} \tag{01} P\left(X_{i} \mid Y\right)=\frac{P\left(Y \mid X_{i}\right) P\left(X_{i}\right)}{P(Y)}=\frac{P\left(Y \mid X_{i}\right) P\left(X_{i}\right)}{\sum_{i=1}^{n} P\left(Y \mid X_{i}\right) P\left(X_{i}\right)}$
$\color{blue}(2)连续:$
$\color{Green} \tag{02} f_{X \mid Y}(x \mid y)=\frac{f_{X, Y}(x, y)}{f_{Y}(y)}=\frac{f_{Y \mid X}(y \mid x) f_{X}(x)}{\int_{-\infty}^{+\infty} f_{Y \mid X}(y \mid x) f_{X}(x) \mathrm{d} x}=\eta f_{Y \mid X}(y \mid x) f_{X}(x)$ 为了深刻体会到贝叶斯公式的作用，我们举几个例子来加深影响，以不至于公式推导出来了却不会使用。

二、贝叶斯公式例题

例题1(离散)：

根据自己自家小孩的了解(主观经验)，如果与其他的小朋友打架了，其先动手的概率假设为 $P (主动) = 0.2$ ，后动手概率为 $P (被动) = 0.8$ ，另外，主动打架并且告之我的概率为 $P (告之 ∣ 主动) = 0.3$ ，主动打架并且不告知我的概率为 $P (不告知 ∣ 主动) = 0.7$ ；当然，还有可能就是 $P (告之 ∣ 被动) = 0.9$ ， $P (不告之 ∣ 被动) = 0.1$ 。为了方便把条件统一列举一下： $\\P(告之 | 主动)=0.3 ~~~~~~~~~ P(不告知|主动)=0.7 \\P(告之 | 被动)=0.9~~~~~~~~P(不告之 | 被动)=0.1$ 已知道上述条件的情况下，问宝宝今天主动打架的概率是多少？根据贝叶斯公式展开如下： $P(主动|告之)=\frac{P(告之|主动)P(主动)}{P(告之|主动)P(主动)+P(告之|被动)P(被动)}=\frac{0.06}{0.06+0.72}=0.077$ 上面就是我们要求的结果，如果你怀疑自己是否正确，那么可以计算一下 $P (被动 ∣ 告之)$ 的概率，与 $P (主动 ∣ 告之)$ 相加结果为1则表示正确。计算如下：
$P(被动|告之)=\frac{P(告之|被动)P(被动)}{P(告之|被动)P(被动)+P(告之|主动)P(主动)}=\frac{0.72}{0.72+0.06}=0.923$ 所以上面的计算过程是正确的。总的来说，宝宝今天主动打架的概率还是很低的。这里要深入思考的一个问题就是，宝宝主动打架的概率原本是 0.2，为什么后面计算出来却降低到了 0.077。这是因为有了宝宝性格这个先验知识，宝宝如果主动打架，其大概率不会告诉自己，这个修正的概率 $P (告之 ∣ 主动)$ 也就是似然修正概率。

例题2(离散)：

假设世界上 10% 的人不受喝酸奶，90% 的人爱喝酸奶，爱喝酸奶的人承认自己爱喝酸奶的概率是 99%，不爱喝酸奶的人慌称自己爱喝酸奶的概率为 2%。若对某人采访，这个人说自己爱喝酸奶。问这个人爱喝酸奶的概论是多少？

答案：爱喝酸奶的人称自己爱喝酸奶的概率为 90% * 99%，不爱喝酸奶的人慌称自己爱喝酸奶的概率为 10%*2%。所以这个人确实爱喝酸奶的概率是： $\frac{90 \% \times 99 \%}{90 \% \times 99 \%+10 \% \times 2 \%}=99.78 \%$

例题3(连续)：

前面的两个例子都是离散的，没有使用到概率密度函数(PDF)，现在我们来举一个连续的例子，就距离测量来说把。假设装修的房子要验收，需要测量客厅的长度，是否符合标准。按照售房单位给出的图纸，客厅长 900cm，若偏差在 ±1cm 以内都符合验收。然后我们取网上买一卷尺，根据官方资料，该卷尺的精度为正负 ±2cm(无论测量多长距离)，除了精度之外，厂家并没有多余的参数提供。

然后我们在来讨论一下售房单位给出的数据，也就是 900cm，偏差在 ±1cm 以内。这个值可信吗？如果可信我们也就没有计算的必要的，所以这里我们持怀疑态度，起码非百分百信任，所以，这里认为该数据符合一个正太分布概率密度函数，如下；
$\color{Green} \tag{03} f(x)=\frac{1}{ \sigma \sqrt{2 \pi}} e^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}}~~~~~~~~~~~X \sim N\left(\mu, \sigma^{2}\right)$ 其上的 $\mu$ 表示均值， $\sigma$ 售房单位给出客厅长是一个先验值，这里 $u = 900$ cm，标准差 $\sigma=1$ cm。然后我们拿着卷尺去测量，测量的结果记录为 $897$ cm，这是一个观测值。那么我们实际想求得东西是什么呢？其实房子符号验收标准的概率，如果概率高，则认为符号标准，根据贝连续随机变量概贝叶斯概率密度公式，可得：
$\color{Green} \tag{04} P(X=900~|~Y=897)=\int f_{X|Y}(x|y) \mathrm dx=\int \eta f_{Y|X}(y|x)f_X(x) \mathrm dx$ 根据上面的公式，可以看出是需要积分的，其中 $f_X(x)$ 表示的是先验值，前面已假设其是符合正太分布的。对于 $f_{Y|X}(y|x)$ 表示似然概率密度函数，在这个例题中，其表示的意思是，当 $X = 900$ 时， $Y = 897$ 的概率密度函数，根据传感器精度信息，同样假设其也时符合正太分布的， $u = 897$ cm，标准差 $\sigma=2$ cm。那么目前已知道如下两个正太概率密度函数： $\color{Green} \tag{05} 先验概率密度函数：~f_X(x)=X \sim N\left(900, 1^{2}\right) \\似然概率密度函数：~f_{Y|X}(y|x)=Y \sim N\left(897, 2^{2}\right)$ 把其带入公式，然后再合并一下： $\color{Green} \tag{06} \eta f_{Y|X}(y|x)f_X(x)=\eta \frac{1}{ 1 \sqrt{2 \pi}} e^{-\frac{(x-900)^{2}}{2 *1^{2}}}*\frac{1}{ 2 \sqrt{2 \pi}} e^{-\frac{(x-\mu)^{2}}{2*2^{2}}}=\eta \frac{1}{ 0.8 \sqrt{2 \pi} } e^{-{\frac{(x-899.4)^{2}}{2*{0.8}^{2}}}}$ 大家先忽略上式两个正太分布乘积的计算过程，后续博客会进行详细推导，直接看结果即可。通过观察上式可以知道，后验概率概率密度函数为 $\eta *N\left(899.4, 0.8^{2}\right)$ ，首先可以直观看到的值，相对于先验概率密度函数 $N\left(900, 1^{2}\right)$ 其标准差减低了，也就是说精度提高了，总得来说，实际客厅很大概率为 899.4cm，偏差在 0.8cm左右，这里的 $\eta$ 的是一个常数。

虽然已经到了这一步，不过似乎依旧没有回答我们的问题，那就是实际客厅是否符合验收标准，且(23)式的积分没有上限和下限，虽然知道 $\eta=1/{\int_{-\infty}^{+\infty} f_{Y \mid X}(y \mid x) f_{X}(x) \mathrm{d} x}$ 。我们接着分析，根据售房部的说明，其在 899.0~991.0 都属于正常合规标准，那么我们就计算一下客厅长度大于等于 899.0的概率，即： $P (899.0 \leq X ∣ Y = 900)$ 。本质上就是求后验概率概率密度函数为 $\eta*N\left(899.4, 0.8^{2}\right)$ 在 $x\in[899.0,\infty]$ 处的积分。比如求得概率 $P$ 之后，如果大于 80%，那么我们可以认为开发商话可行度还是比较高的，则表示符合验收标准。这里的计算过程本人就省略了。除以这里的 $\eta$ ，他的作用归一化，实际上就是 $P(-\infty≤X+\infty|Y=900)$ 的积分结果。直白的说，就是 $\left(899.4, 0.8^{2}\right)$ 的积分结果不一在0~1之间，所以进行归一化处理。

三、正太分布贝叶斯公式

上面连续随机变量，正太分布示例，例题三，可以直接代入如下公式获得结果：
$\color{Green} \tag{07} 先验概率密度函数：~f_X(x)=X \sim N\left(\mu_1, \sigma_1^{2}\right)=\frac{1}{ \sigma_1 \sqrt{2 \pi}} e^{-\frac{(x-\mu_1)^{2}}{2 \sigma_1^{2}}}$ $\color{Green} \tag{08} 似然概率密度函数：~f_{Y|X}(y|x)=X \sim N\left(\mu_2, \sigma_2^{2}\right)=\frac{1}{ \sigma_2\sqrt{2 \pi}} e^{-\frac{(x-\mu_2)^{2}}{2 \sigma_2^{2}}}$ $\color{Green} \tag{09} f_{X \mid Y}(x \mid y)=\frac{f_{X, Y}(x, y)}{f_{Y}(y)}=\frac{f_{Y \mid X}(y \mid x) f_{X}(x)}{\int_{-\infty}^{+\infty} f_{Y \mid X}(y \mid x) f_{X}(x) \mathrm{d} x}$ $\color{Green} \tag{10} 后验概率密度函数:~f_{X|Y}(x|y)=N\left(\frac{\sigma_{1}^{2}}{\sigma_{1}^2+\sigma_{2}^{2}} \mu_{2}+\frac{\sigma_{2}^{2}}{\sigma_{1}^{2}+\sigma_{2}^{2}} \mu_{1} ， \frac{\sigma_{1}^{2} \sigma_{2}^{2}}{\sigma_{1}^{2}+\sigma_{2}^{2}}\right)$ 从该公式，可以明显知道，经过似然概率密度函数的矫正之后，是能够降低先验概率密度函数的标准差(误差)的。因为 $\frac{\sigma_{1}^{2} \sigma_{2}^{2}}{\sigma_{1}^{2}+\sigma_{2}^{2}}$ 必然是小于 $\sigma_{1}^{2}$ 与 $\sigma_{1}^{2}$ 的。直接展开计算是比较麻烦的，可以利用数学工具 Mathematica，直接出结果即可。如果后续时间充裕，或许会把篇幅扩充一下，进行原理上的推导。

四、贝叶斯滤波思想

为了后续方便大家阅读本人的一系列文章，这里需要指定一些数学符号的规定，避免后续看到符号不小心搞混了。首先做一些介绍或者说约定。同时重要的公式推导也会记录卡尔曼家族从零解剖-(01)预备知识点这篇文章中，个人推荐阅读之后，再回过头来阅读该篇博客。

$\color{red}核心(个人理解)：$ 首先贝叶斯滤波其并不是具体某一种算法的具体实现，而是一种思想指导，就类似于 C++ 编程中的抽象类，定义了一些虚函数而已。这里举一个恰当一些的例子，比如说小学语文课，小朋友会学习笔画，一横、一竖、一撇等等。这些就类似于贝叶斯滤波，是比较基础比较抽象的，但是通过笔画的组合，可以实现各种中文子图，如你、我、他、好、坏等等，这些实际的字就好像是卡尔曼滤波、粒子滤波等等。虽然每个小朋友写的字，只要写(笔画组合)正确了，那么就是一个正确的字，但是呢？每个小朋友写的字迹都是不一样的，有的好看，有的不好看，有的大，有的小，但是这些字都是属于小朋友自己的特色。这里就好比，各行各业，各个不同的算法，他们或许都会使用到卡尔曼滤波，但是却不尽相同，多少会存在一些区别。所以我们在使用这些实例化的算法，也需要根据实际情况做一些改动或调整。

比如上面的三个例题，其假设的已知条件与高斯分布，实际上已经进行实例化了，因为贝叶斯是给出了 $P\left(Y \mid X_{i}\right)$ 与 $P\left(X_{i}\right)$ ，但是其没有给出具体的数值，数值是我们假设的，实际应用过程中，为了得到这些概率值，通常是需要进行建模的，比如使用高斯分布进行建模，那么就可以称为高斯滤波。那么什么又是滤波呢，其实一句话来说很好理解，滤波的作用就是降低噪声，比如由一个温度计，购买的参数上已经标明，该传感器的精度偏差为±1°，那么这 ±1° 就是噪声，其是厂家经过各方面测试出来的。那么，通过滤波算法，可以让精度提高，如果达到 ±0.5°的偏差。这样就很明显噪声降低了。

五、总结

通过该篇博客的讲解，主要了解到了如下概念：先验证概率，似然概率，后验概率。在后续的过程中，为了与各个教材或者博客等相通，这里要提及一下，先验也称为预测，似然也称为观测。后续过程中可能会混用，希望大家提前注意到，避免出现更多的疑惑。关于：
$\color{Green} \tag{11} f_{X \mid Y}(x \mid y)=\frac{f_{X, Y}(x, y)}{f_{Y}(y)}=\frac{f_{Y \mid X}(y \mid x) f_{X}(x)}{\int_{-\infty}^{+\infty} f_{Y \mid X}(y \mid x) f_{X}(x) \mathrm{d} x}=\eta f_{Y \mid X}(y \mid x) f_{X}(x)$ 是一个十分重要的公式，虽然他是抽象的，但是后续很多推导的，都是基于该抽象公式，或者说是对该公式的具体化，与实例化。实例化的方式可以说有千千万，不过没有关系，后续会一一进行分析与讲解。

该篇博客，虽然使用正太分布建模方式，讲解了一个连续随机变量贝叶斯滤波例子，但是严格意义上来说，该例题并不全面，实际上的贝叶斯滤波通常随着时间轴，会存在多个先验值，与预测值。且存在递推关系。具体细节在下篇博客中为大家进行详细分析。