机器学习的统计方法 贝叶斯决策理论入门

引言

无论你是在建立机器学习模型还是在日常生活中做决定，我们总是选择风险最小的方案。作为人类，我们天生就采取任何有助于我们生存的行动；然而，机器学习模型最初并不是基于这种理解而建立的。这些算法需要经过训练和优化，以选择风险最小的最优方案。此外，很重要的一点在于，我们必须明白，如果某些高风险的决定做的不正确，将会导致严重的后果。

我们以癌症诊断为例。根据病人的计算机断层扫描（CT），放射科医生能确定肿瘤的存在吗？如果他们认为病人体内有肿瘤，那么医生需要弄清楚肿瘤是良性的还是恶性的，以确定正确的治疗方法。鉴于本文的目的是描述做出这些决策的统计方法，所以我只关注问题的第一部分：病人是否有肿瘤，是，还是否？

贝叶斯定理

在统计学和概率论领域，最著名的方程之一是贝叶斯定理（见下面的公式）。基本直觉是，给定某个特征（即属性）时，某个类或事件发生的概率是基于特征值的可能性和有关该类或事件的任何先验信息计算的。这句话看起来有点复杂，所以我们一步步拆开来看。首先，癌症检测是一个两类问题。第一类 $\omega_1$表示肿瘤存在， $\omega_2$表示肿瘤不存在。

先验

**贝叶斯定理有四个部分：先验、似然、置信和后验。**先验概率（ $P(\omega_1),P(\omega_2)$）定义了事件 $\omega_1$或 $\omega_2$在自然界中发生的可能性。我们要注意，先验概率的分布根据我们问题的情景而各有差异。由于目标是检测癌症，可以肯定的是，肿瘤出现的概率很低： $P(\omega_1)<P(\omega_2)$。但是，不管值是多少，所有先验概率的总和都必须是1。

似然

从技术上来说，CT扫描是指用x射线以圆周运动的方式进行扫描。产生的关键指标之一是衰减——衡量x射线吸收程度的指标。密度越高的物体衰减越大，反之亦然。因此，与肺组织相比，肿瘤可能具有更高的衰减。

假设我们只通过衰减值这一个特征来从 $\omega_1$和 $\omega_2$之间做出决定。每个类都有一个类条件概率密度 $p(x|\omega_1)$和 $p(x|\omega_2)$，称为“似然度”。下图显示了一个的 $P(x|\omega)$的类条件概率密度示意图。类条件概率分布是通过分析训练数据集来提取的；但是，如果有相关领域的专家来检查一下数据的有效性是最好的。

置信

描述置信 $p(x)$最好的办法是全概率公式。这条公式指出，如果有相互排斥的事件（例如 $\omega_1$和 $\omega_2$），其发生概率总和为1，则某个特征（例如衰减程度）出现的概率（也即我们的置信）是所有相互排斥的事件的似然度与对应事件先验概率乘积的和。

后验

贝叶斯定理的结果称为后验概率 $P(\omega_1|x)$和 $P(\omega_2|x)$。后验概率表示在给定特征 $x$（例如衰减程度）的情况下，观察值属于 $\omega_1$或 $\omega_2$类（即是否存在肿瘤）的概率。每一个观测值都有一个后验概率，所有后验概率的总和必须达到1。对于我们试图解决的癌症检测问题，它有两个后验概率。除了似然度和后验概率之间的联系之外，后验概率还可能受到先验概率 $P(\omega)$的严重影响。

决策规则

既然我们已经很好地理解了贝叶斯定理，现在是时候看看如何利用它在两个类之间建立一个决策边界了。有两种方法可以确定病人是否有肿瘤。第一种是一种简单的方法，它只使用先验概率值来做决定；第二种方法利用后验概率，利用先验概率和类条件概率分布来确定病人患有肿瘤的概率。

使用先验概率

假设我们只根据自然的先验概率做出决策，这意味着我们忘记贝叶斯定理中的所有其他因素。由于有肿瘤的概率 $P(\omega_1)$远小于没有肿瘤的概率 $P(\omega_2)$，我们的模型/系统将始终预测每个患者都没有肿瘤。尽管模型/系统在大多数情况下都是正确的，但它无法识别出真正患有肿瘤并需要救治的患者。

使用后验概率

现在让我们使用后验概率 $P(\omega_1|x)$和 $P(\omega_2|x)$来采取更全面的方法。由于后验概论是贝叶斯定理的结果，类条件概率密度 $p(x|\omega_1)$和 $p(x|\omega_2)$减轻了先验的影响。如果我们的模型/系统所观察的区域的衰减比普通组织要高，那么尽管存在自然的先验概率，但肿瘤出现的概率还是会增加。假设一个特定区域有75%的几率含有肿瘤，那么这就意味着有25%的几率根本没有肿瘤。这25%的几率是我们出错的概率，也被称为风险。

结论

您刚刚学到的是贝叶斯决策理论的一个简单的单变量应用，它可以通过使用多元高斯分布代替置信和似然度来扩展到更大的特征空间。虽然本文的重点是解决癌症检测的问题，但是贝叶斯定理也被广泛用于包括投资、市场营销和系统工程在内的众多领域。

参考资源

[1]Seo, Young-Woo. (2006). Cost-Sensitive Access Control for Illegitimate Confidential Access by Insiders. Proceedings of IEEE Intelligence and Security Informatics: 23–24 May 2006. 3975. 117–128. 10.1007/11760146_11.

[2] Duda, R. O., Hart, P. E., Stork, D. G. (2001). Pattern Classification. New York: Wiley. ISBN: 978–0–471–05669–0

[3] Glatter, R., “Medicare To Cover Low-Dose CT Scans For Those At High Risk For Lung Cancer”, Forbes (2015)

作者：Rayhaan Rasheed

deephub翻译组：Alexander Zhao