贝叶斯定理

贝叶斯定理（Bayes’ Theorem）是概率论中的一个重要定理，用于描述在已知某些条件发生的情况下，更新事件概率的方法。贝叶斯定理以其创始人托马斯·贝叶斯（Thomas Bayes）的名字命名。

贝叶斯定理的公式：$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} $

其中：

  • $ P(A) $ 是事件 A 发生的先验概率。
  • $ P(B|A) $ 是在事件 A 发生的条件下，事件 B 发生的概率，即 B 的似然。
  • $ P(B) $ 是事件 B 发生的概率。
  • $ P(A|B) $ 是在事件 B 发生的条件下，事件 A 发生的概率，即 A 的后验概率。

贝叶斯定理在很多领域都有广泛的应用，如医学诊断、机器学习、统计推断等。通过贝叶斯定理，我们可以根据新的证据不断更新我们对事件概率的估计。

举一个简单的例子，假设我们想知道某人患某种疾病的概率。已知该疾病在总体人群中的患病率（先验概率），以及该疾病的检测方法的准确率（似然），通过贝叶斯定理可以在得到检测结果后更新某人患病的概率（后验概率）。

贝叶斯定理确实是通过条件概率来表达的，它提供了一种在已知条件下更新事件概率的方法。贝叶斯定理的核心思想是通过已知的信息（数据）来更新我们对某个事件或参数的信念（概率）。

条件概率的等价推导

贝叶斯定理可以通过条件概率的定义推导出来。让我们详细看看这种推导过程。

  1. 条件概率定义：

根据条件概率的定义：

$ P(A|B) = \frac{P(A \cap B)}{P(B)} $ $ P(B|A) = \frac{P(A \cap B)}{P(A)} $

  1. 联合概率表示：

由以上条件概率定义，我们可以得到联合概率的两个表示方法：

$ P(A \cap B) = P(A|B) \cdot P(B) $ $ P(A \cap B) = P(B|A) \cdot P(A) $

因为 $ P(A \cap B) $ 是相同的，所以我们可以将这两个等式相等：$ P(A|B) \cdot P(B) = P(B|A) \cdot P(A) $

  1. 整理贝叶斯定理：

将上面的等式整理得到贝叶斯定理：$ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} $

应用贝叶斯定理的例子

医学诊断

假设有一种疾病在总体人群中的患病率为 $ P(\text{患病}) = 0.01 $。某种测试方法对该疾病的检测准确率如下：

  • 如果患病，测试结果阳性的概率 $ P(\text{阳性}|\text{患病}) = 0.99 $。
  • 如果不患病，测试结果阳性的概率 $ P(\text{阳性}|\text{不患病}) = 0.05 $。

现在，我们得到一个阳性测试结果，求该测试结果下实际患病的概率 $ P(\text{患病}|\text{阳性}) $。

  1. 先验概率：

$ P(\text{患病}) = 0.01 $

$ P(\text{不患病}) = 1 - P(\text{患病}) = 0.99 $

  1. 似然：

$ P(\text{阳性}|\text{患病}) = 0.99 $

$ P(\text{阳性}|\text{不患病}) = 0.05 $

  1. 边缘概率：

$ P(\text{阳性}) = P(\text{阳性}|\text{患病}) \cdot P(\text{患病}) + P(\text{阳性}|\text{不患病}) \cdot P(\text{不患病}) $

$ P(\text{阳性}) = 0.99 \cdot 0.01 + 0.05 \cdot 0.99 $

$ P(\text{阳性}) = 0.0099 + 0.0495 = 0.0594 $

  1. 后验概率：

$ P(\text{患病}|\text{阳性}) = \frac{P(\text{阳性}|\text{患病}) \cdot P(\text{患病})}{P(\text{阳性})} $

$ P(\text{患病}|\text{阳性}) = \frac{0.99 \cdot 0.01}{0.0594} $

$ P(\text{患病}|\text{阳性}) \approx 0.1667 $

因此，在得到阳性测试结果的情况下，实际患病的概率约为 16.67%。

总结

贝叶斯定理通过条件概率公式推导而来，它是条件概率的应用和推广。通过贝叶斯定理，可以在已知某些条件下（如测试结果）更新我们对事件或参数（如患病概率）的信念。

应用

例子 1：医学诊断

假设某种疾病在总体人群中的患病率（先验概率）为 1%。某种测试方法对该疾病的检测准确率如下：

  • 如果患病，测试结果阳性的概率（即敏感性）为 99%。
  • 如果不患病，测试结果阴性的概率（即特异性）为 99%。

现在，如果一个人测试结果为阳性，求他实际患病的概率。

我们用贝叶斯定理计算：

  1. $ P(\text{患病}|阳性) $ = 后验概率
  2. $ P(阳性|\text{患病}) = 0.99 $
  3. $ P(\text{患病}) = 0.01 $
  4. $ P(阳性) = P(阳性|\text{患病}) \times P(\text{患病}) + P(阳性|\text{不患病}) \times P(\text{不患病}) $
    • $ P(阳性|\text{不患病}) = 1 - P(阴性|\text{不患病}) = 0.01 $
    • $ P(阳性) = 0.99 \times 0.01 + 0.01 \times 0.99 = 0.0198 $

代入贝叶斯定理：$ P(\text{患病}|阳性) = \frac{P(阳性|\text{患病}) \times P(\text{患病})}{P(阳性)} = \frac{0.99 \times 0.01}{0.0198} \approx 0.5 $

所以，即使测试结果为阳性，实际患病的概率也只有 50%。

例子 2：垃圾邮件过滤

假设你有一个邮件分类系统，分类邮件是否为垃圾邮件。已知：

  • 一封邮件是垃圾邮件的先验概率 $ P(\text{垃圾邮件}) = 0.2 $
  • 给定一封邮件是垃圾邮件，包含关键词“免费”的概率 $ P(\text{免费}|\text{垃圾邮件}) = 0.7 $
  • 给定一封邮件不是垃圾邮件，包含关键词“免费”的概率 $ P(\text{免费}|\text{非垃圾邮件}) = 0.1 $

现在，如果一封邮件包含“免费”这个关键词，求它是垃圾邮件的概率。

  1. $ P(\text{垃圾邮件}|免费) $ = 后验概率
  2. $ P(免费|\text{垃圾邮件}) = 0.7 $
  3. $ P(\text{垃圾邮件}) = 0.2 $
  4. $ P(免费) = P(免费|\text{垃圾邮件}) \times P(\text{垃圾邮件}) + P(免费|\text{非垃圾邮件}) \times P(\text{非垃圾邮件}) $
    • $ P(\text{非垃圾邮件}) = 1 - P(\text{垃圾邮件}) = 0.8 $
    • $ P(免费) = 0.7 \times 0.2 + 0.1 \times 0.8 = 0.14 + 0.08 = 0.22 $

代入贝叶斯定理：$ P(\text{垃圾邮件}|免费) = \frac{P(免费|\text{垃圾邮件}) \times P(\text{垃圾邮件})}{P(免费)} = \frac{0.7 \times 0.2}{0.22} \approx 0.636 $

所以，如果一封邮件包含“免费”这个关键词，它是垃圾邮件的概率大约为 63.6%。

例子 3：故障诊断

假设某工厂的机器出现故障的先验概率 $ P(\text{故障}) = 0.05 $。某个检测器的检测能力如下：

  • 如果机器故障，检测器发出警报的概率 $ P(\text{警报}|\text{故障}) = 0.99 $
  • 如果机器正常，检测器发出警报的概率 $ P(\text{警报}|\text{正常}) = 0.05 $

现在，如果检测器发出警报，求机器故障的概率。

  1. $ P(\text{故障}|警报) $ = 后验概率
  2. $ P(警报|\text{故障}) = 0.99 $
  3. $ P(\text{故障}) = 0.05 $
  4. $ P(警报) = P(警报|\text{故障}) \times P(\text{故障}) + P(警报|\text{正常}) \times P(\text{正常}) $
    • $ P(\text{正常}) = 1 - P(\text{故障}) = 0.95 $
    • $ P(警报) = 0.99 \times 0.05 + 0.05 \times 0.95 = 0.0495 + 0.0475 = 0.097 $

代入贝叶斯定理：$ P(\text{故障}|警报) = \frac{P(警报|\text{故障}) \times P(\text{故障})}{P(警报)} = \frac{0.99 \times 0.05}{0.097} \approx 0.51 $

所以，检测器发出警报后，机器实际故障的概率大约为 51%。

> https://www.youtube.com/watch?v=RqvIVZHVS1I&ab_channel=李永乐老师