贝叶斯深度学习：从点估计到概率推断的认知升级

引言：深度学习在不确定性面前的盲区

深度神经网络以惊人的精度解决图像识别、自然语言处理等问题，但其输出是确定性点估计——它不知道"自己不知道什么"。在医疗诊断、自动驾驶等高风险场景中，模型过度自信却错误的后果可能是灾难性的。贝叶斯深度学习将概率推断引入神经网络，让模型能够量化自身的不确定性。

1. 贝叶斯神经网络的理论基础

1.1 从最大后验到全概率推断

传统神经网络通过最大后验估计（MAP）学习单一权重向量 $\hat{w}_{\text{MAP}}$。贝叶斯神经网络（BNN）将权重视为随机变量，通过贝叶斯定理计算后验分布：

p(w|\mathcal{D}) = \frac{p(\mathcal{D}|w)p(w)}{p(\mathcal{D})}

预测时对权重后验求积分，得到预测分布：

p(y^*|x^*, \mathcal{D}) = \int p(y^*|x^*, w)p(w|\mathcal{D}) dw

这种边缘化（marginalization）自然地表达了模型对预测的信心。

1.2 不确定性分解

贝叶斯深度学习中的不确定性分为两类：

• 认知不确定性（Epistemic Uncertainty）：由于训练数据不足导致模型参数不确定。可通过收集更多数据减少。
• 偶然不确定性（Aleatoric Uncertainty）：数据本身的噪声（如传感器噪声）。即使有无限数据也无法消除。

这种分解对主动学习和安全决策至关重要。

2. 近似推断：面对计算不可行性的工程突围

精确计算BNN的后验通常是NP难的。研究者发展了多种近似推断方法：

2.1 变分推断（VI）

变分推断用参数化分布 \phi(w)$ 近似后验 (w|\mathcal{D})$，通过最大化证据下界（ELBO）：

\text{ELBO}(\phi) = \mathbb{E}_{q_\phi(w)}[\ln p(\mathcal{D}|w)] - \text{KL}(q_\phi(w) \| p(w))

贝叶斯BNN（Blundell et al., 2015）和MC Dropout（Gal