SDE-Net: Equipping Deep Neural Networks with Uncertainty Estimates

Introduction

目前不确定性量化方法：
1、基于贝叶斯神经网络
2、非贝叶斯方法，如模型集成（Model Ensembling）等

SDE-Net： stochastic differential equation，随机微分方程网络 贡献：
1、明确建模了Aleatoric Uncertainty（固有）和Epistemic Uncertainty（人为），并can在其预测中分离出不确定性的来源
2、实现高效简洁，无需指定先验分布并推断在BNN中的后验分布
3、同时试用于分类和回归任务

从动力学角度分析，DNN正向传播可以看成动态系统的状态转换，可用常微分方程（ODE）表示，然鹅神经ODE是确定的，无法捕捉不确定性特征，因此采用SDE描述隐藏状态的变换，并添加一个布朗运动来量化Epistemic Uncertainty。SDE模型由控制系统以获得良好预测精度的drift net和描述随机环境中模型不确定性的diffusion net构成。

基于贝叶斯神经网络的缺陷：
1、DNN参数难以指定先验分布
2、DNN中参数繁多，难以解决精确的参数后验推理
大多数学习贝叶斯神经网络的方法分为：变分推理和马尔科夫链蒙特卡洛方法，此方法非常耗时，代价高

Method

布朗运动

定义：
1、X(0)=0
2、对任意t>s>=0,X(t)-X(s)~N(0,t-s) 标准布朗运动
3、独立增量

理想表现：

流程图;

伪代码：

图中红框解释：
$X_k^{N_M}$表示上一个状态，$f$表示drift neural net，g表示diffusion neural net，$Z_k\sim N(0,1)$（标准高斯随机变量），$\Delta t=T/N$ 这个时间间隔 [0, T]一直不是很理解

Experiments Result

论文地址
代码地址