Bernstein–von Mises类型的定理

---

Bernstein–von Mises类型的定理指出，可用于采样的数据越多，先验概率对预测模型的影响就越小，至少对于具有特定约束集的常见贝叶斯推理模型是这样。随着数据池的扩大，后验分布变得更加独立于先验概率假设，后验曲线看起来就像(渐近于)从最大似然估计器绘制的抽样分布。
所以在实际推断中，选择非信息性（或信息性较弱）的先验通常是出于 Bernstein-von-Mises 定理的渐近一致性保证。

---

符号

$I_{\theta }$ : Fisher information (Fisher 信息),

${\ell }_{\theta }(x)=\log p_{\theta }(x),$

${\dot{\ell }}_{\theta }(x)=\frac{d}{d\theta }{\ell }_{\theta }(x),$

${\ddot{\ell }}_{\theta }(x)=\frac{d^2}{d{\theta }^2}{\ell }_{\theta }(x),$

${\Delta }_{n,\theta }=1/\sqrt{n}{\sum }_{i=1}^n$ ${\dot{\ell }}_{\theta }\left(x_i\right)$

$I_{n,\theta }=-1/n{\sum }_{i=1}^n{\ddot{\ell }}_{\theta }\left(x_i\right)\text{, }$

$\Vert \cdot {\Vert }_{TV}$ : total variation(总变化量),

前言

在模型中 $\left(P_{\theta }:\theta \in \Theta \right)$ ，在某些规律性条件下 (有限维度，光滑，测度的存在)，如果先验分布上 $\theta$ 相对于 Lebesgue测度的密度足够光滑（接近 ${\theta }_0$ 远离零)，后验分布之间的总变化距离 (通过居中和重新缩放到 $\sqrt{n}\left(\theta -{\theta }_0\right)$ ) 和高斯分布以任何为中心有效的估计器随着逆Fisher信息，作为方差的趋势将趋于0。

贝叶斯公式

根据贝叶斯公式，$\theta$的后验密度由下式给出
$$\pi \left(\theta \mid X_1,\dots ,X_n\right)=\frac{{\prod }_{i=1}^n{p}_{\theta }\left(X_i\right)\pi (\theta )}{\int {\prod }_{i=1}^n{p}_{\theta }\left(X_i\right)\pi (\theta )d\theta }.$$
贝叶斯公式的另一个有趣的性质是源自当我们观察无穷次观察之后会发生什么，通常被称为Bernstein-von Mises定理。

泰勒展开

$$\log \frac{p_{\theta +h}}{p_{\theta }}(x)=h^T{\dot{\ell }}_{\theta }(x)+\frac{1}{2}{h}^T{\ddot{\ell }}_{\theta }(x)h+o_p\left(\Vert h{\Vert }^2\right)$$

---

在非贝叶斯视角下，当我们要对某参数模型的参数进行估计时，我们常常会运用 中心极限定理(CLT)，并得到一个类似这样的结果，
$$\sqrt{n}\left({\hat{\theta }}_n-{\theta }_0\right)\to N(0,\Sigma )$$
在贝叶斯视角下我们类似的结论，堪称是贝叶斯 CLT，这就是我们要介绍的 Bernstein–von Mises类型的定理

Bernstein–von Mises类型的定理

Bernstein-von Mises定理告诉我们，当我们获得更多的数据时，我们的后验估计将渐进地独立于我们最初（先前）的信念。这在某种程度上类似于频率统计中的律数定律，它告诉我们，当我们获得越来越多的数据时，样本的均值最终将等于总体的均值。

在某些条件下：
$${\Vert \Pi \left(\sqrt{n}\left(\vartheta -{\theta }_0\right)\in \cdot \mid X_1,\dots ,X_n\right)-N_d\left(I_{{\theta }_0}^{-1}{\Delta }_{n,{\theta }_0},I_{{\theta }_0}^{-1}\right)\Vert }_{TV}\to 0\text{ in }{P}_{{\theta }_0}^n$$
这里，变量${\Delta }_{n,{\theta }_0}$的序列在${\theta }_0$下收敛到 N d ( 0 ， I { θ 0 } ) N_d(0，I_{\{\theta_0\}}) Nd​(0，I{ θ0​}​)。

证明草图：

step 1：应用CLT的泰勒展开
假设数据是来自密度$p_{\theta }$的随机样本$X_1，\dots ,X_n$，该密度$p_{\theta }$平滑地依赖于$\theta \in \Theta$ 参数，并允许形式的泰勒展开，
$$\log \frac{p_{\theta +h}}{p_{\theta }}(x)=h^T{\dot{\ell }}_{\theta }(x)+\frac{1}{2}{h}^T{\ddot{\ell }}_{\theta }(x)h+\dots$$
$\text{现在我们将}h\text{替换为}\frac{h}{\sqrt{n}}\text{并对观察结果求和，我们发现}$
$$\log \prod _{i=1}^n\frac{p_{\theta +h/\sqrt{n}}}{p_{\theta }}\left(X_i\right)=h^T{\Delta }_{n,\theta }+\frac{1}{2}{h}^T{I}_{n,\theta }h+\dots$$
其中，
$${\Delta }_{n,\theta }=\frac{1}{n}\sum _{i=1}^n{\dot{\ell }}_{\theta }\left(X_i\right),I_{n,\theta }=-\frac{1}{n}\sum _{i=1}^n{\ddot{\ell }}_{\theta }\left(X_i\right).$$
$\text{ 注意在分布中}{\Delta }_{n,\theta }\to {\Delta }_{\theta }:=N\left(0,I_{\theta }\right)\text{ 并且通过中心极限定理在概率中 }{I}_{n,\theta }\to I_{\theta }。$

step 2:重写后验。

在第一步中我们看到，对log-likelihood进行泰勒展开，我们就可以运用CLT， 因此我们想对posterior进行泰勒展开

我们重新缩放参数以获得CLT形式的结果。因此，我们研究了$\sqrt{n}\left(\vartheta -{\theta }_0\right)$的后验，其密度为
$${\pi }_n\left(\sqrt{n}\left(\vartheta -{\theta }_0\right)=h\mid X_1,\dots ,X_n\right)=\frac{{\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}\left(X_i\right)\pi \left({\theta }_n+h/\sqrt{n}\right)}{\int {\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}\left(X_i\right)\pi \left({\theta }_n+h/\sqrt{n}\right)dh}$$
如果先验是连续的，那么对于大$n$，我们可以使用$\pi \left({\theta }_0\right)$来近似$\pi \left({\theta }_0+h/\sqrt{n}\right)$。它导致了前面的公式
$${\pi }_n\left(\sqrt{n}\left(\vartheta -{\theta }_0\right)=h\mid X_1,\dots ,X_n\right)=\frac{{\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}\left(X_i\right)}{\int {\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}\left(X_i\right)dh}=\frac{{\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}/p_{{\theta }_0}\left(X_i\right)}{\int {\prod }_{i=1}^n{p}_{{\theta }_n+h/\sqrt{n}}/p_{{\theta }_0}\left(X_i\right)dh}$$
现在，我们已经将后验改写成了step 1中的形式，因此我们对其泰勒展开，其分子约等于 $h^T{\Delta }_{n,\theta }+\frac{1}{2}{h}^T{I}_{\theta ,n}h$。

step 3:高斯后验逼近

另外,对于高斯分布, 通过计算可以得到
$$\log \frac{dN\left(h,I_{\theta }^{-1}\right)}{dN\left(0,I_{\theta }^{-1}\right)}(X)=h^T{I}_{\theta }X-\frac{1}{2}{h}^T{I}_{\theta }h$$

将 ${\Delta }_{\theta }=I_{\theta }X$ ，我们可以看到， $\left(P_{\theta +h/\sqrt{n}}\right)\to N\left(h,I_{\theta }^{-1}\right)$ ，所以后验的渐近行为可以用$N\left(h,I_{\theta }^{-1}\right)$表示为
$$\begin{gathered} \frac{dN\left(h,I_{{\theta }_0}^{-1}\right)/dN\left(0,I_{{\theta }_0}^{-1}\right)(X)}{\int dN\left(h,I_{{\theta }_0}^{-1}\right)/dN\left(0,I_{{\theta }_0}^{-1}\right)(X)dh}=\frac{dN\left(h,I_{{\theta }_0}^{-1}\right)(X)}{\int dN\left(h,I_{{\theta }_0}^{-1}\right)(X)dh}=dN\left(X,I_{{\theta }_0}^{-1}\right)(h) \\ \text{其中}X\sim I_{{\theta }_0}^{-1}N\left(0,I_{{\theta }_0}\right) \end{gathered}$$

渐进理论

在贝叶斯推断， 这Bernstein-Von Mises定理提供了使用贝叶斯可信集以置信陈述的基础参数模型。它指出，在某些条件下，后验分布以无限数据的极限收敛到以最大似然估计量为中心的多变量正态分布，其协方差矩阵给出 ：$n^{-1}I{\left({\theta }_0\right)}^{-1}$ ， 在这里 ${\theta }_0$ 是真实的人口参数 $I\left({\theta }_0\right)$ 是个Fisher信息矩阵在真实的总体参数值。

Bernstein-Von Mises定理链接贝叶斯推断和经常推断。它假设存在一些真正的概率过程，可以在频繁主义中产生观察结果，然后研究贝叶斯恢复该过程的方法的质量，并就该过程做出不确定性陈述。特别是，它指出贝叶斯可信的一定信誉级别$\alpha$将渐近地成为信心水平的信心集$\alpha$，这允许解释贝叶斯可信集。

设 { X j : j ≥ 1 } \left\{X_{j}: j \geq 1\right\} { Xj​:j≥1}是独立的同分布随机变量，其概率密度取决于某个参数$\theta$ 。假设选择了$\theta$的先验分布。贝叶斯推理的渐近理论中的一个基本定理是关于给定$X_1\dots X_n$的$\theta$的后验密度收敛于正态密度。

换句话说，后验分布趋向于渐近正态分布。这种现象最早是由拉普拉斯在独立和同分布观测的情况下注意到的。S.N. Bernstein [2]证明了一个相关但不同的结果，他考虑了$\theta$的后验分布，给定平均$n^{-1}\left(X_1+\cdots +X_n\right)$。

R. von Mises [12]将结果扩展到经验分布函数的有限个可微泛函条件下的后验分布。L. Le Cam [5]在他关于最大似然的渐近性质和相关贝叶斯估计的工作中研究了这个问题。对于独立和同分布随机变量的情况，关于$L_1-$均值收敛的$Bernstein-vonMises$定理如下，见[3]。

设 $X_i,1\le i\le n$,是具有概率密度 $f(x,\theta ),\theta \in \Theta \subset \mathbf{R}$的独立同分布随机变量 。

假设 $\Theta$ 是 开的 并且 $\lambda$ 是$\Theta$上的先验概率密度，在真参数${\theta }_0$的开放邻域内连续且为正。

设 $h(x,\theta )=\log f(x,\theta )$ 。 假设 $\partial h/\partial \theta$ 和 ${\partial }^{2}h/\partial {\theta }^2$ 在 $\theta$ 上存在并连续 。
进一步，假设$i(\theta )=-{\mathrm{E}}_{\theta }\left[{\partial }^{2}h/\partial {\theta }^2\right]$ 是连续的, 其中 $0<i(\theta )<\infty$ 。设 $K(\cdot )$ 是一个满足的非负函数
$${\int }_{-\infty }^{\infty }K(t)\exp \left[-\frac{\left(i\left({\theta }_0\right)-ϵ\right)t^2}{2}\right]dt<\infty$$

对一些 $0<ϵ<i\left({\theta }_0\right)$ 。设 ${\hat{\theta }}_n$ 是基于 $X_1\dots X_n$在$\theta$ 上的最大似然估计。设 $L_n(\theta )$ 为对应的似然函数。
已知在一定规律条件下在 ${\theta }_0$上 存在紧邻域$U_{{\theta }_0}$， 因此:${\hat{\theta }}_n\to {\theta }_0$ 几乎肯定;
${\left(\partial \log L_n(\theta )/\partial \theta \right)|}_{\theta =\hat{\theta }n}=0$对于大$n$ ;
当$n\to \infty ，n^{1/2}\left({\hat{\theta }}_n-{\theta }_0\right)$ 在分布上收敛到正态分布，均值为0，方差为$1/i\left({\theta }_0\right)$。
设$f_n\left(\theta \mid x_1\dots x_n\right)$为给定观测值$\left(x_1\dots x_n\right)$和先验概率密度$\lambda (\theta )的\theta$的后验密度，即:
$f_n\left(\theta \mid x_1\dots x_n\right)=\frac{{\prod }_{i=1}^{n}f\left(x_i,\theta \right)\lambda (\theta )}{\int {\prod }_{i=1}^{n}f\left(x_i,\varphi \right)\lambda (\varphi )d\varphi }$。

设 $f_n^{\ast }\left(t\mid x_1\dots x_n\right)=n^{-1/2}{f}_n\left({\hat{\theta }}_n+t{n}^{-1/2}\right)。然后f_n^{\ast }\left(t\mid x_1\dots x_n\right)$ 是关于$t=n^{1/2}\left(\theta -{\hat{\theta }}_n\right)$的后验密度。
在上述假设和一些附加的技术条件下，一个广义的Bernstein-von Mises theorem如下。

假如，对每个 $h>0$ 和 $\delta >0$ ,
$$e^{-n\delta }{\int }_{|t|>h}K\left(n^{1/2}t\right)\lambda \left({\hat{\theta }}_n+t\right)dt\to 0\text{ a.s. }\left[{\mathrm{P}}_{{\theta }_0}\right]$$

有
$$\begin{array}{c}{\lim }_{n\to \infty }{\int }_{-\infty }^{\infty }K(t).\cdot \left|f_n^{\ast }\left(t\mid X_1\dots X_n\right)-{\left(\frac{i\left({\theta }_0\right)}{2\pi }\right)}^{1/2}{e}^{-\frac{1}{2}i\left({\theta }_0\right)t^2}\right|dt==0\text{ a.s. }\left[{\mathrm{P}}_{{\theta }_0}\right].\end{array}$$
对于$K(t)\equiv 1$ ，我们发现后验密度在$L_1-$均值收敛时收敛到正态密度。结果可以扩展为多维参数。作为上述定理的应用，可以证明贝叶斯估计量对于合适的损失函数类是强一致和渐近有效的(参见[11])。关于收敛速率见[4]， [7]， [8]。

B.L.S. Prakasa Rao [6]将结果推广到任意离散时间随机过程(参见[1]);关于扩散过程和扩散场的扩展，请参见[9]，[10]。

总结

虽然这是一个简单的理论，似乎消除了创建先验概率的需要，但应用该规则所需的特定条件列表并不总是容易满足，比如：最大似然估计量必须在整个模型中保持一致。该模型需要有限且固定数量的参数。无限维(非参数)参数，如未知函数，将不起作用。

先验密度也必须非零。数据库中的所有样本必须是唯一的和独立的，没有任何选择偏差，每个样本都由相同的实验设计收集。一般来说，数据库越大，这就越难实现，因为大多数“大数据”库都是在不同时间以不同的选择标准收集的较小数据库的集合。

Bernstein–von Mises定理的最重要含义是，从常见的角度来看，贝叶斯推论在渐近上是正确的。这意味着，对于大量数据，可以从经常观察的角度使用后验分布来制作有关估计和不确定性的有效陈述。

参考文献

• [1] I.V. Basawa, B.L.S. Prakasa Rao, “Statistical inference for stochastic processes” , Acad. Press (1980)

• [2] S.N. Bernstein, “Theory of probability” (1917) (In Russian)

• [3] J.D. Borwanker, G. Kallianpur, B.L.S. Prakasa Rao, “The Bernstein-von Mises theorem for Markov processes” Ann. Math. Stat. , 43 (1971) pp. 1241-1253

• [4] C. Hipp, R. Michael, “On the Bernstein-von Mises approximation of posterior distribution” Ann. Stat. , 4 (1976) pp. 972-980

• [5] L. Le Cam, “On some asymptotic properties of maximum likelihood estimates and related Bayes estimates” Univ. California Publ. Stat. , 1(1953) pp. 277-330

• [6] B.L.S. Prakasa Rao, “Statistical inference for stochastic processes” G. Sankaranarayanan (ed.), Proc. Advanced Symp. on Probability and its Applications, Annamalai Univ. (1976) pp. 43-150

• [7] B.L.S. Prakasa Rao, “Rate of convergence of Bernstein-von Mises approximation for Markov processes” Serdica , 4 (1978) pp. 36-42

• [8] B.L.S. Prakasa Rao, “The equivalence between (modified) Bayes estimator and maximum likelihood estimator for Markov processes” Ann. Inst. Statist. Math. , 31 (1979) pp. 499-513

• [9] B.L.S. Prakasa Rao, “The Bernstein-von Mises theorem for a class of diffusion processes” Teor. Sluch. Prots. , 9 (1981) pp. 95104 (In Russian)

• [10] B.L.S. Prakasa Rao, “On Bayes estimation for diffusion fields” J.K. Ghosh (ed.) J. Roy (ed.), Statistics: Applications and New Directions, Statistical Publishing Soc. (1984) pp. 504-511

• [11] B.L.S. Prakasa Rao, “Asymptotic theory of statistical inference”, Wiley (1987)

• [12] R. von Mises, “Wahrscheinlichkeitsrechnung” , Springer (1931)

• [13] Van der Vaart, A. W. (2000). Asymptotic statistics.

• [14] Ghosal, S., & Van der Vaart, A. (2017). Fundamentals of nonparametric Bayesian inference

• https://zhuanlan.zhihu.com/p/367832769

• https://developer.aliyun.com/article/715524

• https://new.qq.com/rain/a/20210904A0421Y00