MMSE估计（一）：连续随机变量的估计

【本文内容摘自"Signals, Systems and Inferences"之"8.1-Estimation of a Continuous Random Variable", by Alan V.Oppenheim and George C.Verghese, 2010.】

连续随机变量的MMSE估计

首先，我们假定对随机变量 $Y$感兴趣想要估计它的值，但我们只知道它的概率密度函数（PDF）。随后，我们把讨论扩展到我们知道另外一个随机变量 $X$的测量或者观察结果，也知道 $X$和 $Y$的联合概率密度函数的情况。

• 只有 $Y$的PDF可知的情况

${\rm E}\left\{ (Y-\hat{y})^2 \right\}=\int(y-\hat{y})^2p_Y(y)dy$

将上式对 $\hat y$求导且令导数等于零，可以得到
$-2\int(y-\hat{y})p_Y(y)dy=0 \qquad \qquad (1)$
或者
$\int \hat yp_{Y}(y)dy=\int yp_{Y}(y)dy$
因此，
$\hat y={\rm E}\{y\}. \qquad \qquad(2)$

${\rm E}\left\{ (Y-\hat{y})^2 \right\}$关于 $\hat y$的二次导数为
$2\int p_{Y}(y)dy=2$
结果为正，因此(2)给出了最小化MSE时的 $\hat y$值。显然，(1)中的MMSE就是 $Y$的方差，即
$\min {\rm E}\left\{ (Y-\hat{y})^2 \right\}={\rm E}\left\{ (Y-{\rm E}\{Y\})^2 \right\}=\sigma_Y^2$

• 与 $Y$有关随机变量X的测量值或观察值可知的情况

由于有了关于 $X$的额外的测量，我们用后验概率密度函数 $p_{Y|X}(y|x)$代替 $p_Y(y)$。

因此，我们的目标是最小化(3)式
${\rm E}[\{ Y-\hat{y}(x)\}^2|X=x ]=\int\{y-\hat{y}(x)\}^2p_{Y|X}(y|x)dy \qquad \qquad (3)$
这里为我们的估计引入了 $\hat y(x)$，从而表明通常来说它将依赖于特定的 $x$值。与无测量的情况时候相同，我们可以得到
$\hat y(x)={\rm E}[Y|X=x]$
与之相关的MMSE为条件方差 $\sigma_{Y|X}^2$。因而与无测量时候的唯一区别在于，我们现在将测量值作为条件。
再进一步，如果我们有多个测量值， $X_1=x_1, X_2=x_2, \ldots, X_L=x_L$，我们采用后验概率密度
$P_{Y|X_1,X_2,\ldots,X_L}(y| x_1,x_2,\ldots,x_L)$

【结论】
$\hat y(x)=\int yp_{Y|{\bf X} }(y| {\bf X}={\bf x})={\rm E}[Y| {\bf X}={\bf x}$
其对应的MMSE为条件方差 $\sigma_{Y|{\bf X}}^2$。

例：二元高斯随机变量的MMSE估计

两个随机变量 $X$和 $Y$被称为具有二元高斯联合PDF，如果对其归一化之后得到随机变量
$V=\frac{X-\mu_x}{\sigma_X},\ W=\frac{Y-\mu_Y}{\sigma_Y}$
满足
$p_{V,W}(v,w)=\frac{1}{2\pi \sqrt{1-\rho^2}}\exp \{-\frac{v^2-2\rho v w+w^2}{2(1-\rho^2)}\}$
其中 $\rho=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}$为 $X$、 $Y$的相关系数，而 $C_{XY}={\rm E}[XY]-\mu_X\mu_Y$为 $X$、 $Y$的协方差。

下面考虑给定 $X=x$时 $Y$的MMSE估计，即 $\hat y(x)$，可以得到
$\hat y(x)={\rm E}[Y|X=x]$
或者
$\hat y(x)={\rm E}\left\{(\sigma_YW+\mu_Y)|V=\frac{x-\mu_X}{\sigma_X}\right\}=\sigma_Y{\rm E}\left\{W|V=\frac{x-\mu_x}{\sigma_X} \right\}+\mu_Y .$

由于
$p_{W|V}(w|v)=\frac{1}{\sqrt{2\pi(1-p^2)}}\exp\left\{-\frac{(w-\rho v)^2}{2(1-\rho^2)}\right\}.$
即均值为 $\rho v$，因此
$\hat y(x)=\mu_Y+\sigma_Y \rho v =\mu_Y+\rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X).$

我们来看此时的最小MSE，即
${\rm E}\{[Y-\hat y(x)]^2|{\bf X}=x\}$
为 $p_{Y|{\bf X}}(y|{\bf X}=x)$的方差，又由于 $p_{Y|{\bf X}}(y|{\bf X}=x)=\sigma_Y p_{W|{\bf V}}(w|{\bf V}=v)$且 $p_{W|{\bf V}}(w|{\bf V}=v)$的方差为 $1-\rho^2$，因此
${\rm E}\{[Y-\hat y(x)]^2|{\bf X}=x\}=\sigma^2_Y(1-\rho^2).$