与前面学习过的线性预测一样，随机过程的线性预测是用随机过程某一个采样点上的随机变量的值来预测另外一个采样点上的随机变量的值。
设想有一个离散时间的随机过程$x[n]$，并且已经得到位于采样点$n_0$上的值，现在需要我们去预测采样点$n_0+m$上的值，我们所预测的值用$\hat{x}[n_0+m]$来表示。我们采用的是线性预测器，因此可以假设这两个点之间有如下关系：
$\hat{x}[n_0+m] = ax[n_0]+b$
我们所需要做的就是通过选择合适的系数$a,b$来使得预测值更加准确。一般的预测准则为MMSE，即当所选择的系数$a,b$使得MSE为最小时，就能得到最优的预测值。
$\epsilon = E\{(x[n_0+m]-\hat{x}[n_0+m])^2\}=E\{(x[n_0+m]-ax[n_0]-b)^2\}$
也就是说所选择的系数要使得$\epsilon$的值最小。我们可以通过对上述式子分别求$a,b$的偏导，当偏导数的结果为0时可以得到极值。
$\begin{align*}
\frac{\partial \epsilon}{\partial a} &= E\{(x[n_0+m]-ax[n_0]-b)x[n_0]\}\\
&=E\{x[n_0+n]x[n_0]\}-aE\{x[n_0]x[n_0]\}-bE\{x[n_0]\}\\
&=R_{xx}[n_0+m,n_0]-aR_{xx}[n_0,n_0]-b\mu_x[n_0]\\
&=0\\
\frac{\partial \epsilon}{\partial b} &= E\{x[n_0+m]-ax[n_0]-b\}=0\\
&=\mu_x[n_0+m]-a\mu_x[n_0]-b\\
&=0\\
&\quad\end{align*}$
如果所处理的随机过程是WSS的话，有$\mu_x[n_0] = \mu_x[n_0+m]$，并且能进行符号简化
$\begin{align*}
\frac{\partial \epsilon}{\partial a}
&=R_{xx}[m]-aR_{xx}[0]-b\mu_x=0\\
\frac{\partial \epsilon}{\partial b}
&=\mu_x-a\mu_x-b=0
\end{align*}$
求解上述方程可以得到
$\begin{align*}a &= \frac{C_{xx}[m]}{C_{xx}[0]}\\b&=\mu_x-\frac{C_{xx}[m]}{C_{xx}[0]}\mu_x\end{align*}$
因此预测值为
$\hat{x}[n_0+m] = \mu_x+\frac{C_{xx}[m]}{C_{xx}[0]}(x[n_0]-\mu_x)$
Reference:
Alan V. Oppenheim: Signals, Systems and Inference, Chapter 9:Random Process