时间序列与R语言应用(part4)--自回归AR模型及其平稳性条件

学习笔记

参考书目：《计量经济学》、《时间序列分析及应用R语言》、《计量经济学基础》、《计量经济学模型与R语言应用》

---

---

为什么平稳如此重要

我们知道若随机时间序列 $X_t$有如下性质：

①均值 $E(X_{t})=\mu$ ,均值是与时间 $t$无关的常数

②方差 $Var(X_{t})=\sigma^2$ , 方差是与时间 $t$无关的常数

③协方差 $Cov(X_{t},X_{t+k})=\gamma_k$ ,协方差只与时间间隔 $k$有关.

则称随机时间序列 $X_t$具有弱平稳型。

此时，如果我们把 $X$的原点从 $X_t$移到 $X_{t+m}$,那么 $X_{t+m}$具有和 $X_t$一样的均值、方差和自协方差。简而言之，如果一个时间序列是平稳的，那么不管在什么时间测量，它的均值、方差和自协方差都保持不变，即它们不随时间而变化。这种平稳的时间序列，有回到其均值的趋势，而且围绕其均值的波动具有大致恒定的振幅。应该指出，一个平稳过程均值复原(即回到均值)的速度取决于其自协方差，自协方差越小速度越快，自协方差越大，速度越慢。

而如果一个过程是非平稳的，那么要么它的均值随着时间变化，要么方差随着时间变化，或者二者同时发生变化。

扫描二维码关注公众号，回复： 11005377 查看本文章

为什么平稳时间序列如此重要呢？ 因为如果一个序列是非平稳的，那么我们就只能研究其在研究期间的行为，我们无法把它推广到其他期间。因此，从预测的角度来看，如果序列非平稳则没有什么研究价值。

自回归AR模型

在讨论了平稳时间序列的重要性之后，接下来的一个实际问题就是如何建立一个平稳时间序列的模型，以及如何利用所建的模型进行预铡。与经典回归分析不同的是，我们这里所建立的时间序列模型主要不是以不同变量间的因果关系为基础，而是寻找时间序列自身的变化规律。同样地，在预测一个时间序列未来的变化时，我们不再使用一组与之有因果关系的其他变量，而只是用该序列的过去行为来预测未来。

一阶自回归过程

存在这种用过去行为来预测未来的最简单的例子是一阶自回归模型，简记为 $AR(1)$：
$Y_t=\phi Y_{t-1} + e_t\tag{1}$
其中 $e_t$为白噪声，假设 $e_t$独立于 $Y_{t-1}, Y_{t-2}, Y_{t-3},...$，假设过程的均值已经被去掉，序列的均值为零.

我们知道只有产生过程是平稳的，用该模型进行预测才有意义。因此我们首先研究该过程的平稳条件。

对于一阶自回归模型,有如下递推式:
$Y_t=\phi Y_{t-1} + e_t \\=e_t+\phi (\phi Y_{t-2} + e_{t-1}) \\...... \\=e_t+\phi e_{t-1} + \phi^2 e_{t-2} +\phi^3 e_{t-3}... \tag{2}$
可以看到，一阶自回归过程(1)式可以表示成白噪声序列的线性组合。

由于 $E(e_t)=0$,故 $E(Y_t)=0$, 则平稳条件①成立。

对(2)式两边取方差：
$var(Y_t)=\sigma_e^2(1+\phi^2+\phi^4+...)\tag{3}$
当且仅当 $|\phi|<1$时，(3)式才有：
$var(Y_t)= \frac{\sigma_e^2}{1-\phi^2}\tag{4}$
则，只有满足 $|\phi|<1$的条件时，平稳条件②才成立。

同时，对于(2)式有：
$Y_{t+k}=e_{t+k}+\phi e_{t+k-1} + \phi^2 e_{t+k-2} +\phi^3 e_{t+k-3}...\tag{5}$
则 $Y_t$与 $Y_{t+k}$的协方差为：
$cov(Y_t,Y_{t+k})=E(Y_t*Y_{t+k})=\sigma_e^2 \phi^k(1+\phi^2 +\phi^4+...)\tag{6}$
当且仅当 $|\phi|<1$时,(6)式才有：
$cov(Y_t,Y_{t+k})=\phi^k \frac{\sigma_e^2}{1-\phi^2}=\phi^kvar(Y_t) \tag{7}$
则(7)式表明 $cov(Y_t,Y_{t+k})$只与时间间隔 $k$有关，与时间点 $t$无关，则平稳条件③成立。

综上所述，在条件 $e_t$独立于 $Y_{t-1}, Y_{t-2}, Y_{t-3},...$和 $\sigma_e^2>0$的情况下，当且仅当 $|\phi|<1$时 $AR(1)$的递归定义的解是平稳的， $|\phi|<1$通常称为 $AR(1)$过程的平稳条件。

二阶自回归过程

现考虑满足以下方程的序列：
$Y_t=\phi_1 Y_{t-1} +\phi_2 Y_{t-2} + e_t\tag{8}$
其中 $e_t$为白噪声，假设 $e_t$独立于 $Y_{t-1}, Y_{t-2}, Y_{t-3}...$

为了证明平稳性，引入AR特征多项式：
$\phi(x)=1-\phi_1x-\phi_2x^2\tag{9}$
和相应的AR特征方程:
$1-\phi_1x-\phi_2x^2=0\tag{10}$
二次方程总是有两个根(可能有复数根)，这两个根就叫特征根。

可以证明，当 $e_t$独立于 $Y_{t-1},Y_{t-2}Y_{t-3}...$的条件下，当且仅当AR特征方程的根的绝对值(模)大于1时，方程(10)才存在平稳解。这个结论,可以不加任何改变地推广到p阶的情况.

在二阶自回归模型中，二次特征方程的根易找到为：
$\frac{\phi_1\pm\sqrt{\phi_1^2+4\phi_2}}{-2\phi_2}\tag{11}$

为了满足平稳条件，要求根的绝对值大于，当且仅当满足以下条件：
$\phi_1+\phi_2<1 \qquad \phi_2-\phi_1<1 \qquad |\phi_2| <1$
与 $AR(1)$一样，我们称此为 $AR(2)$模型的平稳条件。

下图显示了 $AR(2)$模型的平稳区域：

一般自回归过程

考虑p阶自回归模型:
$Y_t=\phi_1 Y_{t-1} +\phi_2 Y_{t-2}+...+\phi_p Y_{t-p} + e_t\tag{12}$

有AR特征多项式：
$\phi(x)=1-\phi_1x-\phi_2x^2-...-\phi_px^p\tag{13}$
和相应的特征方程：
$1-\phi_1x-\phi_2x^2-...-\phi_px^p=0\tag{14}$
假设 $e_t$独立于 $Y_{t-1}, Y_{t-2}, Y_{t-3}...$ ,当且仅当AR特征方程的每一个根的绝对值(模)大于1时方程(14)才存在平稳解，为了保证特征方程根的模大于1，以下两个不等式是必要条件但不是充分条件：
$\begin{cases}\phi_1+\phi_2+...+\phi_p<1 \\|\phi|<1 \tag{15} \end{cases}$
以下不等式为充分条件：
$|\phi_1| + |\phi_2| + ...+ |\phi_p| <1$

R语言实现

现在我们模拟二阶自回归过程，并检验其平稳性：

library(tseries)
set.seed(1236)
data01 <- arima.sim(n = 50, list(ar =c(0.8, -0.5)))
plot(data01, main = '时序图', type='o')
adf.test(data01)

时序图：

单位根检验结果：

	Augmented Dickey-Fuller Test

data:  data01
Dickey-Fuller = -3.8032, Lag order = 3, p-value = 0.02523
alternative hypothesis: stationary

我们看到p值小于0.05的显著性水平，拒绝原假设，则二阶自回归过程是平稳的。

---

后记：此Blog经过了二次修改，之前在模拟二阶ar模型时，将自回归系数写为了0.8和0.5这不满足平稳性条件，在用R模拟时，程序应该是会报错的，但笔者查看了一下历史记录，发现模拟的时候自回归系数写的是0.8和-0.5，结果写Blog的时候就变成了了0.8和0.5 ???故，引以为戒