计量经济学导论10：ARIMA模型

目录

• ${\rm ARIMA}$ 模型
  • 滞后算子
  • ${\rm MA}(q)$ 模型
    • ${\rm MA}(1)$ 模型
    • ${\rm MA}(q)$ 模型
  • ${\rm AR}(p)$ 模型
    • ${\rm AR}(1)$ 模型
    • ${\rm AR}(p)$ 模型
  • ${\rm ARMA}(p,,q)$ 模型
    • ${\rm ARMA}(1,,1)$ 模型
    • ${\rm ARMA}(p,,q)$ 模型
  • 模型的选择
  • 弱相依时间序列
  • ${\rm ARIMA}(p,,d,,q)$ 模型

\({\rm ARIMA}\) 模型

滞后算子

在这一节中，咱们主要介绍时间序列分析中的几类经典的时间序列模型。为了简化模型设定，咱们须要引入滞后算子的概念。

滞后算子的定义很是容易理解，知足如下性质：

• \(\mathscr{B}X_t=X_{t-1}\) ；
• \(\mathscr{B}^2X_t=\mathscr{B}(\mathscr{B}X_t)=\mathscr{B}(X_{t-1})=X_{t-2}\) ；

即称 \(\mathscr{B}\) 为时间 \(t\) 的向后推移算子或滞后算子。

引入滞后算子以后，咱们能够定义滞后算子多项式以下：

• \(m\) 阶滞后算子多项式：

\[B(\mathscr{B})=b_0+b_1\mathscr{B}+b_2\mathscr{B}^2+\cdots+b_m\mathscr{B}^m=\sum_{i=0}^mb_i\mathscr{B}^i \ . \]

• 无穷阶滞后算子多项式：

\[B(\mathscr{B})=b_0+b_1\mathscr{B}+b_2\mathscr{B}^2+\cdots=\sum_{i=0}^\infty b_i\mathscr{B}^i \ . \]

• 特别地，若 \(|\varphi|<1\) ，根据 Taylor 级数计算公式有：

\[\frac{1}{1-\varphi\mathscr{B}}=1+\varphi\mathscr{B}+\varphi^2\mathscr{B}^2+\varphi^3\mathscr{B}^3+... \ . \]

在滞后算子的基础上，咱们能够逐一讨论时间序列模型。

\({\rm MA}(q)\) 模型

首先咱们讨论滑动平均模型的性质，滞后阶数为 \(q\) 的滑动平均模型简称为 \({\rm MA}(q)\) 模型。在计量经济学所研究的时间序列模型中，通常滞后阶数不会很高，因此咱们先从 \({\rm MA}(1)\) 模型开始讨论，其性质更为重要也更便于讨论。

\({\rm MA}(1)\) 模型

通常地， \({\rm MA}(1)\) 模型的模型设定以下：

\[y_t=u_t+\theta u_{t-1} \ , \]

\[u_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

其中，\(\{u_t\}\) 是白噪声序列。知足上述模型设定的序列 \(\{y_t\}\) 称为 \({\rm MA}(1)\) 序列。

首先，咱们讨论 \({\rm MA}(1)\) 序列的平稳性，经过计算咱们能够获得 \(\{y_t\}\) 序列具备以下性质：

• \({\rm E}(y_t)=0\) ；
• \({\rm Var}(y_t)=(1+\theta^2)\sigma^2\) ；
• \(\gamma(k)={\rm Cov}(y_t,\,y_{t+k})={\rm E}[(u_t+\theta u_{t-1})(u_{t+k}+\theta u_{t+k-1})]= \left\{ \begin{array}{lll} \theta\sigma^2 &, & k=1\\ 0 &,& k\geq2 \end{array} \right.\) .

所以，\({\rm MA}(1)\) 序列是一个平稳时间序列。能够看出， \({\rm MA}(1)\) 序列的自协方差函数是 \(1\) 步截尾的。根据已经计算获得的自协方差函数，能够计算自相关函数 ACF ：

\[\rho(k)=\frac{\gamma(k)}{\gamma(0)}= \left\{ \begin{array}{lll} \dfrac{\theta}{1+\theta^2} &, & k=1\\ 0 &,& {\rm otherwise} \end{array} \right. \ . \]

能够看出 \({\rm MA}(1)\) 序列的 ACF 也是 \(1\) 步截尾的。

对于 \({\rm MA}(1)\) 序列，若是 \(|\theta|<1\) ，称 \(\{y_t\}\) 为可逆的 \({\rm MA}(1)\) 序列。下面咱们利用滞后算子的推导方式来讨论 \({\rm MA}(1)\) 序列的可逆性质。

能够用滞后算子表示 \({\rm MA}(1)\) 序列并进行“逆变换”

\[y_t=(1+\theta\mathscr{B})u_t \ , \]

\[\dfrac{y_t}{1+\theta\mathscr{B}}=u_t \ , \]

\[y_t=u_t-(-\theta)y_{t-1}-(-\theta)^2y_{t-2}-\cdots \ . \]

以上过程被称为 \({\rm MA}(1)\) 序列的无限自回归表示。

上面的最后一个式子说明对于可逆的 \({\rm MA}\) 模型，能够利用 \({\rm AR}(\infty)\) 模型来建模。

最后咱们来讨论 \({\rm MA}(1)\) 序列的偏相关函数 PACF 。仍然是利用自回归的方式求解样本偏相关函数。根据可逆性质和无限自回归表示，咱们能够获得：

• \(y_t=\beta_0+\beta_1y_{t-1}+\varepsilon_t\) ,

• \(p(1)=\hat\beta_1\approx\theta\) .

• \(y_t=\beta_0+\beta_1y_{t-1}+\cdots+\beta_ky_{t-k}+\varepsilon_t\) ,

• \(p(k)=\hat\beta_k\approx(-1)^{k+1}\theta^k\) .

在可逆性条件下 \(|\theta|<1\) ，所以 PACF 随 \(k\) 逐渐收敛至 \(0\) ，表现为拖尾。图像中可表现为

• 若 \(\theta>0\) 则 PACF 上下摆动收敛于 \(0\) ；
• 若 \(\theta<0\) 则 PACF 恒为负并递增收敛于 \(0\) 。

\({\rm MA}(q)\) 模型

接下来咱们将滑动平均模型推广至通常状况， \({\rm MA}(q)\) 模型的模型设定以下：

\[y_t=u_t+\theta_1u_{t-1}+\theta_2u_{t-2}+\cdots+\theta_qu_{t-q} \ , \]

\[u_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

其中，\(\{u_t\}\) 是白噪声序列。知足上述模型设定的序列 \(\{y_t\}\) 称为 \({\rm MA}(q)\) 序列。

首先讨论 \({\rm MA}(q)\) 序列的平稳性：

• \({\rm E}(y_t)=0\) ;
• \({\rm Var}(y_t)=(1+\theta_1^2+\cdots+\theta_q^2)\sigma^2\) ;
• 自协方差函数：

\[\gamma(k)={\rm Cov}(y_t,\,y_{t+k})= \left\{ \begin{array}{lll} (\theta_1+\theta_2\theta_1+...+\theta_q\theta_{q-1})\sigma^2 &, & k=1 \\ \cdots && \\ (\theta_{q-1}+\theta_q\theta_1)\sigma^2 &,& k=q-1\\ \theta_q\sigma^2&,&k=q \\ 0 &,& k>q \end{array} \right. \]

所以 \({\rm MA}(q)\) 序列是一个平稳时间序列。因为这里的 \(q\) 是有限阶数，所以也称有限 \({\rm MA}(q)\) 序列。有根据自协方差函数，咱们能够知道 \({\rm MA}(q)\) 序列的自协方差函数和自相关函数都是 \(q\) 后截尾的。

一样的 \({\rm MA}(q)\) 序列也具备可逆性，其充要条件为：有限 \({\rm MA}(q)\) 序列是可逆的当且仅当特征多项式 \(\Theta(z)\) 的根均在单位圆外：

\[\Theta(z)=\sum_{i=0}^q\theta_iz^i\neq0\ , \ \ \ \ |z|\leq1 \ . \]

根据 \({\rm MA}(q)\) 序列的自相关函数的结尾性质，咱们能够经过计算 ACF 来定阶。

\({\rm AR}(p)\) 模型

接下来咱们讨论自回归模型，简称为 \({\rm AR}\) 模型。咱们先来看简单的状况。

\({\rm AR}(1)\) 模型

通常地， \({\rm AR}(1)\) 模型的模型设定以下：

\[y_t=\phi y_{t-1+}\varepsilon_t \ , \]

\[\varepsilon_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

其中，\(\{\varepsilon_t\}\) 是白噪声序列。知足上述模型设定的序列 \(\{y_t\}\) 称为 \({\rm AR}(1)\) 序列。容易计算获得 \(y_t\) 的指望和方差以下：

• \({\rm E}(y_t)=0\) ;
• \({\rm Var}(y_t)=\dfrac{\sigma^2}{1-\phi^2}\) .

为了获得自协方差函数，咱们对 \({\rm AR}(1)\) 模型的两边同时乘一个 \(y_{t-k}\) ：

\[y_ty_{t-k}=\phi y_{t-1}y_{t-k}+\varepsilon_ty_{t-k} \ , \]

对 \(k\geq1\) ，两边同时取数学指望：

\[{\rm E}(y_ty_{t-k})=\phi {\rm E}(y_{t-1}y_{t-k})+{\rm E}(\varepsilon_ty_{t-k}) \ , \]

获得下面重要的式子 Yule-Walker 方程 ：

\[\gamma(k)=\phi\gamma(k-1) \ . \]

这是一个递归方程，若是咱们已知初值条件 \(\gamma(0)\) ，咱们就能够利用 Y-W 方程计算出全体自协方差函数序列。下面推导如何计算 \(\gamma(0)\) ：

对 \({\rm AR}(1)\) 模型的两边同时乘一个 \(y_{t}\) 并取数学指望

\[{\rm E}(y_t^2)=\phi {\rm E}(y_ty_{t-1})+{\rm E}(\varepsilon_ty_t)=\phi {\rm E}(y_ty_{t-1})+\phi {\rm E}(\varepsilon_ty_{t-1})+{\rm E}(\varepsilon_t^2) \ . \]

\[\gamma(0)=\phi\gamma(1)+\sigma^2 \ . \]

对 Y-W 方程取 \(k=1\) 得

\[\gamma(1)=\phi\gamma(0) \ . \]

两个方程联立解得：

\[\gamma(0)=\frac{\sigma^2}{1-\phi^2} \ . \]

这也是 \({\rm AR}(1)\) 序列的方差。

利用 Y-W 方程和初值条件，咱们能够获得通常的自协方差函数：

\[\gamma(k)=\phi^k\frac{\sigma^2}{1-\phi^2} \ , \]

能够看出 \({\rm AR}(1)\) 序列是平稳序列。但为保证自协方差存在，须要知足平稳性条件： \(|\phi|<1\) 。

进而咱们能够获得自相关函数：

\[\rho(k)=\phi^k \ . \]

注意到 \({\rm AR}(1)\) 序列的 ACF 是一个逐渐收敛到 \(0\) 的序列，表现为拖尾。若是 \(\phi>0\) 则 \(\rho(k)\) 递减趋近于 \(0\) ，若是 \(\phi<0\) 则 \(\rho(k)\) 上下振荡衰减至 \(0\) 。

继续讨论偏相关函数，不难发现 \({\rm AR}(1)\) 序列的 PACF 是 \(1\) 步截尾的

\[p(k)= \left\{ \begin{array}{lll} \phi &, & k=1\\ 0 &,& k\geq1 \end{array} \right. \ . \]

PACF 只是一个连续的整体自回归序列中的最后一期滞后项的自回归系数。若是真实过程其实是 \({\rm AR}(1)\) ，则 \(p(1)\) 就是自回归系数 \(\phi\) ，全部较长滞后的系数均为零。

\({\rm AR}(p)\) 模型

将自回归模型推广至通常状况， \({\rm AR}(p)\) 模型的模型设定以下：

\[y_t=\phi_1y_{t-1}+\phi_2y_{t-2}+...+\phi_py_{t-p}+\varepsilon_t \ , \]

\[\varepsilon_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

使用滞后算子多项式能够表示为：

\[(1-\phi_1\mathscr{B}-\phi_2\mathscr{B}^2-...-\phi_p\mathscr{B}^p)y_t=\varepsilon_t \ . \]

其中，\(\{\varepsilon_t\}\) 是白噪声序列。知足上述模型设定的序列 \(\{y_t\}\) 称为 \({\rm AR}(p)\) 序列。

相似于 \({\rm AR}(1)\) 序列的性质，一个 \({\rm AR}(p)\) 序列是自协方差平稳的的当且仅当其滞后算子多项式 \(\Phi(z)\) 的根都在单位圆的外部。在知足平稳性的条件下， \({\rm AR}(p)\) 模型的解能够写为：

\[y_t=\frac{1}{\Phi(\mathscr{B})}\varepsilon_t \]

一样的， \({\rm AR}(p)\) 序列的偏相关函数具备 \(p\) 步截尾性，所以能够经过计算 PACF 为 \({\rm AR}(p)\) 模型定阶。

\({\rm ARMA}(p,\,q)\) 模型

关于滑动平均自回归模型咱们只作简单的介绍。详细的内容须要参考课程《时间序列分析》。

\({\rm ARMA}(1,\,1)\) 模型

先从简单的开始， \({\rm ARMA}(1,\,1)\) 模型的模型设定以下：

\[y_t=\phi y_{t-1}+\varepsilon_t+\theta\varepsilon_{t-1} \ , \]

\[\varepsilon_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

用滞后算子表示的形式为：

\[(1-\phi\mathscr{B})y_t=(1+\theta\mathscr{B})\varepsilon_t \ . \]

当 \(|\phi|<1\) 时 \({\rm ARMA}(1,\,1)\) 序列是平稳的，当 \(|\theta|<1\) 时 \({\rm ARMA}(1,\,1)\) 序列是可逆的。

\({\rm ARMA}(p,\,q)\) 模型

通常地， \({\rm ARMA}(p,\,q)\) 模型的模型设定以下：

\[y_t=\phi_1y_{t-1}+\phi_2y_{t-2}+...+\phi_py_{t-p}+\varepsilon_t+\theta_1\varepsilon_{t-1}+\theta_2\varepsilon_{t-2}+...+\theta_q\varepsilon_{t-q} \ , \]

\[\varepsilon_t\sim{\rm WN}(0,\,\sigma^2) \ . \]

滞后算子形式：

\[\Phi(\mathscr{B})y_t=\Theta(\mathscr{B})\varepsilon_t \ , \]

\[\Phi(z)=1-\phi_1z-...-\phi_pz^p \ , \]

\[\Theta(z)=1+\theta_1z+...+\theta_qz^q \ . \]

对于一个 \({\rm ARMA}(p,\,q)\) 序列：

当 \(\Phi(z)\) 的全部根都在单位圆外时，该序列是平稳的：

\[y_t=\frac{\Theta(\mathscr{B})}{\Phi(\mathscr{B})}\varepsilon_t \]

当 \(\Theta(z)\) 的全部根都在单位圆外时，该序列是可逆的。

\[\frac{\Phi(\mathscr{B})}{\Theta(\mathscr{B})}y_t=\varepsilon_t \]

此外，\({\rm ARMA}(p,\,q)\) 模型的 ACF 和 PACF 都是拖尾的，即逐渐收敛到 \(0\) 的。

那么咱们面临一个问题：如何选择 \({\rm ARMA}(p,\,q)\) 模型的滞后阶数以更好的拟合数据。

在利用回归进行参数估计时，增长滞后期数 \(p\) 或 \(q\) 能够减小残差平方和，可是增长滞后期数也会形成自由度的损失。所以咱们须要模型选择的方式。

模型的选择

在介绍完五种常见的时间序列模型以后，咱们来讨论一下若是根据样本数据的特征来选择咱们须要拟合的模型。咱们能够根据 ACF 图和 PACF 图来初步判断模型：

	\({\rm AR}(p)\)	\({\rm MA}(q)\)	\({\rm ARMA}(p,\,q)\)
ACF	拖尾	\(q\) 步截尾	拖尾
PACF	\(p\) 步截尾	拖尾	拖尾

因为 \({\rm ARMA}(p,\,q)\) 模型的 ACF、PACF 均为拖尾，所以没法经过 ACF、PACF 图像判断 \({\rm ARMA}\) 模型的阶数。在实践中，咱们还能够经过信息准则等进行判断：

简单介绍一下 \({\rm AIC}\) 信息准则：

\[{\rm AIC}(k)=\ln\hat\sigma_k^2+\frac{2k}{n} \ , \]

其中 \(\hat\sigma^2\) 为回归模型的残差平方和 \({\rm SSR}\) 。

函数的前半部分解释了模型拟合优劣性，咱们但愿选择拟合程度好的模型，即方差小的模型；增长自由参数能够提升拟合的优良性，同时可能会出现过分拟合，因而引入后半部分用来惩罚那些复杂的模型。最后选择 \({\rm AIC}\) 值最小的模型，表明拟合优良性和模型简洁程度综合最佳的模型。实际操做过程当中，咱们以 \(p\) 的估计为例：假设模型可取阶数的上限为 \(p_0\) ，那么咱们只需让 \(k\) 遍历 \(0,1,2,...,p_0\) ，选取 \({\rm AIC}\) 值的最小值点即为 \(p\) 的估计。

还有 \({\rm BIC}\)（也称为 \({\rm SIC}\)）等信息准则，不一样的信息准则会对模型的复杂性在不一样的角度和强度上进行惩罚。

\[{\rm BIC}(k)=\ln\hat\sigma_k^2+\frac{k\ln n}{n} \ . \]

弱相依时间序列

当 \(h\) 无限增大时，若是 \(y_t\) 和 \(y_{t+h}\) 是“近乎独立”的，则这个序列被称为弱相依的（weakly dependent）。注意这个概念与时间序列是否平稳无关。

在回归分析中使用弱相依序列以前不须要对它们作任何操做，能够直接使用 OLS 估计，由于这些序列的平均值知足大数定律和中心极限定理。

含时间趋势的时间序列不是平稳序列，可是它是一个弱相依的时间序列。

\[y_t=\alpha+\beta t+u_t \ , \]

\[u_t\sim {\rm i.i.d.}\ {\rm WN}(0,\,\sigma_u^2) \ . \]

\[{\rm E}(y_t)={\rm E}(\alpha+\beta t+u_t)=\alpha+\beta t \ , \]

\[\gamma_h={\rm Cov}(y_t,\,y_{t+h})={\rm Cov}(u_t,\,u_{t+h})=0 \ . \]

若是一个序列是弱相依的，并且在除掉了趋势以后是平稳的，则称其为趋势-平稳过程（trend-stationary process）。

\({\rm ARIMA}(p,\,d,\,q)\) 模型

这里咱们只简单介绍一些概念。

对于一个非平稳序列 \(\{y_t\}\) 若是通过 \(d\) 次差分以后能够变成一个平稳时间序列，即 \(y_t\sim {\rm I}(d)\) ，如何创建时间序列模型？

首先利用单位根检验找到 \(y_t\) 的单整阶数 \(d\) ，经过 \(d\) 次差分变换获得平稳时间序列 \(\{\Delta^d y_t\}\) ，对序列 \(\{\Delta^d y_t\}\) 创建 \({\rm ARMA}(p,\,q)\) 模型便可。

这样的模型称为 \({\rm ARIMA}(p,\,d,\,q)\) 模型。

归纳一下 \({\rm ARIMA}(p,\,d,\,q)\) 模型的建模通常步骤：

step.1 先肯定差分次数 \(d\) ：对序列进行 ADF 平稳性检验，若是非平稳，则对序列进行差分，并再次进行 ADF 平稳性检验，直到通过 \(d\) 次差分后变成平稳序列，此时 \(d\) 即为差分阶数。

step.2 肯定 \(p\) 和 \(q\) ，对差分后的序列创建 \({\rm ARMA}\) 模型，利用 ACF 和 PACF 图像信息是否截尾和AIC、BIC信息准则肯定最佳的参数 \(p\) 和 \(q\) 。

step.3 建模并估计参数，对回归后的残差序列进行白噪声的 \(Q\) 检验。