时间序列分析第三章 平稳自回归移动平均过程

Posted 2021-05-02 痕风雨

一、期望、平稳性和遍历性

1、期望和随机过程

• 期望和方差
  

        假设我们观测到一组样本量为T的时间序列样本

再考虑一组有T个独立同分布（i.i.d）的随机变量εt组成的一个时间序列

其中εt服从正态分布

我们由一组确定数字组成的观测样本{yt}仅仅是随机过程{εt}的一种可能结果。事实上，即使我们观测到一个无限时间序列样本

这个样本也只能被视为随机的时间序列过程的一种实现。我们完全可以用计算机模拟得到 i 个独立的实现结果

假如我们从每个实现结果中取出第t期的观测值：

这个序列就可以视为随机变量Yt的 i 个实现组成的样本。而我们知道Yt的概率密度为

由此，我们可以计算时间序列在第t期的取值的期望(假定期望存在):

实际上，我们可以将这个期望视为Yt的无穷多个实现的均值，即可以将其视为概率极限：

注意，这里的E(Yt)是时间序列在第t期的取值的无条件均值，也就是说，从定义上看，它是时间t的函数，为了明确这一点，可以将其表示为

类似地，我们可以定义时间序列在第t期取值的方差：

• 自协方差

        给定时间序列的一个具体实现，如

从中选定一个时期t，我们可以构造出一个与t有关的向量xt，这个向量包含第t期到第t-j期的实现值，即

我们可以根据时间序列的多个实现构造出多个xt，所以Xt是实际上是一个随机向量(Yt,Yt-1,...,Yt-j)，所以Xt的概率分布为其联合分布。从而我们可以计算出Yt与Yt-j之间的协方差：

称其为自协方差是比较好理解的。自协方差γjt实际上也是随机向量Xt的方差-协方差矩阵的第(1,j+1)个元素。另外，第 j 个自协方差也可以看作一个概率极限：

2、平稳性

• 协方差平稳
  

        对于一个随机过程Yt，若不论其均值μt还是自协方差γjt都不依赖与时间t，则称该随机过程为协方差平稳或弱平稳。用数学表达，一个协方差平稳过程意味着

由定义我们可以知道，一个协方差平稳过程的自协方差只与两个观测值之间的时间间隔的长度 j 有关，而与具体的时期t无关，这意味

• 严格平稳性

        如果对于任意的值j1,j2,..,jn，由一个随机过程产生的随机向量(Yt,Yt+j1,Yt+j2,...,Yt+jn)的联合分布只取决于时期的间隔(j1,j2,..,jn),而与具体的时间t无关，则称该过程是严格平稳的。

        有严格平稳的定义，如果一个严格平稳过程的二阶矩存在，则意味着该过程是协方差平稳的。但反过来，一个协方差平稳过程并不一定是严格平稳的，因为该过程的高阶矩可能与时间t的函数。另外，一个随机过程{Yt}，如果其联合密度

对任意的j1,j2,...,jn是高斯的，那么是该过程为高斯过程。由于仅需均值和方差即可参数化一个多元高斯分布，所以一个协方差平稳的高斯过程是严格平稳的。

3、遍历性

        对于随机过程的一个实现

我们可以计算其时间平均(与前面求总体平均区别开来)：

对于一个协方差平稳过程而言，如果当T趋于无穷时，上式定义的时间平均收敛于总体平均E(Yt)，则称该协方差平稳过程是关于均值遍历的。

后面我们会证明，如果一个协方差平稳过程的自协方差满足

则{Yt}是关于均值遍历的。这意味着当 j 增大时，|γj| 会以足够快的速度趋近于零。

        类似地，对于一个协方差平稳过程，如果

对所有的 j 都成立，则称该过程是关于二阶矩遍历的。特别地，如果{Yt}是一个高斯平稳过程，则

足以保证该过程关于所有阶矩都是遍历的。

二、白噪声

        对于随机过程{εt},如果下列条件成立

则称该随机过程为白噪声过程。其中第三个条件意味着各个跨期的ε不相关。假如我们将第三个条件换成一个更强的条件：

则称该过程为独立白噪声过程。更进一步，再假设

则称该过程为高斯白噪声过程。

三、移动平均过程

1、一阶移动平均过程

        令{εt}为白噪声，则过程

则为所谓的一阶移动平均过程，记作MA(1)。其中μ和θ为任意常数。我们可以考察下该过程是否为协方差平稳。

Yt的期望：

Yt的方差：

Yt的一阶自协方差：

Yt的高阶自协方差：

{Yt}的期望及自协方差均与时间t无关，所以MA(1)过程是协方差平稳的。将其所有阶自协方差求和有：

所以{Yt}是关于均值遍历的，因此，如果{εt}是高斯白噪声过程，那么MA(1)关于所有阶矩都是遍历的。

        下面我们给出协方差平稳过程的第 j 个自相关系数(表示为ρj)的定义：

所以，MA(1)过程的一阶自相关系数为

高阶自相关系数为0。

2、q阶移动平均过程

        令{εt}为白噪声过程，则下式

即为q阶移动平均过程。其中(θ1，θ2，...，θq)为任意常数。

Yt的均值：

Yt的方差：

因为跨期的εt不相关，所以

对于j = 1,2,3,...,q：

对于 j >q，ε没有同期值，所以自协方差为0，记θ0=1，则：

        所以MA(q)过程为协方差平稳且关于均值遍历，如果{εt}为高斯白噪声，则MA(q)过程关于所有阶遍历。

3、无限阶移动平均过程

        当MA(q)过程的q趋于无穷时，则为无限阶移动平均过程：

对于有限阶移动平均过程的系数我们用θ表示，对于无限阶我们则用ψ表示。

        无限阶移动平均过程是协方差平稳的条件为

这称为平方可加，还有一个更强的条件，即绝对可加：

绝对可加包含着平方可加，反之不一定成立。

        将MA(q)过程的期望与自协方差推广，可得：

另外，如果MA(∞)的系数绝对可加，则其自协方差也绝对可加

所以，一个协方差平稳的MA(∞)是关于均值遍历的。

四、自回归过程

1、一阶自回归过程

        令{εt}为白噪声，则一阶自回归过程AR(1)为

可见其就是一个特殊的一阶差分方程，又由差分方程的分析我们知道，当  |Φ|≥1时，差分系统均不稳定，所以不可能为协方差平稳的。当|Φ|<1，则为一个协方差平稳过程，且平稳解为

这可以看作MA(∞)过程，其中

当|Φ|<1时，上式等于1/(1-|Φ|)，这就保证了MA(∞)是协方差平稳的，并且关于均值遍历。

        在|Φ|<1的前提下，将AR(1)表示为MA(∞)过程，可以方便地进行计算。

进而可得自相关系数

所以自相关系数随 j 的增长以几何级数衰减，可以看到自相关系数与动态乘子或者脉冲响应函数等同。

        将AR(1)转化为MA(∞)是计算各阶矩的一种方式，另外的一种方式为：在AR(1)为协方差平稳的前提下，有差分方程两边取矩求出。

根据协方差平稳的前提

可以解出

由解出的均值μ将差分方程改写为

或

等式两边平方并取期望：

其中

因为跨期的ε不相关，又有协方差平稳前提，所以

得到，

        如果我们在

两边同乘

取期望得到，

很明显，右边第二项为0，剩余的为自协方差:

这是一阶差分方程的特殊形式，解为

这里说明了为什么自相关系数会和动态乘子等同，因为他们都代表初始值为1且没有后续冲击的差分方程的解。

2、二阶自回归过程

        令{εt}为白噪声，则二阶自回归过程AR(2)为

采用滞后算子改写为

该差分方程稳定的条件为，方程

的根落在单位圆外。当该条件满足时，AR(2)就是协方差平稳的。由第二章，我们知道自回归算子多项式

的逆为

其中的ψj由矩阵F的 j 次幂的第(1,1)个元素给出。

        在滞后算子形式AR(2)两边同乘ψ(L)得

这是一个MA(∞)过程，其中

并且由于所以特征值的莫小于1，所以

所以AR(2)平稳时，关于均值遍历。

        在协方差平稳前提下，我们接着讨论使用两边取矩的方式求相关矩的内容。首先，对二阶差分方程

直接取矩得

由此得

解之即得均值。求二阶矩时，将差分方程改写为

进一步

上式两边同时乘以

取期望得

得到自协方差的二阶差分方程。在上式两边同时除以γ0，得

上式中，令 j = 1，可以解出

令j = 2，

要想求出所有的自协方差，我们需要知道γ0的值，在

两边同乘

并取期望得

由于

所以

带入ρ1的值可以解出

3、P阶自回归过程

        一个P阶自回归过程即为AR(P)，形式为

如果方程

的根全部落在单位圆外，则P阶自回归过程是协方差平稳的。我们知道自回归滞后算子多项式的逆为

从而有

这是MA(∞)过程，与前面类似的推理可以得到关于均值遍历的结论。

        两边取期望的得

解出

类似，将差分方程改写为

基于同样的操作可以得到

两边同除γ0，得到所谓的尤利-沃克方程

五、混合自回归移动平均过程

        一个ARMA(p,q)过程包括自回归和移动平均项：

将其用之后算子表示为

如果方程

的根全部落在单位圆外，上式两边同时除以

可以得到

其中

所以ARMA过程的平稳的完全由AR过程的系数(Φ1,...,Φp)决定，而与MA过程的参数无关。类似前面的处理方法，ARMA过程也可以改写为均值的离差形式

在上式两边同乘

并取期望，当 j >q时，有

这里注意 j <q时，上式不成立，因为存在ε与（Yt-j-μ）相关，从而使得γj有更复杂的表达式。

        ARMA过程有时存在过度参数化的问题。考虑一个简单的白噪声过程

我们在两边同时乘以(1-ρL)，得

从而变成一个ARMA(1,1)过程，并且对于任意的ρ，上式均成立，这无疑会使得我们的参数估计变得复杂。

        对于ARMA(p,q)过程，也可能产生过度参数化。将

进行因式分解

如果所有的|λi|<1，则该过程是协方差平稳。如果自回归算子与移动平均算子存在共同的根，具体来说，存在i , j，有λi=ηj，上式两边同时除以(1-λiL):

或

其中

因此，可以用两边消除公因式的方法消除参数过度化。

六、自协方差生成函数

        前面我们已经将三种时间序列过程{Yt}的自协方差序列进行计算，接下来介绍概括自协方差序列的自协方差生成函数：

其中自变量z为复数。我们通常比较关心落在单位圆上的z值

其中，i为虚数单位，ω为z与x轴所成的弧度角。自协方差生成函数在此处取值再除以2π，就转化成了ω的函数

这称作Y的总体谱(第六章介绍)。

        我们先来考察MA(1)过程的自协方差生成函数

或

上式可以推广到MA(∞)的情形。对于下式

其中

则有

由于协方差平稳的AR过程可以转化为MA(∞)过程，不再赘述。对于ARMA(p,q)过程，其也可以转化为

的形式，自协方差生成函数为

 

七、滤子

        所谓滤子，就是对原始数据进行处理的方式。滤子会对自协方差产生一定的影响。下面假设原始数据Yt由MA(1)过程生成

但是我们并不会直接使用Yt，而言对Yt进行一定的处理，如下式

其中(1-L)就是对原始数据Yt施加的滤子。下面我们将Yt带入得

其中θ1=θ-1，θ2=-θ。利用上一节的结论可知Xt的自协方差生成函数为

如果我们保持因式分解形式

则自协方差生成函数可以写为

可以看出将滤子(1-L)作用于Yt产生的新的时间序列Xt的自协方差生成函数就是Yt的自协方差生成函数乘以

这个原理可以进行推广。假定原始数据序列{Yt}由下式生成

其中

令原始数据按下式过滤

其中

将Yt带入

这里可以证明序列

绝对可加，Xt协方差平稳，其自协方差生成函数为

七、可逆性

        下面以MA(1)过程的简单地介绍以下可逆性。

        给定下面的MA(1)过程，

其中

如果|θ|<1，则可将上式两边同乘

得到

这是一个AR(∞)的表达式。如果一个移动平均过程能通过移动平均算子的逆改写为AR(∞)的形式，则成该移动平均过程是可逆的。

        接下来我们讨论下可逆性在一阶矩和二阶矩中的含义。对于上面给出的MA(1)过程，其均值为μ，自协方差生成函数为

下面我们给出另一个略显不同的MA(1)过程

其中，

可看出其均值也为μ，自协方差生成函数为

假如我们让两个MA(1)过程的系数具有以下关系

在这样的关系约束下，如果|θ|<1,则意味着对于任意一个可逆的MA(1)过程，存在一个与其具有相同一阶矩与二阶矩的不可逆的MA(1)过程，将这个论述反过来也是成立的。当然，在|θ|=1的情况下，只有一种不可逆的表示。