时间序列分析讲义

时间序列分析第二章时间序列分析第二节时间序列模型一、线性时间序列模型的分类1.自回归（AR）过程AR(1)过程tutXtX110，),0(~2WNtu,Zt。(i)当且仅当11时因果，此时有唯一传递形式01110jjtujtX。(ii)当11时平稳而不因果，有唯一形式11110jjtujtX。(iii)当11时必定不平稳，称为随机游走。特别当还有00时，称为带漂移的随机游走。由于有0)0()1100()(tXEutututXEtXE，2]2)11[()(tututuEtXVar。由于方差不为常数，所以序列不平稳。(iv)当11时必定不平稳。实际上，)0()12221220()2(XEuutututuXEtXE，22]2)1222122[()2(tuutututuEtXVar；)0(0)12221200()12(XEuututuXEtXE，2)12(]2)122212[()12(tuututuEtXVar。不论t是奇数还是偶数，都有2)(ttXVar。由于方差不为常数，所以序列不平稳。补充命题一元p次方程011)(pxpxx（其中0p）的p个（复）根都在单位圆1||z以外的（1）必要条件是11pjj且1||p。（2）一个充分条件是11||pjj。（3）特别当0,01,,1pp时，充分必要条件是11pjj。二、平稳时间序列的自相关及偏自相关函数1．自相关函数(ACF)补充定理*定义在整数集Z上的实值偶函数Zkk,是一个实值平稳序列ZttX,的自协方差函数，即ZkktXtXk),,cov(（与t无关），当且仅当它是非负定的，即对任何1n，任何Rnaa,,1，任何Zntt,,1有01,njijajtitia（二次型非负定）。（5）样本自相关函数（SACF）与相关图给定时间序列TXXX,,2,1，我们定义样本自协方差函数（SACVF）和样本自相关函数（SACF）。SACVF:.1,),1(ˆ,1,,1,01))((1ˆTkkTkkTtXktXXtXTk。以样本方差TtXtXT12)(10ˆ作为序列的理论方差)(0tXVar的估计。它与前面定义的样本（修正）方差TtXtXT12)(112ˆ稍有不同。SACF:.1,),1(ˆ,1,,1,012)(1))((0ˆˆˆTkkTkTtXtXkTtXktXXtXkk，其中TttXTX11为样本均值。相关图：SACF1,,1,0,ˆTkk的作图称为相关图。补充命题（1）以上定义的SACVF和SACF都是非负定的，即各阶样本自协方差阵非负定，对Tk,,2,1013ˆ2ˆ1ˆ3ˆ11ˆ2ˆ2ˆ1ˆ11ˆ1ˆ2ˆ1ˆ1ˆkkkkkkk；各阶样本自相关阵非负定，对Tk,,2,1013ˆ2ˆ1ˆ3ˆ11ˆ2ˆ2ˆ1ˆ11ˆ1ˆ2ˆ1ˆ1ˆ)0(ˆ1ˆkkkkkkkkR。（2）当样本方差012)(10ˆTtXtXT时（也就是TXXX,,2,1不全相等时），以上各阶样本自协方差阵kˆ和样本相关阵kRˆ，Tk,,2,1，都是对称正定的。SACF是对理论ACF的估计，所以SACF的行为应该像ACF的行为。例如，MA(q)过程的ACF在q步后截尾。因此其SACF看起来也应有这一特征。后面将看到这是我们识别MA(q)过程的重要依据。2．偏自相关函数(PACF)（1）偏自相关函数的定义设ZttY,是均值为的平稳时间序列，有自协方差函数Zkk,。现在考虑用常数项和ktYtYtY,,2,1（1k）对tY作线性最小均方误差预报，即最小化均方误差kjkjkkjjtYtYEkjkkjijtYitYEkjkiktYEkjjtYkjktYEktYkktYkktYEk1021)(2021,)(20)2(2102110。（*1）根据多元函数的极值理论，解线性正规方程组kjkkijtYtYEjtYitYEkikjkkjkjkkk,,10021)(2)(20122020从第一式中得到kjkjk110（*2）带入第二式中得到kjjtYtYEkijtYitYEki,,1,2)(1]2)([即（因为jiitYjtYij),cov(）kjjkiijki,,1,1。两端除以0得kjjkiijki,,1,1或写成矩阵形式kkkkkkkkkkkkkkkkkkR3213211321311221111211321（*3）这就是Yuler-Walker方程组，其中的kjijikR,1为k阶相关阵。补充命题1当自协方差函数Zkk,满足00且0lim||kk时，相关阵kjijikR,1对任何1k都是对称正定的。此时关于未知向量Tkkk),,1(的Yuler-Walker方程组有唯一解。特别地，MA(q)过程、因果的AR(p)过程、因果的ARMA(p,q)过程都满足命题1中ACVF衰减向零的条件。偏自相关函数的第一种定义满足Yuler-Walker方程组的最后一个系数kkk:称为ZttY,在滞后k（1k）处的偏自相关系数。函数}1,:{kkkk称为ZttY,的偏自相关函数（PACF）。为了给出更体现PACF的含义的它的第二种定义，我们同样考虑用常数项和ktYtYtY,,2,1（1k）对1ktY作向后的线性最小均方误差“预报”，即最小化均方误差2110121101kjjktYkjkktYEtYkkktYkkktYEk。（*4）令kjkjk,,1,0,0，同样可导出（*2）和Yuler-Walker方程组（*3）式，当然解出相同的解Tkkkk),,1,0(。（*5）但是，注意对1ktY与对tY预报的系数正好次序颠倒，在（*1）中ktY距tY时间上最远，在（*4）中1tY距1ktY时间上最远。回忆两个随机变量X和Y的相关系数定义为)()(),cov(),(YVarXVarYXYXcorr。偏自相关函数的第二种定义对于（*2）和（*3）的解系数（*5）式，记用常数项和ktYtYtY,,2,1（1k）对tY和1ktY分别作的线性最小均方误差预报分别为kjjtYkjktY10ˆ，kjjktYkjkktY1101ˆ。称相关系数11,1)1ˆ1,ˆ(kkkktYktYtYtYcorr为ZttY,在滞后1k处的偏自相关系数。（注意tY与1ktY时间间隔为1k）。如想要在滞后k处的偏自相关系数，则要用时间上介于中间的1,,2,1ktYtYtY（2k）以及常数项对tY和ktY分别作线性最小均方误差预报，记为tYˆ和ktYˆ，那么kkkktYktYtYtYcorr,)ˆ,ˆ(。补充命题2以上两种定义中的在滞后k（2k）处的偏自相关系数相等。而在ZttY,在滞后1k处的偏自相关系数11,1等于在滞后1k处的自相关系数1。补充命题3设平稳序列ZttY,的自相关函数为}0,{kk。则它的偏自相关函数}1,:{kkkk可以通过以下Durbin-Levinson递推算法计算：111,1，且记)(0:0tYVar，)211(0:1，11,1111,1kjjjkkjjkjkkkkk，,4,3,2k预报的均方误差）()1()ˆ(21211kkkkkkYYE。其中1ˆkY为用常数项和kYYY,,2,1对1kY作的线性最小均方误差预报。注意：以上递推公式使用时，是对每个k计算完三个等式后，在进入到1k。（2）AR(p)过程的偏自相关函数1,11,11,11,11,1kkkkkkkkkkk补充定理4设ZttY,是平稳时间序列。则ZttY,是因果平稳的AR(p)过程当且仅当它的偏自相关函数}1,:{kkkk在滞后p以后截尾，即0k对任何pk。证明*只证方向，即因果平稳的AR(p)过程的PACF在滞后p以后截尾。（相反方向的证明比较困难，此处从略）。考虑因果平稳的AR(p)模型)2,0(~,110WNtutuptXptXtX将此式带入用常数项和ktXtXtX,,2,1对tX作线性最小均方误差预报的均报误差中，当pk时有2211)(00022110011002)2(21010kpjjtXkjpjjtXkjjkEkjjtXkjpjjtXjkEkjjtXkjpjjtXjktuEtuEkjjtXkjktupjjtXjEk，其中中间项为零是因为白噪声性质以及由因果性和传递形式有对任何1j，00lljtultuEjtXtuE。因此要使得2mink，只要取（注意单下标的j是固定不变的，双下标的kj是需选择的）00k，时没有）（当pkkjppjkjj101。所以，当pk时，pppp，而当pk时，0kkk。□可见偏自相关函数的截尾性完全刻画了因果平稳的自回归过程。（3）MA(q)过程和ARMA(p,q)过程的偏自相关函数例2.3我们首先考虑MA(1)过程的PACF。设)2,0(~,1WNtututuctX。我们前面已经得到它的ACF为2||011012110kkkkk。我们用Durbin-Levinson算法来计算它的PACF。对1k，2111111,1。对2k，61212141212111111121)1()(1122,2