第九章--时间序列分析

1第九章时间序列分析2第一节时间序列基础－预测知识一线性最小二乘法（LinearLeastSquaresPrediction,LLS)假设X和Y是两个散点分布的随机变量，它们具有某种联合分布。它们的期望、方差、协方差分别是：XμxEY=μy3X–μxX–μxEY-μyY-μy=RSSQ4其中，X的期望E(X)=μx,Y的期望E(Y)=μy,X的方差E(X-μx)2=RY的方差E(Y-μy)2=QCOV(XY)=E(X-μx)(Y-μy)=S5现假设我们可以观测到X的一组值，如何预测Y呢？即如何利用X推知Y，假设只知道它们的期望、方差和协方差。我们可以利用这些已知条件求出Y的线性最小二乘估计值。6•假设这一线性形式为：•Yhat=a+b(X-μx)•我们的任务是在使平均平方误差（均方误）最小的情况下求出a和b的值。•MSE=E[Y-Yhat]2•=E[Y-a-b(x-μx)]2•=E{[(Y-μy)-(a-μy)-b(X-μx)]}27•=E(Y-μy)2+E(a-μy)2+b2E(X-μx)2•-2E(Y-μy)(a-μy)+2bE(X-μx)(a-μy)•-2bE(Y-μy)(X-μx)•=Q+(a-μy)2+b2R-2bS•分别对a和b求导，令其为零•2（a-μy）=0,所以a=μy,•2bR-2S=0,b=S/R=SR-1•所以，Yhat=μy+SR-1(X-μx)•[也可以写成：•Yhat=μy+[cov(X,Y)/var(x)]*(X-μx)•(X-μx)的系数表明我们所估计Y值受观测值X影响程度的大小，它和X的方差成反比，X、Y的协方差成正比。8•二，线性最小二乘估计的特点•1，Y的估计值和Y的期望相同。•证明：•E（Yhat）=E[μy+SR-1(X-μx)]=μy9•2,线性转换•如C是任一常数，则CY的LLS估计是CYhat.•证明：•令Z=CY•Yhat=a+b(X-μx)•根据定义：•Zhat=μz+[cov(X,Z)/var(X)]*(X-μx)10•μz=E(CY)=Cμy•Cov(X,Z)=E(X-μx)(Z-μz)•=E(X-μx)(CY-Cμy)•=CE(X-μx)(Y-μy)•=Ccov(X,Y)11•将结果代入定义：•Zhat=μz+[cov(X,Z)/var(X)]*(X-μx)•=Cμy+Ccov(X,Y)/var(X)]*(X-μx)•=C[μy+cov(X,Y)/var(X)]*(X-μx)]•=CYhat12•3，线性组合•Y1、Y2的LLS估计分别是Y1hatY2hat.则Y1+Y2的LLS估计为Y1hat+Y2hat.•证明：•已知：•Y1hat=μy1+S1R-1(X-μx)•Y2hat=μy2+S2R-1(X-μx)13•根据定义：•Zhat=μz+[cov(XZ)/var(X)](X-μx)•μz=E(Y1+Y2)=μy1+μy2,•cov(XZ)=E(X-μx)(Z-μz)•=E(X-μx)(Y1+Y2-μy1-μy2)•=E(X-μx)(Y1-μy1)+E(X-μx)(Y2-μy2)•=cov(X,Y1)+cov(X,Y2)14•Zhat=μz+[cov(XZ)/var(X)](X-μx)•=μy1+μy2+•{[cov(X,Y1)+cov(X,Y2)]/var(X)}(X-μx)•=Y1hat+Y2hat15•4,MSE(Yhat)=E(Y-Yhat)2•=E[Y-μy-SR-1(X-μx)]2•=E(Y-μy)2-2SR-1E(X-μx)(Y-μy)•+S2R-2E(X-μx)2•=Q-S2R-116第二节时间序列基本概念一，平稳性定义任何一个时间序列都可以被看作是由随机过程产生的结果。如果一个随机过程所产生的时间序列均值和方差在任何时间过程上都是常数，并且任何两个时期之间的协方差仅依赖于这两个时期的距离或滞后，而不依赖于计算这个协方差的实际时间，就称该时间序列是平稳的（Stationary)。17我们可以把上述的描述表达成下式:如果时间序列Yt具有下列性质：1，E(Yt)=μ,2,var(Yt)=σ2,3,cov(YtYt+k)=E(Yt-μ)(Yt+k-μ)=rk,18二，自协方差函数和自相关函数如果Yt的均值为0，那么rk=E(YtYt+k)被称为自协方差函数定义：ρk＝rk/r0,为自相关函数r0=E(YtYt)=var(Yt)=σ2,19三，滞后算子(Lagoperator)为了使计算简单，引入滞后算子的概念。定义LYt=Yt-1,L2Yt=Yt-2,….LsYt=Yt-s,例如Yt－1.5Yt-1＋0.6Yt-2=（1－1.5L+0.6L2)Yt,20第三节自回归模型(AR)一，AR模型的定义如果时间序列Yt可以表示为它先前的值和一个误差项的线性函数，称此模型为自回归模型(AutoregressiveModels,记做AR（p))。一般的表达式是：Yt＝φ1Yt-1+φ2Yt-2+….φpYt-p+μt,21μt为白噪声序列，它满足以下条件：1,E(μt)=0,2,E(μtμs)=σμ2t=s0t≠s3,E(μtYt-i)=0可以进一步假设误差项服从于正态分布，期望是0，方差是固定的常数σμ2。条件3表明t时刻的误差μt与Yt的过去值无关。同时为简单起见，假设E(Yt)=0,该假设一直存在，除非特别说明。22利用滞后算子，可以把AR(p)表示成：Yt＝φ1LYt+φ2L2Yt+….φpLpYt+μt,(1-φ1L-φ2L2-……-φpLp)Yt=μt,令φ（L）＝(1-φ1L-φ2L2-……-φpLp)φ（L）Yt=μt,或Yt=φ（L）－1μtAR（1)模型：Yt＝0.5Yt-1+μt，可以写成(1-0.5L)Yt=μt,或Yt=(1-0.5L)－1μtYt＝0.6Yt-1+0.4Yt-2＋μt，可以写成：(1-0.6L-0.4L2)Yt=μt，23二，AR（1）平稳的必要条件Yt＝φYt-1+μt对上式两边平方再取期望E(Yt2)=φ2E(Yt-12)+E(μt2)+2φE(Yt-1μt)=φ2E(Yt-12)+σμ2如果Yt序列是平稳的，则在任何时候的方差是相同的，所以E(Yt2)=E(Yt-12)＝σy224σy2=σμ2/（1-φ2）,因为σy2是非负的，所以σμ2/1-φ2≥0，从而就有|φ|1,因此|φ|1是AR（1）模型平稳的必要条件。25三，AR模型的自相关函数1，AR（1）的自相关函数Yt＝φYt-1+μt其自协方差函数为：r1＝cov(YtYt-1)=E(YtYt-1)=E(φYt-1+μt)Yt-1=φE(Yt-12)=φr0,r2=cov(YtYt-2)=E(YtYt-2)=E(φYt-1+μt)Yt-2=φE(Yt-1Yt-2)=φr1=φ2r0,r3=cov(YtYt-3)=E(YtYt-3)=E(φYt-1+μt)Yt-3=φE(Yt-1Yt-3)=φr2=φ3r0,26rk=φkr0,所以，根据自协方差函数，可以计算出自相关函数为：ρk＝rk/r0＝φk，如果Yt是平稳的，|φ|1，当k趋于无穷大时，φk趋于0，这种现象被称为拖尾27•平稳的一阶自回归的自相关图283，AR（2）的自相关函数Yt＝φ1Yt-1+φ2Yt-2＋μt，自协方差为：r1＝cov(YtYt-1)=E(YtYt-1)＝E(φ1Yt-1+φ2Yt-2＋μt)Yt-1=φ1r0+φ2r1,r2＝cov(YtYt-2)=E(YtYt-2)＝E(φ1Yt-1+φ2Yt-2＋μt)Yt-2=φ1r1+φ2r0,29r3＝cov(YtYt-3)=E(YtYt-3)＝E(φ1Yt-1+φ2Yt-2＋μt)Yt-3=φ1r2+φ2r1,r4＝cov(YtYt-4)=E(YtYt-4)＝E(φ1Yt-1+φ2Yt-2＋μt)Yt-4=φ1r3+φ2r2,30rk＝cov(YtYt-k)=E(YtYt-k)＝E(φ1Yt-1+φ2Yt-2＋μt)Yt-k=φ1rk-1+φ2rk-2,所以自相关函数ρk＝φ1ρk-1+φ2ρk-2,(k0)当k=1,2时ρ1＝φ1+φ2ρ1,ρ2＝φ1ρ1+φ2,ρ1＝φ1/（1-φ2）,ρ2＝φ12/（1-φ2）+φ2,31例题求AR（2):Yt＝0.6Yt-1-0.2Yt-2＋μt，自相关系数（k=0,1,2)可以按照上面推导的公式，直接计算。ρ1＝φ1/1-φ2＝0.6/1-(-0.2)=0.6/1.2=0.5ρ2＝φ12/1-φ2+φ2=0.36/1.2-0.2=0.1也可以按照定义来计算32r1＝cov(YtYt-1)=E(YtYt-1)＝E(0.6Yt-1-0.2Yt-2＋μt)Yt-1=0.6r0–0.2r1r2＝cov(YtYt-2)=E(YtYt-2)＝E(0.6Yt-1-0.2Yt-2＋μt)Yt-2=0.6r1–0.2r0ρ1＝φ1+φ2ρ1,ρ2＝φ1ρ1+φ2,所以自相关函数ρk＝φ1ρk-1+φ2ρk-2,(k0)33也可以得到相同的结果。ρ3＝0.6ρ2-0.2ρ1＝0.6*0.1-0.2*0.5＝0.06-0.1＝-0.04ρ4＝0.6ρ3-0.2ρ2，＝0.6*（-0.04）-0.2*0.1＝-0.024-0.02＝-0.04434AR(p)自协方差函数和自相关函数Yt＝φ1Yt-1+φ2Yt-2+….φpYt-p+μtr1=φ1r0+φ2r1+….φprp-1r2=φ1r1+φ2r0+….φprp-2….rk=φ1rk-1+φ2rk-2+….φprk-p35ρ1＝φ1+φ2ρ1+…+φpρρ-1ρ2＝φ1ρ1+φ2+…+φpρρ–2…ρk＝φ1ρk-1+φk-2+…+φpρk-p上述方程组被称为Yule-Walker方程。p阶的Yule-Walker方程可以用矩阵形式表达ρ11ρ1…ρρ-1φ1ρ2ρ11…ρρ–2φ2.=………ρkρρ-1ρρ–2…1φp36四，AR（p））模型的参数估计Yt＝φ1Yt-1+φ2Yt-2+….φpYt-p+μt根据样本观测值,可以利用最小二乘法估计模型,得到所有参数φ1φ2….φp的估计值。37•也可以利用Yule-Walker方程，以样本自相关函数代替总体自相关函数，也可以估计出所有的参数。rk=E(YtYt+k)为总体自协方差函数rkhat=1/nΣ(Yt-Ybar)(Yt+k-Ybar)r0=E(YtYt)=var(Yt)r0hat=1/nΣ(Yt-Ybar)2ρk＝rk/r0,为总体自相关函数ρkhat=rkhat/r0hat,38•我们以AR（1）和AR（2）为例•Yt＝φ1Yt-1+μt•φ1hat=ρ1hat=r1hat/r0hat•σμ2=r0hat-φ1r1hat•=r0hat(1-ρ1hat2)39Yt＝φ1Yt-1+φ2Yt-2+μtρ1hat=φ1hat+φ2hatρ1hatρ2hat=φ1hatρ1hat+φ2hat可以求出：φ1hat=（ρ1hat-ρ1hatρ2hat）/（1-ρ1hat2）φ2hat=（ρ2hat-ρ1hat2）/（1-ρ1hat2）σμ2=r0hat（1-φ1hatρ1hat-φ2hatρ2hat）40第四节移动平均模型一，移动平均模型（MovingAveragemodels,MA(q))定义如果时间序列Yt是现在和过去误差的线性组合，即Yt＝μt－θ1μt－1－θ2μt－2－……－θqμt-q则上式为Yt的移动平均模型，记做MA(q)41如果用滞后算子表示：Yt＝（1－θ1L-θ2L2-….θqLq)μt,=θ(L)μt,μt=θ(L)-1Yt42二，MA模型的自协方差函数和自相关函数r0＝E(Yt2)=E(μt－θ1μt－1－θ2μt－2－……－θqμt-q)2,=σμ2(1+θ12+θ22+…+θq2)rk＝E(μt－θ1μt－1－θ2μt－2－……－θqμt-q)(μt-k－θ1μt－k-1－θ2μt－k-2－……－θqμt—k-q)=σμ2(－θk+θ1θk+1+…+θq-kθq