时间序列分析方法 第04章 预测

时间序列分析方法讲义第4章预测1第四章预测在本章当中我们讨论预测的一般概念和方法，然后分析利用),(qpARMA模型进行预测的问题。§4.1预期原理利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。4.1.1基于条件预期的预测假设我们可以观察到一组随机变量tX的样本值，然后利用这些数据预测随机变量1tY的值。特别地，一个最为简单的情形就是利用tY的前m个样本值预测1tY，此时tX可以描述为：},,,{11mttttYYYX假设*|1ttY表示根据tX对于1tY做出的预测。那么如何度量预测效果呢？通常情况下，我们利用损失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)：2*|11*|1)()(tttttYYEYMSE定理4.1使得预测均方误差达到最小的预测是给定tX时，对1tY的条件数学期望，即：)|(1*|1ttttXYEY证明：假设基于tX对1tY的任意预测值为：)(*|1tttXgY则此预测的均方误差为：21*|1)]([)(ttttXgYEYMSE对上式均方误差进行分解，可以得到：)]}()|()][|({[2)]()|([)]|([)]}()|([)]|({[)(111212112111*|1ttttttttttttttttttttXgXYEXYEYEXgXYEXYEYEXgXYEXYEYEYMSE其中交叉项的数学期望为(利用数学期望的叠代法则)：0)]}()|()][|({[111ttttttXgXYEXYEYE因此均方误差为：21211*|1)]()|([)]|([)(ttttttttXgXYEXYEYEYMSE为了使得均方误差达到最小，则有：)|()(1tttXYEXg此时最优预测的均方误差为：211*|1)]|([)(tttttXYEYEYMSEEnd我们以后经常使用条件数学期望作为随机变量的预测值。4.1.2基于线性投影的预测由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测：tttXY*|1如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。时间序列分析方法讲义第4章预测2定义4.1如果我们可以求出一个系数向量值，使得预测误差)(1ttXY与tX不相关：0])[(1tttXXYE则称预测tX为1tY基于tX的线性投影。定理4.2在所有线性预测当中，线性投影预测具有最小的均方误差。证明：假设tXg是任意一个线性预测，则对应的均方误差可以分解为：)])([(2)()(][][12212121ttttttttttttttXgXXYEXgXEXYEXgXXYEXgYEMSE由于tX是线性投影，则有：0)]()[()])([(11gXXYEXgXXYEttttttt因此均方误差为：221)()(ttttXgXEXYEMSE为了使得均方误差达到最小，线性预测满足：ttXXg这是一个线性投影。End我们将线性投影预测表示为：tttXXYP)|(ˆ1或者简化为：tttXY|1ˆ显然线性投影的预测误差仍然不小于条件期望预测，因此有：)]|([)]|(ˆ[11ttttXYEMSEXYPMSE当条件中包含常数的时候，此时线性投影当中就含有常数，为此使用Eˆ表示含有常数项的线性投影预测，即：),1|(ˆ)|(ˆ11ttttXYPXYE4.1.3线性投影的性质根据线性投影的定义，我们可以求出投影的系数向量：)()(1ttttXXEXYE如果)(ttXXE是可逆的，则有：11)]()[(ttttXXEXYE命题4.1线性预测满足下述性质：(1)最优线性预测的均方误差为：)()]()[()(11121tttttttYXEXXEXYEYEMSE(2)线性投影满足线性平移性质：bXYPaXbaYPtttt)|(ˆ)|(ˆ11证明：(1)根据投影向量的表达式，可以得到：)()]([)]()[()()]()[(2)()(1111112121tttttttttttttttttYXEXXEXXEXYEYXEXXEXYEYEXYEMSE时间序列分析方法讲义第4章预测3化简就可以得到命题表达式。(2)需要证明bXYPatt)|(ˆ1是baYt1的线性投影。显然，它是线性函数，其次，可以证明它满足正交性质。End4.1.4线性投影和普通最小二乘回归线性投影与最小二乘估计紧密相关，这两种概念之间存在联系。例如，将1ty基于tx建立线性回归方程，得到：tttxy1对于给定1ty和tx的T个样本，样本残差平方和定义为：Ttttxy121)(使得残差平方和达到最小的系数最小二乘估计为：TtttTtttyxxxb1111)][)][如果过程是协方差平稳过程且关于二阶矩是遍历的，则有：)(11ttPTtttXXEXXT)(1111ttPTtttYXEYXT因此上述OLS估计按概率收敛到线性投影系数：Pb4.1.5向量预测上述结果可以推广到利用1m维向量tX预测1n维向量1tY，记为：tttttYXXYP|11ˆ)|(ˆ其中为投影系数的一个mn阶矩阵，满足正交条件：0])[(1tttXXYE上式说明预测误差)ˆ(|11tttYY的每一个分量与条件变量tX的每一个分量都无关。命题4.2假设ttY|1ˆ是1tY的最小均方误差线性预测，则对任意1tY的线性组合11ttYhz，它的最小均方误差线性预测为：ttttYhz|1|1ˆˆ证明：只需证明是线性投影即可，这时需要验证相应的正交性。End类似地，投影矩阵为：11)]()[(ttttXXEXYE与此对应的均方误差矩阵为：)()]()[()(}]][{[1111111ttttttttttttYXEXXEXYEYYEXYXYEMSE§4.2基于无限个观测值的预测无论是条件期望预测还是正交线性预测，都是基于有限个条件变量的，下面我们分析基于无限个观测值情形下的预测。时间序列分析方法讲义第4章预测44.2.1基于滞后误差的预测考察一个无限阶移动平均过程)(MA：ttLY)(，2210)(LLL，0||jj假设已经知道过去所有时间阶段的残差观测值},,,{21ttt，也知道模型中各种参数的值。现在我们要预测s个阶段以后的stY，根据模型它应该是：112211tstsststststY对此最优线性预测形式为：22111],,|[ˆtstststtstYE这个预测值的对应误差为：1122111],,|[ˆtsstststttststYEY这个预测值的均方误差为：221222121)1(]},,|[ˆ{sttststYEYE例4.1试求)(qMA过程的最优线性预测。解：)(qMA过程为：()ttYL，2012()qqLLLL则它的最优线性预测为：,2,1,,,2,1,],,|[ˆ111qqsqsYEsqtqtststtst对应的均方误差为：,2,1,)1(,,3,2,)1(1,22222122122212qqsqssMSEqs上述预测具有清楚的含义，在时间间隔q以后，使用过程的均值进行预测，而方差是过程的无条件方差。4.2.2基于滞后Y的预测一般情况下，我们仅仅可以观察到Y的值，为此假设移动平均过程具有可逆表示：ttYL))((其中：2210)(LLL，10，0||jj假设上述AR过程与MA过程之间滞后算子多项式的关系：1)]([)(LL1.协方差平稳的)(pAR过程为：ttppYLLL))(1(221表示成为算子多项式形式：ttYL))((满足：)()(LL，1)]([)(LL时间序列分析方法讲义第4章预测52.一个)(qMA过程可以表示成为：tqqtLLLY)1(221也可以表示成为算子多项式形式：ttLY)(在可逆性假设条件下，则有：)()(LL，1)]([)(LL如果给出了观测值},,{1ttYY，可以在模型当中构造出残差序列},,{1tt，例如在)1(AR过程当中：ttYL))(1(对于给定系数和},,{1ttYY，由上式可以计算出：)()(1tttYY在可逆的)1(MA过程当中，可以得到：)()()()()1(2211tttttYYYYL最后，可以得到给定},,{1ttYY条件下的预测公式为：))(()(],,|[ˆ1tsttstYLLLYYYE或者：)()(1)(],,|[ˆ1tsttstYLLLYYYE上述公式也被称为Wiener-Kolmogorov预测公式。上述公式当中的算子是截断形式的算子表达式，算子表达式中将滞后算子的负指数项省略。4.2.3预测一个)1(AR过程对于一个平稳的)1(AR过程，可以将算子多项式表示成为：3322111)(LLLLLLLLLLsssss1)(221利用上述公式，可以得到s阶段后的最优线性预测为：)())(1(1],,|[ˆ1tststtstYYLLYYYE上述预测公式说明，随着预测阶段的增加，预测值将趋于长期均值。对应的预测误差为：2)1(242]1[sMSE随着预测阶段的增加，预测误差也趋于无条件方差)1/(22。4.2.4预测一个)(pAR过程对于一个平稳的)(pAR过程，可以利用Wiener-Kolmogorov预测公式进行预测。该公式的主要特点在于：它可以利用过去的过程观测值和未来的残差值表示预测值，然后未来的残差值利用期望去掉。时间序列分析方法讲义第4章预测61122111)(11)(12)(11)()()(tsstststptsptstsstYfYfYfY其中)(tjif表示矩阵tF中第i行、第j列元素，矩阵F为：0001000000100011321ppF这时s阶段的最优预测为：)()()(ˆ1)(11)(12)(11|ptsptstststYfYfYfY显然上述预测是均值基础上加上观测值的一个线性组合，是观测值的线性函数。相应的预测误差为：112211|ˆtsstststtststYY下面我们给出具体的预测推导过程：(1)进行1个时期的预测，它满足：)()()(ˆ112