时间序列分析讲义第13章Kalman滤波

时间序列分析方法讲义第11章Kalman滤波1第十一章Kalman滤波本章我们介绍由R.E.Kalman命名的一种十分有用的工具。其核心思想是将动态系统表示成为状态空间表示(state-spacerepresentation)。Kalman滤波是按顺序更新系统线性投影的一种算法。该算法对于计算例如时变系数回归等具有重要应用。§11.1动态系统的状态空间表示1.状态空间模型和状态空间表示假设ty是一个1n维的在时刻t可以观测的向量。很多情形下，ty可以利用一个不可观测的1r随机向量tξ表示，该向量称为状态向量(statevector)。则变量ty服从的动态过程可以利用状态空间表示为：11tttξFξv(11.1)ttttyAxHξw(11.2)这里矩阵F、A和H分别是()rr、()nk和()nr维的参数矩阵。tx是(1)k维的外生或前定变量。方程(11.1)被称为状态方程(stateequation)；方程(11.2)被称为观测方程(observationequation)。这里(1)r维误差向量tv和(1)n维误差向量tw均为向量白噪声过程：,(),ttEtQvv0(11.3),(),ttEtRww0(11.4)其中Q和R分别是rr和nn维的正定矩阵。我们继续假设状态方程误差tv和观测方程误差tw在所有时间间隔上是不相关的，即对所有的t和：()tEvw0(11.5)这里所假设的tx是(1)k维的外生或前定变量的含义是，除了包含在111,,,ttyyy中的信息以外，tx没有提高任何关于tsξ和tsw(1,2,s)的信息。例如，tx中可以包含变量ty的滞后变量，或者包含与tsξ和tsw(1,2,s)不相关的解释变量。如果假设初始状态向量1ξ是可以得到，则上述方程(11.1)—(11.5)可以典型地用来描述有限个样本观测值过程：12{,,,}Tyyy。(1)假设1ξ与tv和tw的任何实现都无关，则有：对于1,2,,tT1()tEvξ0，1()tEwξ0(11.6)状态方程(11.1)意味着tξ可以表示为：2211221ttttttξvFvFvFvFξ，2,3,,tT因此方程(11.6)意味着tv与滞后的tξ无关：()tEvξ0，1,2,,1tt(11.7)()[()]ttEEwywAxHξw0，1,2,,1tt(11.8)()tEvy0，1,2,,1tt(11.9)因此，上述方程(11.1)—(11.5)表示的模型系统是相当灵活的。我们还可以将其推广为tv与tw相关的情形。另外，各种参数矩阵(F、Q、A、H或R)可以是时间的函数。但是，为了更为清楚和简洁，我们集中考虑状态空间模型的基本形式，即方程(11.1)—(11.5)表示的时间序列分析方法讲义第11章Kalman滤波2模型系统。2.状态空间表示的例子例11.1AR(p)过程的状态空间表示考虑一个单变量的AR(p)过程：112111()()()tttptptyyyy(11.10)2,()0,ttEt这个模型可以表示成为如下状态空间形式：状态方程(rp)1211112110000010000010ppttttttptpyyyyyy(11.11)观测方程(1n)：11100ttttpyyyy(11.12)与状态空间表示的标准形式对照，相应的参数矩阵为：11ttttpyyyξ，121100001000010ppF1100ttv，200000000Qttyy，A，1tx，100H，0tw，0R上述状态方程是一个一阶向量差分方程，而观测方程是一个简单的恒等式。将自回归过程表示成为状态空间表示的主要原因是说明状态空间表示是归纳模型动态性质的一种重要表示方式和归纳方式。例11.2MA(1)过程的状态空间表示我们考虑一个一元MA(1)过程：1ttty(11.13)这个模型可以表示成为如下状态空间形式。状态方程(2r)：时间序列分析方法讲义第11章Kalman滤波311100100ttttt(11.14)观测方程(1n)：11ttty(11.15)与状态空间模型表示的符号对应有：1tttξ，0010F，110ttv，2000Q，ttyy，A，1tx，1H，0tw，0R应该注意到，一个动态模型可以具有多种状态空间表示，例如MA(1)过程还可以表示成为：状态方程(2r)：111110100tttttttt(11.16)观测方程(1n)：110tttty(11.17)显然，MA(1)过程和相应的两种状态空间表示都刻画的是同一个过程，无论是哪个表示，我们都可以获得相同的预测和似然函数值，因此我们可以选择最方便处理的形式。更一般地，一个单变量ARMA(p,q)模型可以通过定义max(,1)rpq来表示成为状态空间模型形式：112211221()()()tttrtrtttrtryyyy(11.18)此处参数限制为：0j，jp；0j，jq；考虑下述状态空间表示：状态方程(max(,1)rpq):1211110000010000010rrtttξξ(11.19)观测方程(1n)：111trtyξ(11.20)为了验证方程(11.19)和方程(11.20)与方程(11.18)表示同一个随机过程，假设jt表示向量tξ的第j个元素，因此状态方程的第二行表明：2,11tt时间序列分析方法讲义第11章Kalman滤波4状态方程的第三行表明：3,12,1,1ttt更一般地有：1,111jjttL因此状态方程的第一行意味着：11,11211()rtrttLL或者：2121,11(1)rrttLLL利用观测方程，可以得到：211211(1)rtrtyLLL对上式两端乘以滞后算子多项式212(1)rrLLL，得到：22112121(1)()(1)rrrtrtLLLyLLL显然上式就是方程(11.18)，因此可见状态空间表示与自回归移动平均过程是一致的。状态空间形式也非常适合模型化处理随机过程的和，或者描述测量误差序列。下面我们给出两个具体的例子。例13.1事前实际利率方程FamaandGibbons(1982)想研究事前(exanterealinterestrate)实际利率的行为，事前实际利率就是名义利率ti减去预期通货膨胀率et。因为经济计量学家没有从证券市场推断出的通货膨胀率数据，因此这个变量是不可观测的。因此，在这个例子中的状态变量是一个标量：ettti，这里表示平均事前实际利率。FamaandGibbons假设事前实际利率服从AR(1)过程：11tttv注意到，经济计量学家可以观测到事后实际利率(expostrealinterestrate)(名义利率ti减去实际通货膨胀率t)，它可以表示成为：()()eettttttttiiw这里()etttw是人们预测通货膨胀率时的误差。如果经济个体以最优方式形成预测，则这个预测误差()etttw应该与自身滞后值和事前实际通货膨胀率不相关。因此，上述两个方程构成了状态空间表示，其中对应的参数和变量为：1rn，F，tttyi，tAx，1H，etttw例13.2经济周期模型StockandWatson(1991)给出了状态空间模型的另一个有趣的应用。该研究假设存在一个代表经济周期状态的不可观测变量tC，一组由n个可观测的宏观经济变量构成的向量为12(,,,)ttntyyy，其中每个分量都受到经济周期阶段的影响。这些分量当中都包含着自己的奇异成分，利用it表示，该奇异成分与其他jty，ij中的变化不相关。如果经济周期和每个奇异成分都可以利用单变量AR(1)过程描述，则此时的[(1)1]n维状态向量为：时间序列分析方法讲义第11章Kalman滤波512ttttntCξ状态方程为：,111,111112,12122,11000000000000CttCtttttttntntnntvCCvvv观测方程为：11122213332100010000001ttttttntnnntyCyyy因此，系数i描述第i个时间序列对经济周期的灵敏性。为了出现p阶自回归，StockandWatson(1991)将上述方程中的周期经济周期状态和起义成分分别换为1p阶向量：11(,,,)tttpCCC，,1,1(,,,)itititp其余的系数矩阵也可以做出相应调整。§11.2卡尔曼滤波的推导1.卡尔曼滤波的概述我们考虑一般形式的状态空间模型，为了方便，我们在此重新表述一下：(1)()(1)(1)11rrrrrtttξFξv(11.21)(1)()(1)()(1)(1)nnkknrrnttttyAxHξw(11.22)(),(),rrttEtQvv0(11.23)(),(),tnntEtRww0(11.24)假设我们已经观测到12,,,Tyyy、12,,,Txxx，目的是利用这些观测值估计系统中的任意未知参数。对目前来说，我们一直假设我们确定性地知道矩阵F、Q、A、H和R的特定数值，后面我们将给出估计这些参数的具体方法和过程。卡尔曼滤波具有多种用途。这里的使用动机是将其作为一种基于时期t所获得数据来计时间序列分析方法讲义第11章Kalman滤波6算状态向量的线性最小二乘预测的算法，我们所要预测的线性函数为：1|1ˆˆ(|)ttttEξξ(11.25)这里：1111(,,,;,,,)tttttyyyxxx其中1ˆ(|)ttEξ是1tξ基于常数和t的线性投影。卡尔曼滤波就是叠带预测这些投影，按照顺序生成序列1|0ˆξ、2|1ˆξ、……、|1ˆTTξ与这些预测相关的是均方误差矩阵，可以利用下面的rr阶矩阵表示：1|11|11|ˆˆ[()()]ttttttttEPξξξξ(11.26)2.StartingtheRecursion迭代的开