时间序列分析方法最大似然估计

1/12第五章最大似然估计在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。§5.1引言5.1.1ARMA模型的极大似然估计假设数据的真实生成过程是一个),(qpARMA过程，则该过程的数据生成机制为：qtqttptptttYYYcY112211其中t是白噪声序列，满足：tstsEts,0,)(2我们将要讨论如何利用tY的观测值来估计母体参数：),,,,,,,,,(22121qpcθ我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。假设获得了T个样本),,,(21Tyyy，如果能够计算出相应的联合概率密度函数：文档收集自网络，仅用于个人学习);,,,(21),,(1θTYYyyyfT上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。文档收集自网络，仅用于个人学习为此，我们假设噪声序列是高斯白噪声序列，即),0(...~2Ndiit虽然这个假设非常强，但是在这样假设下得到的参数估计θˆ，对于非Gauss过程来说也是很有意义的。具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。文档收集自网络，仅用于个人学习§5.2高斯)1(AR过程的似然函数假设数据生成过程是一个具有高斯白噪声序列的)1(AR过程：tttYcY11这时对应的参数向量为：),,(2cθ。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。(1)求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出1Y的概率密度。它的均值和方差为：文档收集自网络，仅用于个人学习11cEY，22211)(YE由于它具有正态分析，因此对应的密度函数为：2/12)1/(2)]}1/([{exp)1/(21),,;();(22212221111cycyfyfYYθ(2)在给定11yY的条件下，2Y的条件概率分布可以得到：)),((~|21112ycNyYY对应的概率密度函数为：2212212|2)(exp21);|(12ycyyyfYYθ(3)类似地，在给定前两个观测值的条件，3Y的条件概率密度函数为：22232123,|2)(exp21);,|(213ycyyyyfYYYθ注意到上述条件概率分布中只依赖一阶滞后的条件观测值。(4)最后一个样本的条件概率分布为：2212121,,,|2)(exp21);,,,|(1213TTTTYYYYycyyyyyfTθ注意到上述条件概率分布中也只依赖一阶滞后的条件观测值。(5)根据无条件密度函数与条件密度函数之间的关系，可以得到：TtttYYYTTYYYyyfyfyyyyfttTT21|1121,,,);|();();,,,,(1111θθθ经常对上述函数取对数，得到对数似然函数：)];|([log);(log)(1|2111θθθttYYTtYyyfyfttL(6)将具体的密度函数代入上式，可以得到)1(AR过程的似然函数为：TtttycyTTcy222122221222)(log]2/)1[()2log(]2/)1[()1/(2)]}1/([{)]1/(log[21)2log(21)(θL可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为μ和Ω，注意到过程之间具有的自协方差函数表达形式，则有：文档收集自网络，仅用于个人学习VΩ2，111111321322122TTTTTTV这样一来，所观测到的样本可以当作多元正态母体)(Ωμ,N的一个简单抽样，具有的联合概率密度函数为：μ)(yΩ)μ(yΩθ);(y1Y21exp||)2(2/112/Tf理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定1Y时的条件似然函数值，这时的目标函数是：文档收集自网络，仅用于个人学习3/12TtttTYYYycyTTyyyfT2221212|,,2)(log]2/)1[()2log(]2/)1[();|,,(log12θ上式最大值相当于求下式的最小值：Ttttycy221)(上式的最小值就是线性回归的最小二乘估计，满足方程：TtttTttTttTttTttyyyyyyTc212122121211ˆˆ类似地，噪声的方差为：TtttycyT2212)ˆˆ(11ˆ当样本容量足够大时，可以证明上述近似或者条件极大似然估计具有与精确极大似然估计一致的极限分布。§5.3高斯)(pAR过程的似然函数对于一般的高阶自回归过程：tptptttYYYcY2211，),0(..~2Ndiit此时所要估计的总体参数向量是：),,,,,(221pcθ。(1)似然函数的估值EvaluatingtheLikelihoodFunction假设我们获得了T个来自)(pAR过程的样本，假设前p个样本表示为),,,(21ppyyyy可以将这个向量当作p维Gauss变量的一个样本。这个向量的均值表示为pμ，它的每个分量都是：)1/(1pc假设pV2是),,(1pYY的协方差矩阵，则有：22122212121212)()])([()])([()])([()()])([()])([()])([()(ppppppYEYYEYYEYYEYEYYEYYEYYEYEV对于一阶自回归过程而言(1p)，上述矩阵是一个标量，)1/(12pV；对于p阶自回归而言：03213012210112102pppppppV这里j是)(pAR过程的第j个自协方差，可以按照以前的介绍公式计算。4/12由于自回归过程的条件相依性具有截断性质，因此我们将样本分为p个一组，样本中前p个观测值的联合概率分布为),(2ppNVμ，密度为：文档收集自网络，仅用于个人学习)μ(yV)μ(yV)μ(yV)μ(yVθ);(pppppppppppppppppYYYYYYfpp122/112/22/122/1122/11,,,21exp||)()2(21exp||)2(,,,11对于样本中剩余的观测值),,,(21Tppyyy，我们可以使用推断误差分解(predictionerrordecomposition)，将前1t个观测值作为条件，则第t个观测值的条件分布为Gauss分布，且均值和方差分别为：文档收集自网络，仅用于个人学习ptpttyyyc2211，2只有p个最近的观测值与这个分布有关，因此，对于pt，则有：222112221,,,|121,,,|21exp21,,,|,,,|1121)(θ);(θ);(ptptttpttttYYYYtttYYYYyyycyyyyyfyyyyfptpptttt因此，整个样本的似然函数为：TptpttttYYYYpppYYYTTTYYYyyyyyyyyfyyyyfptpttppTT121,,,|121,,,121,,,,,,|,,,,,,,,1211111θ);(θ);(θ);(则对数似然函数形式为：TptptptttppppppTptptptttpppppptttYYYYyyycyTTyyycypTpTppyyyyfLptt12222111212122221121212121,,,|2)()(21||log21)log(2)2log(22)log(2)2log(2)()(21||log21)log(2)2log(2,,,|log)(1121)(μyVμyV)(μyVμyVθ);(θ为了获得上述似然函数值，我们需要获得逆矩阵1pV，为此我们有下述命题：命题5.1利用)(pvij表示矩阵1pV的第),(ji位置的元素，则对任意pji1，有：jipjpkijkkikijkkijpv110)(这里10。证明：略。End文档收集自网络，仅用于个人学习因为1pV是对角矩阵，因此也可以得到ji时的元素)(pvij。例如，对)1(AR过程而言，1pV是一个标量，取1pji，得到：5/12)1()()1(2212011001111kkkkkkvV因此有：22121V因此命题5.1确实可以重新得到)1(AR过程的方差表达式。对于2p的情形，利用命题5.1可以得到：2221121122121)()(1V可以计算行列式值为：])1[()1(11)1(||2122222112212V并且有：}))(1()()(2))(1{()1()()(11)1]()(),[()()(2222112122212112221221222yyyyyyyyμyVμy因此，对于Gauss条件下的)2(AR过程，确切的似然函数为：TttttyycyyyyyTTL32222112222112122221222222}))(1()()(2))(1{(21]})1[()1log{(21)log(2)2log(2)()(θ这里：)1/(21c(2)条件极大似然估计ConditionalMaximumLikelihoodEstimates文档收集自网络，仅用于个人学习由于目标函数形式比较复杂，因此对)(pAR过程的确切极大化必须使用数值算法。与此对应，以前p个样本为条件的对数似然函数具有下述简单形式：文档收集自网络，仅用于个人学习TptptpttttppTTYYYYYYyyycypTpTyyyyyyfptpTT122221121211,,,|,,,2)log(2)2log(2,,,|,,,log12111)(θ);(注意到，极大化上式的参数),,,,(21pc与极小化下式的参数选择是一致的：Tptptptttyyycy1222