时间序列分析方法第5章最大似然估计

时间序列分析方法讲义第5章最大似然估计1第五章最大似然估计在本章当中我们开始讨论时间序列模型的参数估计方法，极大似然估计是其中一种最为常用的参数估计方法。§5.1引言5.1.1ARMA模型的极大似然估计假设数据生成过程是一个),(qpARMA过程：qtqttptptttYYYcY112211其中t是白噪声序列，满足：tstsEts,0,)(2我们将要讨论如何利用tY的观测值来估计参数：),,,,,,,,,(22121qpcθ，采用的方法是极大似然估计方法。假设获得了T个样本),,,(21Tyyy，如果能够计算出相应的联合概率密度函数：);,,,(21),,(1θTYYyyyfT上述函数可以识为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。为此，我们假设噪声序列是高斯白噪声序列，具体求解极大似然估计的步骤是：一是先求出似然函数，二是求似然函数的最大值。§5.2高斯)1(AR过程的似然函数假设数据生成过程是一个具有高斯白噪声序列的)1(AR过程：tttYcY11(1)求上述过程似然函数的过程是利用条件概率密度，所以需要先求出1Y的概率密度。它的均值和方差为：11cEY，22211)(YE由于它具有正态分析，因此对应的密度函数为：)1/(2)]}1/([{exp)1/(21),,;();(22212221111cycyfyfYYθ(2)在给定11yY的条件下，2Y的条件概率分布可以得到：)),((~|21112ycNyYY对应的概率密度函数为：2212212|2)(exp21);|(12ycyyyfYYθ(3)类似地，在给定前两个观测值的条件，3Y的条件概率密度函数为：22232123,|2)(exp21);,|(213ycyyyyfYYYθ(4)最后一个样本的条件概率分布为：2212121,,,|2)(exp21);,,,|(1213TTTTYYYYycyyyyyfTθ(5)根据无条件密度函数与条件密度函数之间的关系，可以得到：时间序列分析方法讲义第5章最大似然估计2TtttYYYTTYYYyyfyfyyyyfttTT21|1121,,,);|();();,,,,(1111θθθ经常对上述函数取对数，得到对数似然函数：)];|([log);(log)(1|2111θθθttYYTtYyyfyfttL(6)将具体的密度函数代入上式，可以得到)1(AR过程的似然函数为：TtttycyTTcy222122221222)(log]2/)1[()2log(]2/)1[()1/(2)]}1/([{)]1/(log[21)2log(21)(θL可以将上述似然函数表示为更为紧凑的向量和矩阵形式。令均值向量和自协方差为μ和Ω，则：VΩ2，111111321322122TTTTTTV这样一来，所观测到的样本可以当作多元正态母体)(Ωμ,N的一个简单抽样，具有的联合概率密度函数为：μ)(yΩ)μ(yΩθ);(y1Y21exp||)2(2/112/Tf理论上可以对上述极大似然函数求导数，然后获得参数估计。但是，一般情况下的导数方程是非线性方程，难以获得精确的最大值估计。一种近似的方法是假设第一个观测值是确定性的，然后求解给定1Y时的条件似然函数值，这时的目标函数是：TtttTYYYycyTTyyyfT2221212|,,2)(log]2/)1[()2log(]2/)1[();|,,(log12θ上式最大值相当于求下式的最小值：Ttttycy221)(上式的最小值就是线性回归的最小二乘估计，满足方程：TtttTttTttTttTttyyyyyyTc212122121211ˆˆ类似地，噪声的方差为：TtttycyT2212)ˆˆ(11ˆ当样本容量足够大时，上述近似极大似然估计具有与精确估计一样的极限分布。§5.2高斯)1(AR过程的似然函数对于一般的高阶自回归过程：tptptttYYYcY2211，),0(..~2Ndiit时间序列分析方法讲义第5章最大似然估计3此时所要估计的总体参数向量是：),,,,,(221pcθ。