第四章--极大似然估计

第四章极大似然估计第一节引言考虑ARMA模型：112211.......tttptpttqtqYcYYYφφφεθεθε−−−−−=++++++++（1）其中()20,tWNεσ∼。前面我们假定知道总体参数()211,,...,,,...,,pqcφφθθσ，此时利用过程（1）进行预测。本章我们要研究在仅能观测到Y的情况下，如何估计()211,,...,,,...,,pqcφφθθσ。估计方法为极大似然估计。令()211,,...,,,...,,pqcφφθθσ=θ表示总体参数向量。假定我们观察到一个样本量为T的样本()12,,...,Tyyy。计算所实现样本的联合概率密度函数：()11,,...,11,,...,TTYYYTTfyyyθ−−（2）这可以看作是观察到样本发生的概率。使得“概率”最大的θ值就是最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设定白噪声的分布。如果tε是高斯白噪声，则得到的函数为高斯似然函数。极大似然估计的步骤：1）计算似然函数（2）。2）利用求极大值方法求使得函数值最大的θ值。第2节高斯()1AR过程的似然函数一．计算高斯()1AR过程似然函数高斯()1AR过程的表达式为1tttYcYφε−=++（3）其中()20,tiidNεσ∼。总体参数向量为()2,,cθφσ=。观察值1Y的均值和方差分别为()()1/1EYcµφ==−和()()221/1EYµσφ−=−。因为()20,tiidNεσ∼，因此1Y也是高斯分布。其概率密度函数为()()()(){}()112121122/11;;,,exp2/12/1YYycfyfycφθφσσφπσφ⎡⎤−−−⎡⎤⎣⎦⎢⎥==⎢⎥−−⎢⎥⎣⎦（4）对于第二个观察值在观察到11Yy=条件下的分布。根据（3），212YcYφε=++（5）此时()()()22111,YYyNcyφσ=+∼，其概率密度函数为()()2122121221;exp22YYycyfyyφθσπσ⎡⎤−−−=⎢⎥⎢⎥⎣⎦（6）此时观察值1Y和2Y的联合密度函数就是（4）和（6）的乘积：()()()21121,21211,;;;YYYYYfyyfyyfyθθθ=（7）同样()()()32132123232132,221,;;exp22YYYYYycyfyyyfyyφθθσπσ⎡⎤−−−==⎢⎥⎢⎥⎣⎦（8）()()()3,2121321,321321,21,,,;,;,;YYYYYYYYfyyyfyyyfyyθθθ=（9）一般情况下，()()()111111,...,2122,...,;;1exp22ttttttttYYYYYttfyyyfyyycyθθφσπσ−−−−−=⎡⎤−−−=⎢⎥⎢⎥⎣⎦（10）则前t个观察值的联合密度为()()(),11111,....,111,...,11,,...,;;,....,;tttttYYYttttYYtYYfyyyfyyfyyθθθ−−−−−−=（11）则完全样本似然函数为()()(),1111,....,11112,,...,;;;TTttTYYYTTYttYYtfyyyfyfyyθθθ−−−−==∏（12）进行对数变换，得到对数似然函数()Lθ：()()()()11112ln;ln;ttTYttYYtLfyfyyθθθ−−=⎡⎤=+⎣⎦∑（13）将（4）和（10）代入（13），得到()()()(){}21222221222111ln2ln2221111ln2ln222TtttcyLycyTTφσθπσφφφπσσ−=⎧⎫−⎨⎬⎛⎞−⎩⎭=−−−⎜⎟−⎝⎠−−−−−−−−∑（14）二．似然函数的矩阵表示观察值写成向量形式为：()121,,...,TTyyyy×′=（15）可以看作是T为高斯分布的单个实现。其均值为()()()12TEYEYEYµµµ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦（16）这里()/1cµφ=−。（15）表示成向量形式为：()EYµ=其中µ表示（16）的右边的()1T×向量。Y的方差协方差矩阵为：()()EYYµµ⎡⎤′−−=Ω⎢⎥⎣⎦（17）其中()()()()()()()()()()()()()()()2112122122212TTTTTEYEYYEYYEYYEYEYYEYYEYYEYµµµµµµµµµµµµµµµ⎡⎤−−−−−⎢⎥⎢⎥−−−−−Ω=⎢⎥⎢⎥⎢⎥−−−−−⎣⎦（18）该矩阵元素对应于Y的自协方差。则()1AR过程的第j阶自协方差为：()()()22/1jttjEYYµµσφφ−−−=−（19）（18）可写作2VσΩ=（20）其中212232123111111TTTTTTVφφφφφφφφφφφφφ−−−−−−⎡⎤⎢⎥⎢⎥⎢⎥=−⎢⎥⎢⎥⎢⎥⎣⎦（21）将样本y看作由(),NµΩ分布的一个简单抽样，样本似然值可根据多元高斯密度公式直接写成：()()()()1/2/2111;2exp2TYfyyyθπµµ−−−⎡⎤=Ω−−Ω−⎢⎥⎣⎦（22）其对数似然值为：三．高斯()1AR过程精确极大似然函数理论上，对方程（14）求导并令导数为零，就可得到参数向量θ。而在实践当中，往往得到的θ是()12,,...,Tyyy的非线性方程。此时求解需要非线性规划求解方法，如格子搜索、最速下降法、牛顿-拉夫森方法等数值优化方法。四．条件极大似然（MLE）函数如果将1y的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件极大似然函数。此时最大化目标为：()()(){}2122211ln2ln222TtttycyTTLφθπσσ−=−−−−=−−−∑（23）求（23）最大时的,cφ等价于最小化：{}212Ttttycyφ−=−−∑（24）此时采取ty对其滞后值的OLS回归得到。因此,cφ的条件似然估计由下式给出1121111ttttttTyycyyyyφ−−−−−⎡⎤⎡⎤−⎡⎤=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦∑∑∑∑∑（25）其中Σ表示对2,3,...,tT=求和。（23）对2σ求导并等于零，可求得扰动项的条件似然估计：{}212421022TtttycyTφσσ−=−−−−+=∑（26）整理得到：{}21221TtttycyTφσ−=−−=−∑（27）即2σ得极大似然估计量是最小二乘估计量残差的平方。条件极大似然估计的特点：1．易于计算。2．样本量T足够大，则第一个观测值的影响可以忽略。3．1φ，则精确极大似然估计和条件极大似然估计具有相同的大样本分布。4．1φ，条件MLE是一致估计。第三节高斯()ARp过程的似然函数一．计算似然函数对于高斯()ARp过程122....tttptptYcYYYφφφε−−−=+++++（28）其中()20,tiidNεσ∼。总体参数向量为()212,,,...,,pcθφφφσ=。样本()12,,...,pyyy中的前p个观察值合成一个()1p×向量py，可以看作p维高斯变量的一个实现。向量的均值为pµ，为()1p×向量，其元素为()12/1...pcµφφφ=−−−−（29）令2pVσ表示()12,,...,pYYY的()pp×方差协方差矩阵：()()()()()()()()()()()()()()()21121221222212011102120pppppppppEYEYYEYYEYYEYEYYVEYYEYYEYµµµµµµµµµµσµµµµµγγγγγγγγγ−−−−⎡⎤−−−−−⎢⎥⎢⎥−−−−−⎢⎥=⎢⎥⎢⎥⎢⎥−−−−−⎣⎦⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（30）前p个观察值的密度是一个()2,ppNVµσ变量的密度：()()()()()()()11,,...,,111/2/221121/2/2112,...,;12exp212exp2ppYYYpppppppppppppppppfyyyVyVyVyVyθπσµµσπσµµσ−−−−−−−−−−⎡⎤′=−−−⎢⎥⎣⎦⎡⎤′=−−−⎢⎥⎣⎦（31）样本中剩下的观察值为()12,,...,ppTyyy++。以前1t−个观察值为条件，第t个观察值为高斯的，其均值为1122....ttptpcyyyφφφ−−−++++，方差为2σ。当tp时，其概率密度为()()()12112111,,...,,,...,2112222,...,;,...,;....1exp22tttttttptttttpYYYYYYYYtttptpfyyyfyyyycyyyθθφφφσπσ−−−−−−−−−−−=⎡⎤−−−−−−⎢⎥=⎢⎥⎣⎦（32）全样本似然函数为()()()1112112,,...,11,,,...,111,,...,1,,...,;,,...,;,...,;TtpppttttpYYYTTTYYYYpptttpYYYYtpfyyyfyyyfyyyθθθ−−−−−−−−−−=+=×∏（33）对数似然函数()Lθ为()()()()()()()()()()()()()121,,,...,1121122112212112ln,,...,;11ln2lnln2222....ln2ln22211ln2lnln2222TTtYYYYTTppppppTttptptpppppppLfyyyppVyVyycyyTpTpTTVyVyθθπσµµσφφπσσπσµµσ−−−−−−−=+−−⎡⎤=⎣⎦′=−−+−−−−−−−−−−−−′=−−+−−−∑()2112221....2Ttttptptpycyyyφφφσ−−−=+−−−−−−∑（34）其中将对称矩阵1pV−的第i行，第j列元素记作()ijvp：()101pijiijkkjikkjikkpjvpφφφφ+−−+−+−==+−⎡⎤=−⎢⎥⎣⎦∑∑对于1ijp≤≤≤（35）其中01φ=−。例()1AR过程解：1pV−是一个标量，令1ijp===，则()()011222101011kkkkkkVφφφφφφφ−==⎡⎤=−=−=−⎢⎥⎣⎦∑∑所以，()2221/1Vσσφ=−。例()2AR过程解：2p=，此时()()()()()()()2211221122212112211111Vφφφφφφφφφφφφφ−⎡⎤−−+−−⎡⎤⎢⎥==+⎢⎥−−⎢⎥−+−⎣⎦⎣⎦因此()()2212222111Vφφφ−⎡⎤=+−−⎣⎦()()[]()()()()()()()()()(){}12222221112212222221112221111121yVyyyyyyyyyµµφφµµµφφφµφφµφµµφµ−′−−−−⎡⎤−⎡⎤=−−+⎢⎥⎢⎥−−−⎣⎦⎣⎦=+−−−−−+−−于是()2AR过程的精确对数似然函数为：()()()()()()()()()()()()()(){}{}()222222122222111222221122231ln2lnln112221112122TttttLTTyyyyycyyθπσφφφφφφµφµµφµσφφσ−−=⎡⎤=−−++−−⎣⎦+−+−−−−−+−−−−−−∑其中()12/1cµφφ=−−。二．条件最大似然函数以前p个观察值为条件的对数似然函数为：()()()()211221....ln2ln222TttptptpLycyyTpTpθφφπσσ−−=+−−−−−−=−−−∑（36）求12,,,...,pcφφφ使得（36）最大化问题转变为最小化：()211221....Ttttptptpycyyyφφφ−−−=+−−−−−∑（37）利用最小二乘回归得到这些参数的条件最大似然估计。2σ的条件极大似然估计为最小二乘回归残差的平方：()22112211....TtttptptpycyyyTpσφφφ−−−=+=−−−−−−∑（38）三．非高斯时间序列的极大似然估计（拟极大似然估计）1.如果过程非高斯的，使用高斯对数似然函数得到的估计()12,,,...,pcφφφ为总体参数的一致估计。2．拟极大似然估计得到的系数的标准差不正确。四．()ARp过程的Yule-Walker估计()ARp模型的自回归系数φ由()ARp模型的自协方差函数01,,...,pγ