ARMA模型的参数估计主要内容(精)

第6章ARMA模型的参数估计第1页共37页第六章ARMA模型的参数估计—主要内容§6.1AR(p)模型的参数估计问题:已知p的AR(p):1,0ptjtjtjXaXt,2~WN(0,)t.(1.1)由12{,,,}Nxxx去估计12(,,,)Tpaaaa和2.1.AR(p)模型的Yule-Walker估计自回归系数pa由自协方差函数{}k惟一确定.第6章ARMA模型的参数估计第2页共37页0111121022120ppppppaaa白噪声的方差2由20Tppγa决定.现获12{,,,}Nxxx,Np,则作(1),1~ttNyxxtN;(2)11ˆ,0,1,,NkkjjkjyykpN;第6章ARMA模型的参数估计第3页共37页(3)只要12,,,Nxxx不全同,则ˆpΓ正定,得惟一1ˆˆˆpppaΓγ,2100ˆˆˆˆˆˆˆˆTTpppppγaγΓγ.实用中,Levinson递推公式(无需求逆,快):(1)2001,1102221,1,11,21,1,101,12,2,1,,1,1,1ˆˆˆˆˆˆˆˆ(1)ˆˆˆˆˆˆˆ...ˆˆˆˆˆˆˆˆ...ˆˆˆˆ,1,kkkkkkkkkkkkkkkkkkkjkjkkkkjaaaaaaaaaaaaajkkp第6章ARMA模型的参数估计第4页共37页(2)12,1,2,ˆˆˆˆˆˆ(,,,)(,,,)pppppaaaaaa,22ˆˆp.以上Yule-Walker估计的最大优点是:1ˆˆ()10,when||1pjjjAzazz即最小相位(只要1ˆpΓ正定).定理1.1(参见[18])若2~WN(0,)t独立同分布,4Et,则当N时,有(1)22ˆˆ,,..,1jjaaasjp;第6章ARMA模型的参数估计第5页共37页(2)2111ˆˆ(,,)(0,)TpppNaaaaNΓ依分布(3)1ˆsup||(lnln),a.s.jjjpNaaON,221ˆsup||(lnln),a.s.jjjpNON.由上(2)得:,ˆ()(0,)TjjjjNaaN依分布.(其中,jj是21pΓ中相应元素)置信水平0.95的ja渐近区间:,,ˆˆ[1.96,1.96]jjjjjjaNaN.第6章ARMA模型的参数估计第6页共37页2.AR(p)模型的最小二乘估计设12,,,pddd是12,,,paaa的估计,称使残差1122ˆ()jjjjpjpydydydy的2121ˆ(,,,)NpjjpSddd最小的ˆ{}jd为最小~.记1111122212,,pppppppNNNpNyyyydyyydydyyyyYXd当TXX正定时,有惟一的第6章ARMA模型的参数估计第7页共37页112ˆˆˆ(,,,)()TTTpaaaXXXY22121||ˆˆˆˆ(,,,)pXSaaaNpNpYa.理论表明:1ˆˆpYWONda最小二乘估计估计,N.即两种估计差别不大.对二乘估计,也有大样本性质定理1.2若4Et,2~WN(0,)t独立同分布,12ˆˆˆ,,,paaa是最小二乘估计,则当N时,有第6章ARMA模型的参数估计第8页共37页2111ˆˆ(,,)(0,)TpppNaaaaNΓ依分布3.AR(p)模型的最大似然法设模型的21~(0,)pttjtjjXaXN,则212111(,,)~exp22NpNtNttp从而得关于12,,,Nxxx的似然函数为第6章ARMA模型的参数估计第9页共37页2(,)La221111exp22NppNtjtjtpjxax通过解似然方程222(ln(,))(ln(,))0,0,LLaaa结果2,a同最小二乘法.例1.1设白噪声{}~(0,1)tN,模型为12341.160.370.110.18ttttttxxxxx第6章ARMA模型的参数估计第10页共37页分别用Yule-Walkey法和最小二乘法估计参数2,a.结果见程序ese6_1_1.m4.AR(p)模型的定阶问题若偏相关系数ˆˆ,,0,0kpkpkkkkaa,则认为ˆpp.,11011,22102120,ˆˆˆˆˆˆˆˆˆˆˆˆkkkkkkkkkaaa,1,2,1[][...0...0]TTkkkkpaaaaa第6章ARMA模型的参数估计第11页共37页以上结果由以下定理保证.定理1.3若AR(p)中2~WN(0,)t是独立同分布,则对任何kp,有,,ˆlim0,jkjNajpajp.为了检验0,:0kkHa,可借助,,ˆkkkkaa极限分布.定理1.4若AR(p)中2~WN(0,)t是独立同分布的,4Et,则对确定的kp,有第6章ARMA模型的参数估计第12页共37页21,1,1,,ˆˆ(,,)(0,)TkkkkkkkNaaaaNΓ依分布推论1.5在定理1.4的条件下,对kp,有,ˆ(0,1)kkNaN依分布.(证明略见196页)故,ˆkka有95%的概率落在(1.96,1.96)NN.因此取p的估计,1.96ˆˆsup{:||,110}jjpjajkN可能较高.第6章ARMA模型的参数估计第13页共37页实际中,常用AIC准则:(1)分别取00,1,,pkP(上界或较大数);(2)求AR(k)时的2ˆk;(3)计算202ˆAIC()ln,0,1,,kkkkPN(4)ˆmin{|[AIC()]}kpkk称为AIC定阶.注1:一般ˆpp(真),并无ˆpp依概率,即不相合;注2:通常,略高的阶数比低的阶数要好.有利历史数据利用,等.第6章ARMA模型的参数估计第14页共37页为克服不相合,改用BIC(k)函数定阶.20lnˆBIC()ln,0,1,,kkNkkPN(上界)注3:若2~WN(0,)t是独立同分布的,则BIC(k)是强相合的;注4:当N不大,BIC定阶偏低,会失真,宜取AIC.5.AR(p)模型的拟合检验设由12{,,,}Nxxx已得ˆp,12ˆˆˆ(,,,)paaa,2ˆ,对残差:第6章ARMA模型的参数估计第15页共37页ˆ1ˆˆˆ,1~pttjtjjyaytpN,用§4.3白噪声检验:若符,则认可,并用于预测,否则重估、改用MA(q),ARMA(p,q).6.AR(p)序列的谱密度的估计ˆp,12ˆˆˆ(,,,)paaa,2ˆ代入2i2()2|(e)|fA.注5:若t是独立同分布的2WN(0,),ˆp是由AIC或BIC定阶的,则ˆ()f一致收敛到()f.第6章ARMA模型的参数估计第16页共37页例1.2{}tx取附录B7中的300个数据,对AR模型的阶数分别为01~10pP上界,解Y-W方程,4截尾的.2468100.020.040.060.080.10.120.142468100.060.080.10.120.140.160.18246810-0.4-0.200.20.40.60.81kAICBIC第6章ARMA模型的参数估计第17页共37页所以用B7数据拟合出AR模型的阶数应为4,即12341.1490.3150.1300.196ttttttXXXXX通常AIC定阶略高,下图即为用以上模型产生的300个数据,重复1000次中定阶的结果,定阶有别.123456789100200400600800123456789100100200300400500600700AICBIC第6章ARMA模型的参数估计第18页共37页但充分多数据和大数重复后,定阶的情况很接近.1234567891002004006008001234567891002004006008001000例1.3对用B7数据拟合出的模型,进行拟合检验.(1)中心化:ttNyxx;AICBIC第6章ARMA模型的参数估计第19页共37页(2)计算残差:41234ˆ1.1490.3150.1300.196ttttttyyyyy;(5~296t)(3)计算ˆ:1296tt的自相关系数ˆ{},1~kkM;(4)计算卡方值:(假设是白噪声的统计量)222212ˆˆˆˆ()296()mm;(5)计算临界值()chi2inv(0.95,),1~20mmm第6章ARMA模型的参数估计第20页共37页(6)判断:所有2ˆ()(),1~20mmm,则不能拒绝残差是独立的白噪声的假设,即认可.05101520051015202530350123402468101214160.05()m临界值2ˆ()m()f实线ˆ()f虚线第6章ARMA模型的参数估计第21页共37页§6.2MA(q)模型的参数估计MA(1)模型:1,tttXbt,||1b.不难得:22201(),bb,于是得:121bb,即2110bb,可解得:2111142b,(112,||1b时).估计值:211a.s.ˆ114ˆˆ2bb,(t独立白噪声).第6章ARMA模型的参数估计第22页共37页1.一般可逆MA(q)模型的矩估计及其计算若先知1,qttjtjjXbt,2~WN(0,)t,则有{:0}kkq及1q个非线性方程2011()kkkqkqbbbbbb(01b)反之,若先知{}k,由上方程,可解得21~{,}qb.线性迭代法求解法:(1)用12,,,Nxxx求0ˆˆ~q;(2)初值:任取212(0),(0)[(0),(0),,(0)]Tqbbbb第6章ARMA模型的参数估计第23页共37页(3)迭代:202211122ˆ(),1(1)(1)ˆ()[(1)(1)()(1)(1)],ˆ().(11)()qkkkqkqkqjbjbjbjbjbjjbjbjbjkqj(4)停止:200ˆ|()()()|()qqkkttkktjbjbj某.(5)检验可逆条件,不满足,重取初值,重算.第6章ARMA模型的参数估计第24页共37页也可用§3.1中的方法(MA(q)的k是q截尾的)(1)用12,,,Nxxx求0ˆˆ~q;(2)作,1~ˆ,0,()0,kkkljljkkqkq(3)分别计算1ˆˆˆlimTkkkk和2021ˆˆˆˆˆ,()ˆTqCCACbγ其中:第6章ARMA模型的参数估计第25页共37页1010001001000,0000001000000qqqAC1212312111ˆ,kkkqqqqqkqqqγ12ˆˆˆˆ(,,,)Tqbbbb.合理性由以下定理给出.定理2.