62估计量的评选标准

统计教研室刘莲花1§6.2估计量的评选标准无偏性有效性相合性小结统计教研室刘莲花2具体步骤若总体X的分布中含有r个待估参数θ1,…,θr。1111(,,)(,,)rrrrmmθθmmθθ一、矩估计法（重点）1Xrr、若总体的阶原点矩存在,求出阶原点矩：前面知识回顾统计教研室刘莲花32、若上述方程组可解，则从中解出：3、则得到参数的矩估计量：1111ˆ(,,)ˆ(,,)rrrrAAAA1111(,,)(,,)rrrrθθmmθθmm统计教研室刘莲花4二、最大似然估计的步骤（重点）1(1)(,,)kL求似然函数1(2)ln(,,)kL似然函数取对数得1111(,,;,,)(;,,)nnkikiLxxfx1111(,,;,,)(;,,)nnkiikiLxxPXx或1(3)ln(,,)kL求的驻点12ln0,ln0,ln0.nLLL此方程称为对数似然方程，方程的解即为所要求的最大似然估计最大似然估计具有不变性统计教研室刘莲花三、无偏性为θ的无偏估计量。ˆn则称定义6.1.21ˆˆ(,,)nnXXX设为总体的未知参数的估计量，ˆ()nE若无论总体服从什么分布，只要其数学期望和方差存在，样本均值和样本方差一定是其无偏估计量无偏性不具有不变性无偏估计量是否唯一呢？统计教研室刘莲花1512()~[0,]ˆˆ=2=XnXUX设总体上的均匀分布，判别参数的矩估计及极大似然估计例的无偏性1;0()0;xXfxother的密度函数为：解：1ˆ()(2)2()2()EEXEXEX12ˆX所以是的无偏估计量统计教研室刘莲花162()()ˆnnXX对于，的密度函数为1111;0()[()]()00;nnnnnxxnxgxnFxfxother12()0ˆ()()1nnnnnEEXxxdxn所以2ˆ于是不是无偏估计量，其偏差2ˆ()1nbEn0nnb时所以是渐进无偏估计量3)2(11ˆˆnnnXnn修正，令——是无偏估计量无偏估计量不是唯一的统计教研室刘莲花176.1.2、有效性.ˆ,ˆˆ,ˆ2121的优劣较的无偏估计值，如何比都是如果问题.ˆ,ˆ21的附近在中哪一个的取值更稳定看方法定义6.1.3),ˆ()ˆ(21DD则称较有效。1ˆ2ˆn2例6.1.5：)(XD2),(iXD及都是μ的无偏估计量，但是XiX.有效较iXX1ˆ2ˆ12ˆˆ设，是的两个无偏估计量，如果对任意的有用全部数据的平均估计总体均值要比只用部分数据更有效统计教研室刘莲花181()3ˆ1~(0,),=ˆ=6..621nnXUXXn设比较的无偏估计量与何例者较为有效？11()()(2ˆ)4()ˆVarDDXDX解：()4DXn224=123nn2(3)()311()((ˆ)())ˆnnnnVarDDXDXnn222()()1{()()}nnnEXEXn()()1nnEXn已知22212()00()()2nnnnnEXxgxdxxxdxn22222121(2)nnnnnnnn3131ˆˆ1()()ˆˆnDD当时，，所以比有效统计教研室刘莲花191232,,3XXX、设是取自某总体容量为的样本，试证下列统计量都是该总体均值的无偏估计量，在总体方差存在时，指出哪一个估计量的有练习效性最差。1123111ˆ(1)=++236XXX2123111ˆ(2)=++333XXX3123112ˆ(3)=++663XXX统计教研室刘莲花206.2.3、相合性要求ˆlim0,nnP则称是θ的相合估计。（或一致估计）nˆ即对任何正数ε0，如果当n→∞时，依概率收敛θ，nˆ定义6.2.1有相合性是对估计的一个最基本要求，一般不满足相合性要求的估计不予考虑点估计是一个随机变量，在样本量一定的条件下，不可能要求它完全等同于参数的真实值，但如果有足够的观测值，可以要求随着样本量的不断增大而无限逼近参数真值统计教研室刘莲花2111()()nkkkiikEXAXnEX例：假定总体原点矩存在，则样本原点矩为的相合估计量。111(,,),,,,nnkkknXXXXXXX因为样本中，相互独立且与总体同分布，于是也相互独立且与证明：同分布0,由辛钦大数定律，对任意的有11lim()0nkkiniPXEXn11()nkkkiikAXkEXn所以样本的阶原点矩是总体阶原点矩的相合估计量统计教研室刘莲花22结论：矩估计一般都具有相合性，但不一定是无偏的.1、样本均值是总体均值的相合估计.22.、B是总体方差的相合估计23.S、是总体方差的相合估计未知参数的相合估计不是唯一的统计教研室刘莲花24ˆn【定理6.设为的估计2.1】量，如果lim()lim()0ˆˆnnnnED且ˆ.n则称为的相合估计量ˆ()0nnfx设的密度函数为，对任意证明：ˆ{}()nnxPfxdx22()()nxfxdx22ˆ()nE2ˆ()nE2ˆˆˆ{(())(())}nnnEEE2ˆˆ()()nnDE2ˆ,lim()0nnnE令即得ˆlim0nnP从而ˆn由定义知为的相合估计量统计教研室刘莲花25ˆˆnn:若的估计量的偏差与方差均随n的定理说明无限增大而趋于零，则为的相合估计量.ˆn【定理6.设为的估计2.1】量，如果lim()lim()0ˆˆnnnnED且ˆ.n则称为的相合估计量统计教研室刘莲花2612,,,(0,)nXXXU：设是来例6.自均匀总体的样本2.5，证明：()nX是的相合估计()ˆ=Xn：由次序统计量的分布，可知的密度证明函数为：1(),0nnpynyy故有：()ˆnEEX10nnnyydy1nn2ˆE120nnnyydy22nn22ˆˆˆ()()[]DEE22()21nnnn220(1)(2)nnn()nX故由定理知是的相合估计。统计教研室刘莲花相合性是在大样本场合下评价估计好坏的重要标准，在样本量不是很大时，人们更倾向于使用基于小样本的评价标准，此时，对无偏估计使用方差，对有偏估计使用均方误差。6.4第节最小方差无偏估计一般，在样本量一定时，评价一个点估计好坏的度量指标总是点估计值与参数真值距离的函数，最常用的函数是距离的平方，由于估计量是随机变量，所以对距离函数求期望，从而得到均方误差统计教研室刘莲花6.4.1均方误差2ˆˆ()()MSEE均方误差：越小越好2222ˆˆˆˆ()()()ˆˆˆˆˆˆ=()()2()()ˆˆ()()MSEEEEEEEEEEDE因为ˆˆˆ()()EMSED均方误差由点估计的方差与偏差的平方组成如果是无偏估计，则如果不是无偏估计，则不仅要看方差大小，还要看偏差大小统计教研室刘莲花():6.1.6.4.16U1ˆ=nnXn在例中，对均匀分布(0,),由的最大似然估计得到的无偏估计是例：2ˆˆ()()(2)MSEDnn()ˆnX考虑2()()22()22222ˆ()=()(())()()1(1)(1)(2)1nnnMSEDXEXnDXnnnnnn2()222MSE()=11(1)nnnXnnn时上式均方误差达到最小，()2ˆMSE()MSE()21nnXnn（时）统计教研室刘莲花1ˆ6.4.1(,,)nXX定义：：设待估参数有一个估计类，称是该估计类中的的，如果对该类中的的任意一个另外的一致最小估计均方误差估计都有：ˆMSE()MSE()一致最小均方误差一般都不存在，所以通常要求满足无偏性因为均方误差由点估计的方差和偏差的平方两部分组成，当估计量是无偏估计时，均方误差就简化为估计的方差此时一致最小均方估计就变为一致最小方，差无偏估计统计教研室刘莲花32定义6.4.2ˆ()()DD()ˆUMVUMUniformlyMinimumVarianceEstimator一致最小方差无偏估计量，则称为的一个简记为ˆ如何确定的方差最小呢？ˆ设是的一个无偏估计，如果对的另外任意一个无偏估计量，都有6.4.2一致最小方差无偏估计统计教研室刘莲花336.4.4Cramer-Rao不等式Fisher信息量(;)Xpx设总体的密度函数满定义：足下列条件(是一维未知参数）(2){:(;)0}xpx集合与无关即使得密度函数取正值的那些x组成的集合与无关(;)(;)dpxdxpxdxd(1)参数空间是直线上的一个开区间(;)(3)px导数对一切都存在(4)(;)px对，积分与微分可交换次序，即统计教研室刘莲花342(5)ln(;)EpX期望存在则称2()ln(;)IEpXFisher为总体分布的信息量.说明：如果在定义的基础上再假设22(;)(;)dfxfxdxdxd则有：22()ln(;)IEfX统计教研室刘莲花Fisher信息量2()ln(;)IEpX求解步骤：(1)ln(;)px(2)ln(;)px2(3)ln(;)px2(4)ln(;)EpX统计教研室刘莲花36：设总体为泊松P()分布，例6.4.4其分布列为(,),0,1,!xpxexxFisher.求其信息量解：可以验证满足定义中的条件1-5ln(,)lnln(!)pxxx且ln(,)1pxx2()ln(;)IEpX221()ln(;)1XIEpXE统计教研室刘莲花37练习：设总体为指数分布，其密度函数为(,),0,0xpxexFisher就其信息量2()ln(;)IEpX统计教研室刘莲花知识总结1、无偏性ˆ()nE2、有效性),ˆ()ˆ(21DD一致最小方差无偏估计量(UMVUM)Fisher信息量2()ln(;)IEfX求解步骤：(1)ln(;)fx(2)ln(;)fx2(3)ln(;)fx2(4)ln(;)EfXˆ()()DDˆ()nnbE22ˆˆˆˆ4MSE()=E(-)()()DE、均方误差3、相合性统计教研室刘莲花39【定理2.2.1】（克拉美-劳（Cramer-Rao）定理）(;)FisherXpx设总体的密度函数为满足信息量定义中的条件11(,,)(,,)()nnXXXXTgX为总体的样本，为待估函数的任意'()g一个无偏估计量，存在，且满足111111ˆ(,,)(;)ˆ(,,)(;);nnininninidxxfxdxdxdxxfxdxdx