第三节一致最小方差无偏估计

常用的几条标准是：2．无偏性3．有效性1．相合性估计量的评选标准§6.3最小方差无偏估计0)(limnnˆP定义设是总体参数)(21nnnX,,X,Xˆˆ则称nθˆ是总体参数的一致(或相合)估计量.的估计量.若对于任意的,当n时,nθˆ依概率收敛于,即,0相合估计量仅在样本容量n足够大时,才显示其优越性.1、相合性2、无偏性)ˆ(E则称为的无偏估计.ˆ),,(ˆ1nXX设是未知参数的估计量，若),,,(ˆ2111nXXX都是总体参数的无偏估计量,且)Var()Var(21ˆˆ则称比更有效.1ˆ定义设),,,(ˆ2122nXXX3、有效性2ˆ.立使得上述不等号严格成且至少有一个§6.3最小方差无偏估计一个自然想法，希望估计量的方差越小越好。能够小到什么程度？有没有下界？什么条件下方差的下界存在？1、Cramer-Rao不等式定义1(;),px设总体概率函数是满足下列条件：；是直线上的一个开区间参数空间(1)无关；与支撑集0});(:{(2)xpxS都存在；对一切导数);((3)xp换次序，即，积分与微分运算可交对);((4)xpdxxpdxxp);();(2(5)[ln(;)]EpX期望存在CR(1)-(5).称该分布族为正则分布族，称为正则条件2[ln(;)]EpX若期望存在，则称2)];(ln[)I(XpE.(Fisher)信息量为总体分布的费希尔定义2、Fisher信息量Fisher信息量是统计学中的一个基本概念，很多的统计结果都与Fisher信息量有关。()I()I()I的种种性质显示，“越大”可被解释为总体分布中包含参数的信息越多22(;)px若亦存在，且进一步有22);(ln)(XpEI证明22);(lnθθXpExθxpθθxpθxpθd);();();(1xθxpθθxpd);();(ln22dxxpdxxp);();(22则Fisher信息量的一个重要性质xθxpθxpθxpθθxpθθxpθxpd);();();(1);();();(12222221(;)(;)(;)dd(;)pxθpxθpxθxxpxθθθxθθxpxθxpθxpd);(d);();(ln222)();(2IXplnE22);(ln)(XpEIxθxpθxpθxpθθxpθθxpθxpd);();();(1);();();(1222.P信息量计算设总体为泊松分布例Fisher),(解的分布列为)(P,,,x,xx;px10e!)(，且可以看出正则条件满足,xxx;p)!(lnln)(ln.xx;p1)(ln于是.XEI1)(2.Exp信息量计算设总体为指数分布例Fisher),1(总体的密度函数为解.,x,xx;p00exp1)(且可以验证正则条件满足,,θxxx;p221)(ln于是.XXEI24221)Var()(定理4)Rao-(Cramer不等式是来自该总体，，设正则条件满足，nX,XX21的任一个无偏是的样本，)(),(21gX,,XXTTn，对存在，且对估计，)()(ggnniindxdx;θxpx,,xxTg1121)(),()(行，即的微分可在积分号下进nniindxdx;θxpx,,xxTg1121)(),()(.求和等式成立对离散总体，积分改为nniiniindxdx;θxp;θxplnx,,xxT11121)()(),())I(()](g[)Var(2n/T则有不等式，上式称为Rao-Cramer.n/下界下界，简称—无偏估计的方差的称为RCRC))I(()](g[2-1))(()Var(nIˆˆ，有的无偏估计特别对.)g(),,T(TR-C1的有效估计是称不等式中等号成立，则若nXX.,N下界的信息量及计算满足正则条件，设总体为例R-CFisher),(02解由于,xσxp/-2221222exp)(2);(注意到,~X(1)222故2222);(ln)(XEI224221-2XE)/Var(41224σXσ,σ421令,σσgσ22)(下界为的则RCσ,nσσ/nσ/σnIσ2)2()2(1)()(g242222'的无偏估计为σ.Xnnn/σˆnii1211)/2)Γ(()2Γ(2nCR可以证明，其方差大于下界，C-Rσ这表明并不是任何的无偏估计的方差都能达到下界。必须研究这样两个问题：问题1：如果知道一个无偏估计，能否构造一个新的无偏估计，其方差比原来的方差小。问题2：一个无偏估计虽不是有效估计，但是可考察它的方差在一切无偏估计中能达到最小的条件Rao-Blackwell定理最小方差无偏估计例设总体X的密度函数为0001)(x,xe;xfx0为常数)(21nX,,X,X为X的一个样本X与}{21nX,,X,Xminn都是的无偏估计X比}{21nX,,X,Xminn更有效.X是充分统计量例设总体X，且E(X)=,Var(X)=2)(21nX,,X,X为总体X的一个样本证明iniiXcˆ11是的无偏估计(2)证明Xˆ比iniiXcˆ11更有效.11niic.,,2,11ninci(1)设常数X是充分统计量好的无偏估计都是充分统计量2、Rao-Blackwell定理.)(几乎处处相等和要条件是其中等号成立的充分必YX定理1定义是两个随机变量，和设0.)Var(X,EXYX)blackwell-(Rao定理),|()(yYXEy则有),Var())(Var(,)(XYYE)|()(yYXEydxyxxh)|(dxypyxpxY)(),(证明：.r.vYX都是连续和设)(y|xhXyY的条件密度下给定),,(yxpYX的联合密度为和设)(yE()()YypydyEXdydxyxxp),(2)])(())([()Var(YYXEX22))(())((YEYXE+2[(())(())]EXYY)])())(([(YYXEdxdyyxpyyx),(])()][([dxdyyxhypyyxY)|()(])()][([dyypdxyxhyyxY)(})|(])([)]{([0)Var(X))(Var())((2YYXE10))((YXP))(Var()Var(YX定理2的充分统计量，是是其样本，设总体概率密度函数是)(),;(2121nnX,,X,XTTX,,X,Xxp令的任一无偏估计则对,X,,X,Xˆˆn)(21的无偏估计，且也是则~TˆE~),|()Var()Var(ˆ~.p.pXpbX,,X,Xn的无偏估计求的充分统计量是的样本，则是来自设例221)(1,1构造估计.0,1;1,1,211其他XXˆppxxPˆE1)1,()(211)|(1tTˆEˆ)|1(1tTˆPniiXT1)()1,1,(21tTPtTXXP)(2)1,1,(321tTPtXXXPnii解)(2)1,1,(321tTPtXXXPniitnttntpptnpptnpp)-(1)-(1222tntn221)(1)(nntt1)(1)(11nnXXˆniinii新的估计)Var()Var(,)(1ˆˆˆE且3、最小方差无偏估计，在参数的无偏估计个计，如果对另外任意一的一个无偏估是对于参数估计问题，设~ˆ定义1上都有空间)Var()Var(~ˆ.,ˆUMVUE简记为计的一致最小方差无偏估是则称UMVUE.注：1)若存在，则它一定是充分统计量的函数ˆC-RˆUMVUE2）特别对的无偏估计，若方差能达到下界，则是的。UMVUE.10)(1);(-1得求设总体分布列为例,x,xpxxUMVUE.),1(得求设总体分布为例Exp.,N下界的信息量及计算满足正则条件，设总体为例R-CFisher),(02解由于,xσxp/-2221222exp)(2);(注意到,~X(1)222故2222);(ln)(XEI224221-2XE)/Var(41224σXσ,σ421令,σσgσ22)(下界为的则RCσ,nσσ/nσ/σnIσ2)2()2(1)()(g242222'的无偏估计为σ.Xnnn/σˆnii1211)/2)Γ(()2Γ(2n.σσ下界都大于其的无偏估计的方差下界，这表明所有，且其方差大于的可以证明，这是R-CRCUMVUE定理3如果对的一个无偏估计，是是来自某总体的一个设.)Var()()(21ˆXˆˆX,,X,XXn，都有的任意一个满足)(0))((XXE,0,)(Cov,.ˆUMVUE的是则证明,~的任意一个无偏估计为设，则令ˆ~0)(ˆE~EE2)()Var(~E~2)]()[(ˆˆ~E),2Cov()Var()(2ˆˆE)Var(ˆ的一个准则判断UMVUE00,01);(xxexfx0为常数例设总体X的密度函数为UMVUE.的是证明X充分性原则.数一定是充分统计量的函不一定存在，若存在则、任一参数的UMVUE1.的函数中寻找只需要在充分统计量、考虑参数的估计时，2定理5区间，假定为非退化有密度函数设总体,),;(xpX;ln,ln,ln,(1)3322都存在对所有偏导数对任意的pppx有,(2)),(1xFθp),(222xFθp),(ln333xFθp满足其中函数)(),(),(321xFxFxF,dxxF)(1,dxxF)(2.dxxpxF);()(sup3dxxppI);()ln()(,0(3)2态性最大似然估计的渐近正))(1,(),(11nIN~θˆθˆXXθˆθˆXXnnnnnn和渐近正态性，具有相合性且，，的最大似然估计存在未知参数是取自总体的样本，则，，若