4-一致最小方差无偏估计解析

0)(limnnˆP定义设是总体参数)(21nnnX,,X,Xˆˆ则称nθˆ是总体参数的一致(或相合)估计量.的估计量.若对于任意的,当n时,nθˆ依概率收敛于,即,0相合估计量仅在样本容量n足够大时,才显示其优越性.4、相合性-估计的大样本性质最基本要求。被认为是对估计的一个不可取的。所以相合性的估计量是估计的足够精确，这样也无法把论我们收集多少资料，有的性质。若不然，不是好的估计量应具的偏差应愈来愈小，这与的增加，估计量着注：大量实践证明，随ˆn关于相合性的两个常用结论1.样本k阶原点矩是总体k阶原点矩的相合估计.是的相合估计.nˆ由大数定律证明用切比雪夫不等式证明2.设是的无偏估计量,且,则0)Var(nnˆlimnˆ若的一个估计量，是设定理)(21nnnx,,xxθˆθˆ,θˆθ,θˆEnnnn0)Var(lim)(lim.ˆn的相合估计是则证明：由切比雪夫不等式有对任意的,ε0).Var(4)2(2nnnθˆεε/|θˆEθˆ|P另一方面，由θθˆEnn)(lim可知，充分大时有当n.2ε/θ|θˆ|En就有注意到此时如果,ε/|θˆEθˆ|nn2,εθ|θˆ|E|θˆEθˆ|θ|θˆ|nnnn故,εθ|θˆ|ε/|θˆEθˆ|nnn2,εθ|θˆ|ε/|θˆEθˆ|nnn2由此即有2)E()(/ε|θˆθˆ|Pεθ|θˆ|Pnnn).(n0)Var(42nˆε例40001)(x,xe;xf~Xx0为常数则是的无偏、相合估计.X证)Var(Xlimn所以是的相合估计,证毕.X02nlimnXE的样本，来自总体为设例)(0,,,51UXXn是相合估计。并证明的求MLEˆ,MLE的相合估计，，，分别是，，若定理knknˆˆ11的连续函数，则，，是，，kkg11)(.ˆˆgˆnkn的相合估计是，，)(1.)()()(是连续函数的相合估计，其中是的相合估计，则是若定理xffˆfˆnn推广矩法得到的估计量一般为相合估计量相合估计样本均值是总体均值的注：相合估计样本方差是总体方差的差的相合估计样本标准差是总体标准所以,X比}{21nX,,X,Xminn更有效.00,01);(xxexfx0为常数引例设总体X的密度函数为且，221}){Var(nX,,X,XminnnX2)Var(§6.3最小方差无偏估计的无偏估计，都是与}{21nX,,X,XminnX.无偏估计量的比较问题在上例中有效性解决了最好的无偏估计量？？方差越小越好，有没有既然一个无偏估计量的问题1、Rao-Blackwell定理.)(几乎处处相等和要条件是其中等号成立的充分必YX定理1定义是两个随机变量，和设0.)Var(X,EXYX)blackwell-(Rao定理),|()(yYXEy则有),Var())(Var(,)(XYYE)|()(yYXEydxyxxh)|(dxypyxpxY)(),(证明：.r.vYX都是连续和设)(y|xhXyY的条件密度下给定),,(yxpYX的联合密度为和设定理2的充分统计量，是是其样本，设总体概率密度函数是)(),;(2121nnX,,X,XTTX,,X,Xxp令的任一无偏估计则对,X,,X,Xˆˆn)(21的无偏估计，且也是则~TˆE~),|()Var()Var(ˆ~.了无偏估计的方差的无偏估计，从而降低新条件期望可以得到一个则将其对充分统计量求数，计不是充分统计量的函注：定理说明若无偏估.则称为充分性原则常将该原化统计推断的程序，通统计量进行，这可以简充分任何统计推断可以基于在充分统计量存在时，统计的一个基本原则：.p.pXpbX,,X,Xn的无偏估计求的充分统计量是的样本，则是来自设例221)(1,1构造估计.0,1;1,1,211其他XXˆppXXPˆE1)1,()(211)|(1tTˆEˆ)|1(1tTˆPniiXT1)()1,1,(21tTPtTXXP)(2)1,1,(321tTPtXXXPnii解)(2)1,1,(321tTPtXXXPniitnttntpptnpptnpp)-(1)-(1222tntn221)(1)(nntt1)(1)(11nnXXˆniinii新的估计)Var()Var(,)(1ˆˆˆE且2、最小方差无偏估计，在参数的无偏估计个计，如果对另外任意一的一个无偏估是对于参数估计问题，设~ˆ定义1上都有空间)~(Var)ˆ(Var.,ˆUMVUE简记为计的一致最小方差无偏估是则称1)((2)UMVUE(1)2121UUPU,U.无偏估计，则同为最小方差若存在必唯一，即若的函数统计量存在，则它一定是充分若注：EstimatorUnbiasedVarianceMinimunUniform定理3.)ˆVar()(ˆˆ,),,,(21的一个无偏估计，是样本是来自某总体的一个设XXXXXn，都有的对任意一个满足)(0))((XXE,0,),ˆ(Cov的充要条件是的是则UMVUEˆ的一个准则判断UMVUE00,01);(xxexfx0为常数例设总体X的密度函数为UMVUE.的是证明X充分性原则.数一定是充分统计量的函不一定存在，若存在则、任一参数的UMVUE1.的函数中寻找只需要在充分统计量、考虑参数的估计时，23、Cramer-Rao不等式定义2下列条件：满足设总体概率密度函数是),;(xp；是直线上的一个开区间参数空间(1)无关；与支撑集0});(:{(2)xpxS都存在；对一切导数);((3)xp换次序，即，积分与微分运算可交对);((4)xpdxxpdxxp);();(存在，则称期望2)];(ln[(5)XpE2)];(ln[)I(XpE.(Fisher)信息量为总体分布的费希尔.(5)-(1)RC称为正则条件正则分布族，称该分布族为亦存在，且进一步有若22);((5)xp22);(ln)(XpEI证明22);(lnθθXpExθxpθθxpθxpθd);();();(1xθxpθθxpd);();(ln22dxxpdxxp);();(22则xθxpθxpθxpθθxpθθxpθxpd);();();(1);();();(1222xθxpθxpθxpθθxpθθxpθxpd);();();(1);();();(1222xθθxpxθxpθθxpθxpd);(d);();();(1222xθθxpxθxpθxpd);(d);();(ln222)();(2IXplnE22);(ln)(XpEI.P信息量计算设总体为泊松分布例Fisher),(解的分布列为)(P,,,x,xxpx10e!);(，且可以看出正则条件满足,xxxp)!(lnln);(ln.xx;p1)(ln于是.XEI1)(2.Exp信息量计算设总体为指数分布例Fisher),1(总体的密度函数为解.,x,xxp00exp1);(且可以验证正则条件满足,,θxxxp221);(ln于是.XXEI24221)Var()(定理4)Rao-(Cramer不等式是来自该总体，，设正则条件满足，nX,XX21的任一个无偏是的样本，)(),(21gX,,XXTTn，对存在，且对估计，)()(ggnniindxdx;θxpx,,xxTg1121)(),()(行，即的微分可在积分号下进nniindxdx;θxpx,,xxTg1121)(),()(.求和等式成立对离散总体，积分改为nniiniindxdx;θxp;θxplnx,,xxT11121)()(),())I(()](g[)Var(2n/T则有不等式，上式称为Rao-Cramer.n/下界下界，简称—无偏估计的方差的称为RCRC))I(()](g[2-1))(()Var(nIˆˆ，有的无偏估计特别对.)g(),,T(TR-C1的有效估计是称不等式中等号成立，则若nXX则样本的分布相应的为取自总体分布若样本注：),;(),,((1)1xpXXXnn1i1);();,,(inxpxxpniinxpxxp11);(ln);,,(ln且)();(ln);,,(lnE)(211nIxpExxpIniinX则.,n比例的增加样本包含的信息量也成的增加所以随着样本量.,,方差的下界越小估计多样本包含参数的信息越不等式表明R-(2)C.FisherXXTXXTnn信息量相同的包含参数，，与样本的充分统计量，则是，，若统计量11)((3)UMVUE.10)(1);(-1得求设总体分布列为例,x,xpxxUMVUE.),1(得求设总体分布为例Exp回顾))I(()](g[)Var(2n/TRC不等式下界，可看下例：计不一定能达到估；但一致最小方差无偏一致最小方差无偏估计下界，则一定是等于注：若无偏估计的方差RCRC.,N下界的信息量及计算满足正则条件，设总体为例R-CFisher),(02解由于,xσxp/-2221222exp)(2);(注意到,~X(1)222故22222);(ln)(XpEI224221-2XE)/Var(41224σXσ,σ421令,σσgσ22)(下界为的则RCσ,nσσ/nσ/σnIσ2)2()2(1)()(g242222'的无偏估计为σ.Xnnn/σˆnii1211)/2)Γ(()2Γ(2n.σσ下界都大于其的无偏估计的方差下界，这表明所有，且其方差大于的可以证明，这是R-CRCUMVUE定理5区间，假定为非退化有密度函数设总体,),;(xpX;ln,ln,ln,(1)3322都存在对所有偏导数对任意的pppx有,(2)),(1xFθp),(222xFθp),(ln333xFθp满足其中函数)(),(),(321xFxFxF,dxxF)(1,dxxF)(2.dxxpxF);()(sup3dxxppI);()ln()(,0(3)2))(1