魏宗舒版概论6.3

6.3克拉默-拉奥（Cramer-Rao）不等式一、问题的提出二、复习无偏估计和一致估计三、有效估计四、小结一、问题的提出从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同,那么那一个估计量好坏的标准是什么?下面介绍几个常用标准.二、复习无偏估计和一致估计12,,,n若为总体的一个样本，是包含在总体的分布中的待估参数.12ˆ6.2(,,,)ˆ(),ˆ(),ˆ.nEE定义若估计量的数学期望存在且对于任意有则称是的无偏估计量(2)无偏估计的实际意义:无系统误差.(1)无偏性是对估计量的一个基本而重要的要求.如果有的一列估计,满足关系式12,ˆˆ(,...,)nnn),...,2,1(nˆlim()nnEnˆ)ˆ(Eˆ则称是的渐近无偏估计（量）。一个估计量如果不是无偏估计量，就称这个估计量是有偏的，且称为估计量的偏差。121(1),,,,1,.kknnkkiikkEkknk设总体的阶矩存在又设是的一个样本，试证明不论总体服从什么分布阶样本矩是阶总体矩的无偏估计证明12,,,n因为与同分布，()()kkEE故有.,,2,1,nik11()()nkkiiEEn即.k例1.kkkk故阶样本矩是阶总体矩的无偏估计特别地:1.E不论总体服从什么分布，只要其数学期望存在，则总是总体的数学期望的无偏估计量222222n1,0,,1ˆˆ,s()().niin对于均值方差都存在的总体若均为未知则的估计量是有偏的即不是无偏估计证明22211ˆniin22,E因为222,E22()EDE又,22n222ˆ()()EE所以22()()EE例2,122nn.ˆ2是有偏的所以.,ˆ12偏的所得到的估计量就是无乘若以nn(这种方法称为无偏化)..)ˆ(1ˆ1222EnnnnE221*ˆnSnn因为211(),1niin,2的无偏估计是即2*nS.2的估计量作故通常取2*nS1212[0,],0,,,,2max(,,,).1nnnn设总体在上服从均匀分布参数是来自总体的样本，试证明和都是的无偏估计证明(2)2EE因为,222.所以是的无偏估计量()12max(,,,)nn因为的概率密度为其它,,)(001xnxxpnn例3()0()nnnnxEdx所以,1nn()1,nnEn故有12max(,,,).1nnn故也是的无偏估计量证明,EE.所以是的无偏估计量例40,,,1/又设其中参数其它度概率密的指数分布服从参数为设总体,00,1);(xxexp1212,,...[min(,,...)nnn是来自总体的样本，试证明与都是的无偏估计。(1)12min(,,,),nn而服从参数为的指数分布其它概率密度,,);(min00xenxpnx(1)(),En故知(1)(),En(1).n所以也是的无偏估计量由以上两例可知,同一个参数可以有不同的无偏估计量.无偏性虽然是评价估计量的一个重要标准,而且在许多场合是合理的,必要的。然而有时一个参数的无偏估计可能不存在，或不合理的。这些说明仅有无偏性要求是不够的。于是，人们又在无偏性的基础上增加了对方差的要求。若估计量的方差越小。表明该估计量的取值（即估计值）围绕着待估参数的波动就越小，也就是更为理想的估计量。为此，引入最小方差无偏计。2.如例4有时对同一个参数可有多个无偏估计.1.例:设总体,则就没有无偏估计。~,1N三、有效估计由于方差是随机变量取值与其数学期望的偏离程度,所以无偏估计以方差小者为好.111222121212ˆˆˆˆ6.3(,,,)(,,,),ˆˆ()()ˆˆ.nnDD定义设与都是的无偏估计量若有则称较有效(1)1,.nn试证当时的无偏估计量较有效证明2,D由于2,Dn故有2(1)2(),Dn又因为2(1)(),Dn故有,1时当n(1)()(),DnD(1).n故的无偏估计量较有效例5(续例4)121221ˆ321ˆmax{,,,}ˆˆ,2,.nnnn在例中已证明和都是的无偏估计量现证当时较有效证明1ˆ4DD由于24,3Dnn2()1ˆ()nnDDn2()1,nnDn()1(),nnEn又因为练习(续例3)（课本例6.10）21()0()dnnnnExx,22nn22()()()()()[()]nnnDEE,)2()1(22nnn,)2(1)ˆ(22nnD故),ˆ()ˆ(,212DDn所以又.ˆˆ12有效较下面讨论建立一个方差下界的罗-克拉美不等式11(,){},.(,,)(),:1{:(,)0}(,)()(,)(,)(6.23nnfxabababugxfxfxgfxfxdxdx设母体具有概率密度，：，为已知常数，可以设，,,为取自母体的一个子样又是的一个无偏估计且满足正则条件（）集合与无关；（2)与存在，且对一切，罗-克拉美不等式111111)(,)(,)(,)(,)[(,)](6.24)nnnnniniuxxfxfxdxdxuxxfxdxdx2211ln(,)(3)()()0.[()](6.25)(),,,,ln(,)(())(6.26).(),(6.25)1(nniifIEgDnIKfKggDnI令称为信息量则且等式成立的充分必要条件为存在一个不依赖于但可能依赖于的使得等式以概率1成立特别当时不等式化为(6.27))..这个不等式是罗-克拉罗和克拉美几美不等乎同时提出的，所以称为也称为式信息不等式注（1）称满足上述两个正则条件（1）和（2）的估计量为正规估计。（2）罗-可拉美不等式所规定的下界不是整个无偏估计类的下界，而是无偏估计类的一个子集——正规无偏估计类的下界。2222(),(,)(,)(6.36)ln(,)()[](6.37)IfxfxdxdxfIE性质为了便于计算信息量下面有一个重要性质若则16.11(1),0,1(,)0,.xxpppxfxpp例设母体服从参数为的0-1分布，即其他证明：的一个无偏估计达到了罗可拉美不等式的下界2210,1ln(,):[ln(1)ln(1)]1.1ln(,)1[()]()(1)11,(1)1()(6.39)(1)(1)1()().()xxxfxpxpxpppxxppfpxxEpppppppIpppDpPDPDnnnIpp证明由于因此，的一个无偏.估计达到了罗可拉美不等式的下界6.12,0,1,(,)!0,.xexfxx例设母体服从参数为的普哇松分布，即其他证明：的一个无偏估计达到了罗可拉美不等式的下界22ln(,):[lnln(!)]1.ln(,)1()[()](1)(6.40)1()().().fxxxxfIEEDDDnnnI证明由于因此，的一个无偏估计达到了罗可拉美不等式的下界对于方差达到罗-可拉美不等式所规定的下界的估计，给它名称如下：2111211()log(,)().,,()1()6(6.41)()ln(,),()[()].46.5.DfnEDnIeDfIE若的一个无偏估计使罗—克拉美不等式中等式成立，则称为的一个有效估计若是的一个无偏估计且罗—克拉美不等式中等式下界存在则称下界与的比为估计的有效率这里定义定义2126.13,,,(,).nN例设是取自正态母体的一个子样，证明：的一个无偏估计是的有效估计22()22222242211():ln(,)ln[]ln222ln(,)ln(,)11()[()]()1()().().xxfxefxxfIEEDDDnnnI证明由于因此，的一个无偏估计是的有效估计1(),1()().6.1,6.6.nIenD若是的一个无偏估计且有效率则称为的渐近有效估计满足定理中条件得出的估计是渐近有效估计因此它是渐近正态渐近无偏、渐定系近有效估计义2122212*2221226.14,,,(,)1().1(2)()1.nniinniiNSnSn例设是取自正态母体的一个子样，（1）若为已知，可以证明是的一个有效估计若为未知,是的一个无偏估计，但它不是的一个有效估计，而是的一个渐近有效估计22()222222222224222462222246641ln(2)():ln(,,)ln[]222ln(,,)()1ln(,,)1();()22()2ln(,)(6.37)()[]1()1()=[]=22xxfxefxxfxxfIEIE证明由于由式得到：442221422422111.22.1()(),12[()]2,[()]2,[].niinniiiinnDnDnDSn因此罗可拉美不等式的下界为由于服从分布*2222212224114*222144(1)1(2)()-1)11[()][()]2(1),12[][()].(1)1211().21nniinniiiinniinSnDDnDSDnnnnennn由于服从（，所以有效率为复习一致估计有时候我们不仅要求估计量有较小的方差，还希望当样本容量n充分大时，估计量能在某种意义下收敛于被估计参数，这就是所谓相合性（或一致性）概念。定义6.1设是未知参数估计序列，如果依概率收敛于，即对任意，有12ˆˆ,,...,nnnnˆ0ˆlim{||}0nnP定理（补充）设是的一个估计量，若nˆˆlim{||}1nnP或则称是的一致估计量（相合估计）。nˆnnEˆlim0ˆlimnnD且则是的一致估计（相合估计）。nˆˆ0nP22ˆ1nE证明：由于22ˆˆ1nnED22])ˆ()ˆ(ˆ[1nnnEEE令且由定理的假设，得n0limnnP即是的一致估计nˆ例（补充）若总体的和存在,则样本均值是总体均值的相合估计.ED解：EElimlim0nnDDn一般地,样本的k阶原点矩是总体的k阶原点矩的一致估计.由此可见,矩估计往往是一致估计.11nkkiinkE六、小结估计量的评选的三个标准无偏估