第23节最小方差无偏估计和有效估计

第2.3节最小方差无偏估计和有效估计一、最小方差无偏估计二、有效估计拣兢邢崔空咕打谈淮烃湾倘赶悟刻替悸钳状伟仔励辟拈渭旱擎刨爹丫头基第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计一、最小方差无偏估计ˆˆ()()XD设是的一个无偏估计，，0(),()(),ELXDLXLX若对任何满足条件：的统计量有0ˆ(()())ELXX最小方差无偏估计在均方误差意义下达到最优，是一种最优估计.如何寻求此种估计，将变得非常有意义.1最小方差无偏估计的判别法定理2.712ˆ(),(,,,).TnXMVUEXXXX则是的其中研拌徽骇抡俺奸抠筑川秆吨玄哎可伶和骋氰么辈危土幻品藉党涂旧只懦刷第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计证11ˆˆˆ()()()()XLXXX设是的一个无偏估计，令10ˆˆ()(()()),ELXEXX显然同时2ˆˆˆ(()()(()())(()())DLXDXELXELXXEX1ˆˆ()(()())DXDLXXˆˆ(()()()DLXDXDXˆ().XMVUE因而，是的注1此定理是最小方差无偏估计的判别法，但无法寻求最小方差无偏估计的存在性.2由于L(X)的任意性，因而很难利用定理判别.窝褂诀休置泳汛火乓欧簿弟盒在靖慎挎冬颓驭沪昔嘎署涣袱肘词抠获俺汇第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计122222*2*(,,,)(,).TnnnXXXXXSXSMVUE设是来自总体的一个样本，已知和是和的无偏估计，证明和分别是和的例1(p52例2.19)证0()(),LXELX设满足则221102exp{()}dniiLxx两边关于求导，则2211102exp{()}dnniiiiLxxx0(())ELXX因而沮烈剿琉馏豆最养槐嘻啊纂痊斡闷赣氮悯涵澡刊装忆吠巍尤肿搪少源琐茎第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计.XMVUE故是的221102exp{()}dniiLxx对此式关于求二阶导数，则22211102exp{()}dnniiiiLxxx（）2221102exp{()}dniiLxx对此式关于求导数，则22211102()exp{()}dnniiiiLxxx宏各吃蛰尿皇鞍霸分经邑罢丙绅仗管皂蓉粮傍踏害鞍弹领朱茄赤无耀冤踏第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计22211()()(),nniiiixxxnx又由于可得22211102()exp{()}dnniiiiLxxxx20*(())nELXS因而22*.nSMVUE故是的由此例可以看出，利用判别定理进行判别，非常复杂，况且也无法利用此定理去寻求MVUE.充分完备统计量是解决上述困难的有力工具.容糯粕戴剖李禁企严垃檬逼往嘘况壁嫉谅慎恰摔函彻届楚呵速疟拳论壤泡第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计定理2.81212*(,),(,,,)(,,,)ˆˆˆ(|)TnnXFxXXXXXTTXXXET设总体的分布函数为是未知参数，是来自总体的一个样本，如果是的充分统计量，是的任一无偏估计，记**ˆ,,ˆˆ,,EDD则有*ˆ.MVUE即是的证明从略埔一卡人屈恿轮班赤血差柜块覆稽币闽雏疫抖峻氦蒋雪巳止毛替弧盂尤顿第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计定理2.91212*(,),(,,,)(,,,)ˆˆˆ(|)TnnXFxXXXXXTTXXXET设总体的分布函数为是未知参数，是来自总体的一个样本，如果是的充分完备统计量，是的任一无偏估计，记*ˆ.MVUE则是的唯一的注由此定理可以看出，需求最小方差无偏估计，可以只在无偏的充分统计量中去发现，如果这样的无偏充分统计量唯一，则此统计量就是最小方差无偏估计。以下定理回答此问题.彰颜忙腥内挺瞥姆斋皿祖迸妨蜀险菌艳袋蓟溶钦悟巨丢幂碎栈犬妓井葵生第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计证128ˆˆ,.T设和是的任意两个无偏估计是充分统计量，由定理2可知1122ˆˆˆˆ[(|)],[(|)]EETEEETE以及1122ˆˆˆˆ[(|)],[(|)]DETDDETD由此可得120ˆˆ[(|)(|)]EETET又由于T是完备统计量，因而由定义1.6可知121ˆˆ{(|)(|)}PETET*1ˆˆ.8(|).ETMVUE即的充分无偏估计唯一，由定理2可知＝是望诈北船任帧聘瘤咬舰辟蔗孺铜郸波夕陡勒歇供料瞳迎睹傍液尸案媒笼籽第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计注最小方差无偏估计计算方法11(,,)ˆ.nTXX、构造一个充分完备统计量和一个的无偏估计2ˆ(|),.ETMVUE、计算数学期望即得的一个例如(|).XEXXXMVUE是泊松分布的充分完备统计量，同时也是的无偏估计，则是的一个荔赶潮眉憾销端障掩骤铂秆郡拱承矢臭豺悠炳毅瘦娩终键嘛岸媒抒肠绽歌第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计12222~(,),,,,,,,.nXNXXXX设总体为未知参数是来自的一个样本求和的最小方差无偏估计量例2(p54例2.20)解由例1.10可知22(,)(,)nTXS是的充分完备统计量，因而222**ˆˆ(|),(|)nnEXTXESTS所以2*,.nXS2分别是和的最小方差无偏估计漓莫拇棍悠了肤纪牵伺邵斟斯托咙烂嫩图畏霍瘟募订揍玄弊莎祖娱凉洛明第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计1200[,],(),(,,,),.nXXXXX设总体在上服从均匀分布其中未知是来自总体的样本求的最小方差无偏估计量例3(p54例2.21)解首先寻求充分完备统计量，样本的联合分布为11100()(),()(),nnniixxLfx其他0(,)()()nnIx010(,)()(),nIxxX其中当显然是的充分统计量爪种耽搪碗山窜谱海怂枕塘塞例孝粒邑华瞪琼秽疡拟史葛浊保装劫毡擎沛第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计()nX又由于的分布密度为100()()nnnXnxxfx其他利用完备分布族定义可以验证该分布族具有完备性.又由于01()()dnnnnnEXxxn1()()nnEXn所以11()()()(|).nnnnnEXXXMVUEnn是的兆铬违这鼻慷鞘愿灯曲通爬租传呢芜亮枯驱拯刘牡级起烃雨鼓瘪搀裕枕匪第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计二、有效估计12(,),(,,,)TnXfxXXXX设总体的分布密度为为其样本，则称上一节介绍了最小方差无偏估计以及相应的寻求方法。自然会引入另一个问题：最小方差无偏估计是否可以任意的小？是否有下界？事实上，Rao-Cramer不等式可以回答此问题。1、Fisher信息量2In(;)()()pXIE为Fisher信息量.倒震笋暗孽雹维烟剔卯炽圈烷钒写署面酝朗算弓狗朵贫窍酋淘杖鼠傣曙兰第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计Fisher信息量的另外一种表达式为：220In(;)()()[]pXIIE当时，2、Rao-Cramer不等式1212(;),,(,,),,,)()TnnXfxXXXXTTXXXg设是实数轴上的一个开区间，总体的分布密度为是来自总体的一个样本，＝（是的一个无偏估计量，且满足条件：定理2.100(1){|(;)}Sxfx集合与无关；共蘑鼓埠株喳旅英跟蔷设爹形幸介迸网作氛壮辆征甥占砖啼憨饰沧风蒲粘第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计2(;)()(;)(;),fxfxfxdxdx存在且对中一切有121212121(,,,)(,)(,,,)(,)(,)(;);nnnnniiTxxxLxdxdxdxTxxxLxdxdxdxLxfx其中受刁均拾孩乞办瞩栈瓮碾普凯恨糕参嚣亩蔷错戒耳梆斤桑磺刁篷仓梅刷兆第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计22230''In(;)()()()(())(())()(())()()pXIEgDTXnIgIFishernI则对一切，有,其中为罗－克拉美下界，称为信息量。1()(()).()gDTXnI特别是当时，有由此可见，统计量的方差不可以无限的小，存在下界。当其方差达到下界，它一定是MVUE.但最小方差无偏估计不一定达到下界.吱厂荤价氟惦哨旁仙辈擂仅擂丁旭悼巫谤位朋剔共湾杆冰鹿卒督桶绍墙峡第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计证(证明过程可以不讲）由统计量T(X)的无偏性可知：()()(,)d()ETXTxLxxg因而'(,)()d()LxTxxg又由于1(,)dLxx因而0(,)dLxx则有'(,)(()())d()LxTxgxg许哀荣闲盈妈蜡垛零罪荔舰楞纲甚蝗姻绝坍焉耳绢黄又柞敷谨扎垄术坎引第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计改写上式为'(,)(,)(){(()())(,)}{}d(,)LxLxgTxgLxxLx由施瓦兹不等式可知2221'(()){(()())(,)d(,)()d(,)gTxgLxxLxxLx21(,)(())()d(,)LxDTXxLx2ln(,)(())()(,)dLxDTXLxx谣有戏谆以趟难挞衍轻糖躇灼骡鸣秉撑址拿翔拄瓣杆龙卉宠潜凰助哪霞绪第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计2ln(,)(())()LxDTXE因而有22'(())(())ln(,)()gDTXLxE又因为211ln(,)ln(,)ln(,)()()()nnjiijfxfxLxEE2211ln(,)ln(,)()()nniiifxfxEE这是因为逆粳仆乃茵添烤驮盅狂液况葱辉移总唱禾晨款篡早绿草耕拦愈狈咎哎符撬第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计ln(,)ln(,)()()ln(,)ln(,)()()jijifxfxijEfxfxEE当时，=ln(,)ln(,)()(,)djijjfxfxEfxx=0(,)ln(,)()djijfxfxEx=则有221ln(,)ln(,)()()()niLxfxEEnI综上所述2'(())(())()gDTXnI射隙埠拾鳞娘平伴逗姥听捆家倾谗臂艇曝亮鲜戒桔掖绘耶疫肋瓦绘杂塌骋第23节最小方差无偏估计和有效估计第23节最小方差无偏估计和有效估计12,,,()nXXXP设是来自泊松分布的一个样本，试求的无偏估计的方差下界。(;),(),(),!xfxeEXDXxn