3.6-无偏性和有效性

13.6点估计的优良性准则2为估计,我们需要构造出适当的样本的函数T(X1,X2,…Xn)，每当有了样本，就代入该函数中算出一个值，用来作为的估计值.把样本值代入T(X1,X2,…Xn)中，得到的一个点估计值.T(X1,X2,…Xn)称为参数的点估计量，3X~N()2,μσ使用什么样的统计量去估计？问题是:可以用样本均值;也可以用样本中位数;还可以用别的统计量.4(2)怎样决定一个估计量是否比另一个估计量“好”？需要讨论以下几个问题:(1)我们希望一个“好的”估计量具有什么特性？(3)如何求得合理的估计量？5这是因为估计量是样本的函数，是个随机变量.因此，由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出优良性.即需要讨论对应于样本分布所得到的估计量的分布。二、估计量的优良性准则在介绍估计量优良性的准则之前，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.6常用的几条原则标准是：1.无偏性2.有效性3.相合性7估计量是随机变量，对于不同的样本值会得到不同的估计值.我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值.这就导致无偏性这个标准.一、无偏性8则称为估计量的偏差.若则称为的渐近无偏估计.若)ˆ(E则称为的无偏估计.ˆ),,(ˆ1nXX设是未知参数的估计量，若1.定义3.6.3P789例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差.无偏性是对估计量的一个常见而重要的要求.无偏性的实际意义是指没有系统性的偏差.10例3.6.2设X1,X2,…,Xn是取自具有一阶矩、二阶矩存在的总体X一个样本，证明11.1,,,,,)1()(121的无偏估计阶总体矩是阶样本矩总体服从什么分布论的一个样本，试证明不是又设存在阶矩的设总体knikiknkkkXnAkXXXXkXEkX证同分布，与因为XXXXn,,,21)()(kkiXEXE故有.,,2,1,niknikikXEnAE1)(1)(即.k一般的，12试问：132.无偏性的弱点无偏估计量是对估计量的一个重要而常见的要求，实际意义是多次试验后没有系统性的偏差，也是工程技术中完全合理的要求，但不要一味认为估计量不满足无偏原则，就是“不好”的估计量。(3)无偏估计知只反映了估计量在参数真值附近波动。14例2的样本，其中事实上设X1,X2,…,Xn是取自总体X：15但是，此估计量有明显的不合理：从而，仅有无偏性原则不够。例2的样本，其中设X1,X2,…,Xn是取自总体X：16.),,,max(12,,,0,,][0,2121的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnXXXnnXXXXXX证)(2)2(XEXE因为)(2XE,22.2的无偏估计量是所以X的概率密度为因为),,,max(21nhXXXX其他,0,0,)(1xnxxfnn例17xnxxXEnnhd)(01所以,1nn,1hXnnE故有.),,,max(121的无偏估计量也是故nXXXnn18所以无偏估计以方差小者为好,这就引进了有效性这一概念.的大小来决定二者谁更优.21)ˆ(E和2ˆ1ˆ一个参数往往有不止一个无偏估计,若和都是参数的无偏估计量，我们可以比较22)ˆ(E211)ˆ()ˆ(ED由于222)ˆ()ˆ(ED19二、有效性D()≤D()2ˆ1ˆ则称较有效.2ˆ1ˆ都是参数的无偏估计量，若对任意，),,(ˆ11nXX),,(ˆˆ122nXX1ˆ设和θ且至少对于某个上式中的不等号成立，θ20二、最小方差无偏估计目的是:寻找一个最有效的估计量.记为：MVUE.定义3.6.4P79211.最小方差无偏估计提供了一种优良的估计，然而一个更深入的问题是：无偏估计的方差是否可以任意小？如果不可以，那么它的下界是多少？这个下界等否达到？定理3.6.1(Cramer-Rao不等式)设X1,X2,…Xn是从密度函数为的总体抽取的样本,是的一个无偏估计,若(1)集合与无关;(2)对积分与微分可交换且存在，即(3)则有其中常称为Fisher信息量.特别当,有常称为C-R不等式.费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I()有关。I()的种种性质显示，“I()越大”可被解释为总体分布中包含未知参数的信息越多。例设总体服从泊松分布，X1,X2,…Xn是来自总体的一个样本，试求参数的无偏估计的下界？解:(1)写出密度函数(2)求密度函数对数、再求导(3)计算fisher信息量(4)代入C-R不等式求方差下界1.写出密度函数，求对数2.计算fiser信息量3.代入C-R不等式求方差下界例设X1,X2,…Xn是取自总体X~的一个样本,求的无偏估计的方差下界.解:(1)写出密度函数(2)求密度函数对数、再求导(3)计算(4)代入C-R不等式求方差下界最后寻找无偏估计中满足方差下界的估计量.1.写出密度函数2.求密度函数对数3.计算fiser信息量4.代入C-R不等式求方差下界2.求密度函数对数的导数3.计算fiser信息量4.代入C-R不等式求方差下界5.计算最小方差无偏估计的方差302、有效估计例3.24设X1,X2,…Xn是取自总体X~B(N,p)的一个样本，验证是参数P的有效估计量.1.写出概率函数,再求对数2.计算fiser信息量3.代入C-R不等式求方差下界4.计算无偏估计的方差5.计算效率