概率统计和随机过程课件8.2 点估计量的优良性

第二节点估计量的优良性11、矩方法；（矩估计）2、极大似然函数法（极大似然估计）.复习点估计的方法1.矩方法方法用样本的k阶矩作为总体的k阶矩的估计量,建立含有待估计参数的方程，从而可解出待估计参数2设待估计的参数为k,,,21设总体的r阶矩存在，记为),,,()(21krrXE设X1,X2,…,Xn为一样本，样本的r阶矩为nirirXnB11令kr,,2,1),,,(21krniriXn11——含未知参数1,2,,k的方程组3解方程组，得k个统计量：),,,(ˆ),,,(ˆ),,,(ˆ21212211nknnXXXXXXXXX——未知参数1,2,,k的矩估计量),,,(ˆˆ),,,(ˆˆ),,,(ˆˆ2121222111nkknnxxxxxxxxx——未知参数1,2,,k的矩估计值代入一组样本值得k个数:4定义1:(1)设r.v.X的概率密度函数为f(x,),其中为未知参数(f为已知函数).x1,x2,,xn为样本X1,X2,,Xn的样本观察值,121()(,,,;)(;)nniiLLxxxfx称为变量X关于样本观察值x1,x2,,xn的似然函数。(2)若X是离散型随机变量，似然函数定义为121(,,,;)()nniiiLxxxPXx12(,,,;)nLxxx2.极大似然估计5);,,,()(21nxxxLL定义2如果似然函数在时达到最大值,则称是参数的极大似然估计。ˆˆˆˆ通常步骤：第一步似然函数为1211(,,,;)(,,)nnikiLLxxxfx注:求导不是求极大似然估计唯一方法第二步ln0,1,idLikd令解出1ˆˆ(),1,iinxxik6对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题应该选用哪一种估计量?用什么标准来评价一个估计量的好坏?常用标准(1)无偏性(3)一致性(2)最小方差无偏估计（有效性）第二节点估计量的优良性7一、无偏估计12ˆ(,,,)nxxxˆˆ()E则称ˆ为的无偏估计。定义1设(简记为)为未知参数的估计量，若(真值)8例1：样本均值和样本方差分别是总体均值和总体方差的无偏估计量.计算2ES])(11[212niiXXnEES2211{[2]}1niiiEXXXXn22111{[]}1nniiiEXnXn)]()([112222nnnn22)1(11nn),,,(21nXXX是总体X的样本,一般的设总体X的k阶矩)(kkXE存在容易知道:不论X服从什么分布,nikikXnA11是k的无偏估计量.102222)(iiiEXDXEX2222)(nXEXDXE例2设总体X的概率密度为其它,00),(6)(3xxxxfˆˆD(4)求的方差X1,X2,,Xn为来自总体X的样本.(1)求总体均值EX,总体方差DX；ˆ(2)求的矩估计量;ˆ(3)是否为的无偏估计；11解(1)总体均值dxxxxdxxxfEX)(6)(03dxxx)(630232|)4131(60433xxdxxxxdxxfxEX)(6)(03222dxxx)(6403320543103|)5141(6xx总体方差22222201)2(103)(EXEXDX12(3)2222)2(ˆEXXEXEEˆ所以是的无偏估计;ˆDXnXDXDD144)2(ˆ225120114nn(4)的方差(2)令XEX得的矩估计量为X2ˆ13二、最小方差无偏估计12ˆˆ()()DD则称是的最小方差无偏估计。1ˆ定义2设是的一个无偏估计，若对于的任一无偏估计，成立1ˆ2ˆ),,,(ˆ2111nXXX定义设有效性),,,(ˆ2122nXXX都是总体参数的无偏估计量,且)ˆ()ˆ(21DD则称1ˆ2ˆ比更有效.14例3设X1,X2,,Xn为来自于总体X的样本,总体均值EX=,总体方差DX=2,求的最小方差线性无偏估计。解已知X1,X2,,Xn独立且与X同分布,2,,1,2,,iiEXDXin的线性估计是将X1,X2,,Xn的线性函数nnXaXaXa2211问题是如何选取的值，使得无偏性和最小方差这两个要求都能得到满足。naa,,1作为的估计量。15)()(1222211niinnaXaXaXaD无偏性要求niia11最小方差要求niia12这是一个求条件极值问题，用拉格朗日乘数法，令达到最小，2111(,,)(1)nnniiiigaaaa易知11221()()nnniiEaXaXaXa由条件111nniiiaana得到1/an于是11niiXXn是的最小方差无偏估计。12naaaa20,1,2,,iigaina得niai,2,12112321233123131115ˆˆ,,51023412131ˆ3412XXXXXXXXX12ˆˆ()()DD1ˆ2ˆ1ˆ2ˆ若和都是的无偏估计量，且成立，则通常称估计量较有效,或较佳,或较优.例设X1,X2,X3为总体的一个样本,试证下列估计量都是总体均值的无偏估计量,且问哪一个最佳？18三、一致估计设为总体参数的估计量，显然与样本X1,X2,,Xn有关，我们希望会随着样本容量n的增大而越接近于，这一要求便是衡量估计量好坏的另一标准。12ˆ(,,,)nXXXˆnˆˆn12ˆ(,,,)nnXXXˆlim{||}1nnPˆn则称为的一致性估计。定义3设为未知参数的估计量，若依概率收敛于，即对任意的0,成立20X例4试证样本均值为总体均值的一致性估计。niiXnEXE1)1()(证因为lim1nPX1)1(1lim11niniiinXnEXnP所以，对于相互独立且服从同一分布的随机变量X1,X2,,Xn，由大数定理，即得此外,还可证明样本方差S2是总体方差2的一致性估计.21例5证明正态总体N(,2)的样本方差S2是总体方差2的一致性估计量。证由切比雪夫不等式有2222221DSESSPSP而22242222)1()1(1)1(SnDnnSnDDS12)1(2)1(424nnn1lim22SPn)1(212422nSP22例6X~N(0,2),其中0为已知,X1,X2,,Xn为样本,记22*011()niiSXn证明为2的无偏估计,一致估计.2*S注意:不是样本的二阶中心矩.2*S本题即要证2222**(1),(2)lim{||}1nESPS24222**2,ESnDSnn2222**0211(1)()~()niinSSXnn42222**22(2){||}111()nDSPSn23例7总体X的概率密度X1,X2,X3为样本10()0xfx其它112321234ˆˆmax(,,),4min(,,)3XXXXXX12ˆˆ,证明为的无偏估计量,并比较它们的有效性.解:记Y=max(X1,X2,X3),Z=min(X1,X2,X3)33()[()](),(0)YXxFxFxx2422333(),()(1)YZxxfxfx230334xEYxdx2031(1)4xEZxdx12ˆˆEE为的无偏估计量12ˆˆ,33()1[1()]1(1),(0)ZXxFxFxx22141ˆ()315DDY229ˆ15D同样的方法可得:1ˆ2ˆ因此比更为有效422223022233()5333()5480xEYdxDYEYEY26设总体分布含有一未知参数，又x1,x2,,xn为来自于总体的样本，若对于给定(01)，统计量1(x1,x2,,xn)和2(x1,x2,,xn)满足1121{(,,)(,,)}1nnPxxxx则称区间[1,2]为相应于置信度是1-的置信区间，简称置信区间。一、置信区间第三节置信区间1,2分别称为置信下限和置信上限.(1-)称为置信度。注意：区间[1,2]是随机区间。二、单侧置信限若对于给定的(01),统计量1(x1,x2,,xn)满足1)},,({11nxxP28则称区间[1,+)为相应于置信度是1-的单侧置信区间，1称为置信度是1-的单侧置信下限。类似，满足下式问题:如何确定总体参数的区间估计[1,2]呢？对于一般总体是难于确定的.现仅能确定正态总体N(,2)中参数,2的区间估计这对许多实际应用已经够了.21{(,,)}1nPxx的2为单侧置信上限。我们知道，正态随机变量是最为常见的，特别是很多产品的指标服从或近似服从正态分布。因此,我们主要研究正态总体参数的区间估计。先研究均值的区间估计，然后再研究方差的区间估计。这些在实际应用中是很重要的.第四节正态分布均值和方差的区间估计30211()~(,)nXXXNnn设总体X~N(,2)，其中2已知，又X1,X2,,Xn为来自于总体的样本。一.均值EX的区间估计下面分两种情况进行讨论。1.方差DX已知，对EX进行区间估计由第七章第三节中的结论可知于是~(0,1)/XUNn3121)(}{2121zzUP12{||}1进而有PUz121/xPzn即11221Pxzxznn由标准正态分布可知，对于给定的，可以找到一个数z1-/2，使3220.97511.96zz当＝0.05时,查标准正态分布表得临界值此时的置信区间是2211[,]nnxzxz即为的置信区间。称z1-/2为在置信度1-下的临界值，或称为标准正态分布的双侧分位点。区间[1.96,1.96]nnxx0.995122.58zz2.58,2.58xxnn当＝0.01时,查标准正态分布表得临界值此时的置信区间是34作业•习题八5，6，8，935