概率论 第7章 参数估计

第7章参数估计第7章参数估计欧启通主编.概率论与数理统计.浙江大学出版社,2014.22§7.1点估计§7.2点估计的优良标准§7.3区间估计第7章参数估计先看一看统计推断的大体思路:总体样本统计量描述作出推断随机抽样统计推断的基本问题分为两大类:1、估计问题（本章）2、假设检验问题（第八章）欧启通主编.概率论与数理统计.浙江大学出版社,2014.23参数估计问题是利用从总体抽样得到的样本来估计总体的某些参数或者参数的函数.在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.参数估计点估计区间估计欧启通主编.概率论与数理统计.浙江大学出版社,2014.24第7章参数估计1212121212(,)ˆˆ,,,(,,,)ˆˆ()(,ˆ,,)()nnnnnXFxnXXXXXXxxxXXXxxx设总体的分布函数含有未知参数，抽取容量为的样本构造一个统计量，用它的观测值,,,来估计未知参数，称为的，,,,称为估计量的估计值.参数的点估计(方法)：指用样本统计量的值估计未知参数的值。§7.1点估计点估计矩估计法极大似然估计法欧启通主编.概率论与数理统计.浙江大学出版社,2014.257.1.1矩估计法欧启通主编.概率论与数理统计.浙江大学出版社,2014.26——英国统计学家皮尔逊(K.Pearson)理论根据：只要总体的l阶矩存在,样本的l阶矩依概率1收敛于总体的l阶矩。111ˆ()1ˆ[()]()nkkkkkiinkkkkkiiEXAXnEXEXBXXn总体矩总体矩的估计值样本矩矩估计法：是用样本矩估计相应的总体矩，用样本矩函数估计总体矩的同一函数的一种估计方法。22112221ˆˆˆ,,nAXBssn显然，通常取。欧启通主编.概率论与数理统计.浙江大学出版社,2014.26(1)X总体的概解率密度函数X考虑总体的一阶原点矩即总体的期望1111niiVXn用样本的一阶原点矩作为的估计量：11,2niiXn12ˆ2niiXXn得的估计量：12[0,](0),,,.ˆ(1)(2)9.58,9.50,9.70,10.00,9.93,9.99,10.60,10.49.1nXXXXX已知总体在服从均匀分布，其中为未知参数，是总体的一个样本求的矩估计量；若为一组样本观察值，求的例矩估计值1()()XEX()dxfxx20dxx1,0,()0,.xfx其他欧启通主编.概率论与数理统计.浙江大学出版社,2014.278119.9748iixx(2)代入样本观察值，求解得样本均值ˆ:219.95x则得的估计值12[0,](0),,,.ˆ(1)(2)9.58,9.50,9.70,10.00,9.93,9.99,10.60,10.49.1nXXXXX已知总体在服从均匀分布，其中为未知参数，是总体的一个样本求的矩估计量；若为一组样本观察值，求的例矩估计值欧启通主编.概率论与数理统计.浙江大学出版社,2014.2822~(,)2,,XN设总体试求例的矩估计量。2(),(),EXDX由于据矩解估计法有11222211,1.niiniiXnXn221111()nniiiiXXXXXnn解得2,即的矩计量分别为：X考虑总体的一、二阶原点矩122()()()()XEXXEX211ˆˆ,()niiXxxn欧启通主编.概率论与数理统计.浙江大学出版社,2014.291212~[],1XU设总体，，试求练习的矩估计量。2211()(-),12DX1122mAcB1222121()21()12XB即12 解得，的矩估计量为：据矩估计法有121()(),2EX由于解1222ˆˆ3,3XBXB欧启通主编.概率论与数理统计.浙江大学出版社,2014.210{}(0,1,20!2)kXPXkekk设总体服从参数为的泊松分布，即；试求的矩练习估计量.(),EX由于据矩解估计法有ˆX (),DX又由于2ˆS故可得的另一个矩估计量为由此可见一个参数的矩估计量是不唯一的.欧启通主编.概率论与数理统计.浙江大学出版社,2014.211矩法的优点是简单易行，并不需要事先知道总体是什么分布.缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下，矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.在一般情况下，通常采取的原则是：能用低阶矩处理的就不用高阶矩．极大似然估计法是求估计值的另一种方法，最早由高斯(R.A,Gauss)提出，后来为费歇尔（Fisher)在1921年重新提出，并证明该方法的一些性质．它是建立在极大似然原理基础上的一个统计方法．极大似然原理：一个随机试验有若干种可能的结果A，B，C，…．若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。7.1.2最大（极大）似然估计法欧启通主编.概率论与数理统计.浙江大学出版社,2014.213引例设有外形完全相同的两个箱子，甲箱有99个白球1个黑球，乙箱有1个白球99个黑球，今随机地取出一箱，再从取出的一箱中抽取一球，结果取得白球，问这球是从哪一个箱子中取出的？解甲箱中抽得白球的概率P(白|甲)＝99/100，乙箱中抽得白球的概率P(白|乙)=1/100。白球从甲箱中抽出的概率比从乙箱中抽出的概率大得多，根据极大似然原理，既然在一次抽样中抽得白球，当然可以认为是从抽取概率大的箱子中抽出的，所以，可作出统计推断：白球是从甲箱中抽出的.欧启通主编.概率论与数理统计.浙江大学出版社,2014.2141211(;)(,(;)),,,       (;)(,,;)(;)(;)()ˆnnniiXpxXpxxxxLxLxxpxLxL设总体的概率密度函数为若是离散型是分布律，则样本的联合密度函数为：称为样本的,记为.使似然函数取得最大值的称为的.这种方法似然函数最大似然估计量最大似然称为估计法.欧启通主编.概率论与数理统计.浙江大学出版社,2014.21511(1)(;)(,,;)(;)nniiLxxxfx写出似然函数求极大似然估计的步骤:12ˆˆ(2)(;)(,,,).nLxxxx求出使达到最大值的(,)lnlnˆ.LxLL特别地，若的取值范围为开集时，可转化为求的驻点取对数，求关于未知参数的导数.由导数等于零解得的估计值欧启通主编.概率论与数理统计.浙江大学出版社,2014.216(3~)XP设,求极大似然估例计.1,,nXXX设为样本的一组解观测值，总体的概率分布律为11111()(,,;)!!!!ninixxxnnnnLLxxeeexxxx11lnlnln(!)nniiiiLnxx1ln100niidLnxd对求导数，并使其等于得11ˆ.niixxn解得的极大似然估计为：10136518794265778812310.n比如，样本观测值为：，，，，，，，，，，ˆ58.x则,0,1,2,!xPXxexx两边取对数似然函数为：欧启通主编.概率论与数理统计.浙江大学出版社,2014.2171,0-10,(),014.例AXpXAAPAppp若发生设总体服从参数为的“”分布，其中,若不发生其中为事件，且其中为未知参数，求的极大似然估计量欧启通主编.概率论与数理统计.浙江大学出版社,2014.2181,,nXX设为总体的一个样本，其解概率分布律为1112(,,...,;)(1),nniiiixnxnLLxxxppp11ln()ln()ln(1).nniiiiLxpnxp11dln11()()0d1nniiiiLpxnxppp对求导数10niinpx解得1(1),0,1,1,2,,iixxiiiPXxppxin两边取对数似然函数为：11ˆ.niippxn的极大似然估计为：22~(,,5,XN设）求的极大似例然估计.1,,nxx设为样本的一组观测值，于是似然解函数为：22221()()22222111(,;,)(2)2niiixxnnniLxxee，2221()lnln(2)22niixnL两边取对数2得，的极大似然估计值为：2122241ln1()0ln11()022iininiLxLnx由22211ˆˆ,()niniXXXSn欧启通主编.概率论与数理统计.浙江大学出版社,2014.21912[0,](0)ˆ,,,6nXXXXX已知总体在服从均匀分布，其中为未知参数，是总体的一个样本，求的最大似然估计值例.1,,nxx设为样本的一组观测值，于是似然解函数为：10,1,,(,,;),0ninxinLxx，，其他12ˆmax{,,,}.nxxx所以的极大似然估计量为：对同一个参数用不同的方法得到的估计量可能不相同！1;,,(1,2,3,),nniLLxxxin显然是的一个单值递减函数.要使（）达到极大，就要使达到最小，但不能小于每一个[]选哪一个估计的结果更好呢？有没有评价估计量好问题：坏的标准？欧启通主编.概率论与数理统计.浙江大学出版社,2014.220欧启通主编.概率论与数理统计.浙江大学出版社,2014.221§7.2估计量的评选标准在介绍估计量优良性的准则之前，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.这是因为估计量是样本的函数，是随机变量.因此，由不同的观测结果，就会求得不同的参数估计值.因此一个好的估计，应在多次试验中体现出优良性.对于总体X的同一个参数，由于采用不同的估计方法，可能会产生多个不同估计量。那么那一个估计量好呢？好坏的标准是什么？欧启通主编.概率论与数理统计.浙江大学出版社,2014.222§7.2估计量的评选标准1、无偏性2、有效性3、一致性常用的几条标准是：1、无偏性欧启通主编.概率论与数理统计.浙江大学出版社,2014.223一个好的估计量的数值应该在参数的真值周围摆动，也就是估计的期望值与未知参数的真值相等.ˆˆ()1ˆE定义设为未知参数的一个估计量，若，则无偏称为的估计量.P()BA无偏有偏ˆˆ欧启通主编.概率论与数理统计.浙江大学出版社,2014.2231=71niiXXn证明样本均值是总体均值的无偏例估计量。11    ()()niiEXEXn证明X故为的无偏估计量.1=nn11=()niiEXn欧启通主编.概率论与数理统计.浙江大学出版社,2014.224222S即为的无偏估计量.2221111[()]():niinnEXXESnnn注意22121()81niiSXXn证明样本方差是总体方差例的无偏估计。 证明22221111(){}11nniiiiSXXXnXnn22221()1nnnn22211()()()1niiESEXnEXn2211[()(())][()(())]1niiiDXEXnDXEXn欧启通主编.概率论与数理统计.浙江大学出版社,2014.2252