71参数的点估计

第七章:参数估计统计推断的基本问题可以分为两类，一类是估计问题，另一类是假设检验问题，本章讨论总体参数的点估计和区间估计。7.1参数的点估计参数估计就是从样本出发，去构造一个统计量，作为总体中未知参数的一个估计量。设总体X的分布函数的形式已知，但它的一个或多个参数未知，借助于总体X的一个样本来估计总体中未知参数值的问题称为参数的点估计问题。.,,,0,,试估计参数设有以下的样本值为未知参数数的泊松分布为参假设它服从以是一个随机变量次数一天中发生着火现象的在某炸药制造厂X引例250126225490756543210knkk火的天数次着发生着火次数解~(),Xp因为).(XE所以用样本均值来估计总体的均值E(X).6060kkkknknx)162564223542901750(2501.22.1.22.1)(的估计为故XE点估计问题的一般提法1212(,),.,,,,,,,.nnXFxXXXXxxx设总体的分布函数的形式为已知是待估参数是的一个样本为相应的一个样本值.),,,(ˆ),,,,(ˆ2121来估计未知参数用它的观察值一个适当的统计量点估计问题就是要构造nnxxxXXX.),,,(ˆ21的估计量称为nXXX.),,,(ˆ21的估计值称为nxxx.ˆ,简记为通称估计矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.皮尔逊提出。7.1.1矩估计其思想是:用同阶、同类的样本矩来估计总体矩。在引例中，我们以样本均值作为总体均值的估计量，也就是以样本的一阶矩作为总体一阶矩的估计量，这种做法实际上就是矩估计法。矩估计就是用相应的样本矩去估计总体矩。kkE(X),,11nikikXnAk阶原点距样本],[kkEXXEbk）（阶中心矩总体,11kniikXXnBk）（阶中心距样本总体的k阶矩原点矩设总体X的分布函数中含k个未知参数：.,,21k步骤一：记总体X的m阶原点矩E(Xm)为m,m=1,2,…,k.am(1,2,…,k),m=1,2,…,k.一般地,m(m=1,2,…,K)是总体分布中参数或参数向量(1,2,…,k)的函数。故,m(m=1,2,…,k)应记成:步骤二：算出样本的m阶原点矩.,,2,1,11kmXnAnimim步骤三：令（1）式是包含k个未知参数1,2,…,k的联立方程组。12(,,,),(1,2,,)(1)mkmaAmk步骤四：解方程组(1),并记其解为.,,2,1),,,(ˆˆ21kmXXXnmm，),,,()ˆ,,ˆ,ˆ(ˆ2121的矩估计。就是则kk这种参数估计法称为参数的矩估计法，简称矩法。这种估计量称为矩估计量。矩估计量的观察值称为矩估计值.解：先求总体的一阶矩，即期望xxxXEd)1()(10.21d)1(101xx例1：设总体X的概率密度为.,0,10,)1()(其他xxxf的矩估计。求为未知参数。其中1α由矩法，令21X样本矩总体矩解得XX112ˆ为α的矩估计。注意：要在参数上边加上“^”，表示参数的估计。它是统计量。解:先求总体的均值和2阶原点矩。例2：设X1,X2,…Xn是取自总体X的简单样本,X有概率密度函数的矩估计。求。为未知参数，其中其他,0,.,0,,1)()(xexfxxexXExd1)()(令y=(x-μ)/θyeyθyd)(0.θxexXExd1)()(22令y=(x-μ)/θ,)(22d)2(d)(2222022202θθθyeyyθyeyθyy用样本矩估计总体矩的矩估计。为参数,ˆ,ˆniiXnX1222.1)(,令得.)(1ˆ,)(11ˆ1212122niiniiniiXXnXXXnXnXn列出方程组:.)(),(,)(),(2222221XEaXEa.1),(,),(122221niiXnaXaniiXnX1222.1,即例3：设总体X的均值为，方差为2，求和2的矩估计。解：由故，均值,方差2的矩估计为.)(1ˆ,ˆ212XXnXniiniiXXnX122)1ˆ,ˆ（.12Snn即求解，得如：正态总体N(,2)中和2的矩估计为.)1ˆ,ˆ122niiXXnX（又如：若总体X∼U[a,b]，求a,b的矩估计。解：.12)()(,2)(2abXVarbaXE.ˆ12)(,222abXba得解上述方程组，得到a,b的矩估计:(课本P108例7.3).ˆ3ˆ,ˆ3ˆXbXa.)1ˆ12niiXXn（其中矩估计的优点是：简单易行,不需要事先知道总体是什么分布。缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息.此外，一般情形下，矩估计不具有唯一性.比如X~p()，的矩估计不唯一。7.1.2极大似然估计1.极大似然估计的基本思想引例：袋中有4只球，只有白颜色和黑颜色两种．现用放回方式取球3次，每次任取1只球，记取得的3只球中白颜色球数为X．显然X~B(3，/4），其中为袋中的白球数，显然的取值范围为={1，2，3}，如果试验结果是取到了2只白球，应如何估计参数？（课本P109例7.6)解：对于的不同值，事件{X=2}有不同的概率：223(){2}(/4)(1/4)LPXC针对中的不同值，分别计算L()的值，列成下表：１２３L()9/6424/6427/64由于事件{X=2}已经发生，自然认为事件{X=2}发生的概率最大．从表中看到，使事件{X=2}出现概率最大的值为3，可把3作为参数的估计值．综上所述，设总体分布中未知参数的值可能是有限个或无穷多个，它们的集合称为参数空间，记为．极大似然估计的基本思想就是：若事件A发生的概率依赖于未知参数，如果观察到事件A已经发生,那么就在参数空间内选取参数的估计值，使A发生的概率最大．2.极大似然估计法属离散型设总体X)1({}(;),,,PXxpx设分布律为待估参数,,,,21的样本是来自总体XXXXn.);(,,,121niinxpXXX的联合分布律为则)(可能的取值范围是其中,,,,,,,2121的概率取到观察值则样本nnxxxXXX.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx11221{,,,}(;),nnniiPXxXxXxpx令121()(,,,;)(;),nniiLLxxxpxL()随着的不同而变化，它是的函数，称L()为似然函数。1122{,,,}nnXxXxXx即事件发生的概率为，1122{,,,}nnXxXxXx事件已经发生，基于上述极大似然估计的基本思想，可以选取的估计值ˆ，使概率L()达到最大值，即1212ˆˆ()(,,,;)max(,,,;).nnLLxxxLxxx),,,,(ˆ,,,,ˆ2121nnxxxxxx记为有关与样本值这样得到的称为参数的极大似然估计值。),,,(ˆ21nXXX称为参数的极大似然估计量。属连续型设总体X)2(,,),;(为待估参数设概率密度为xf,,,,21的样本是来自总体XXXXn.);(,,,121niinxfXXX的联合密度为则)(可能的取值范围是其中.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx),;();,,,()(121niinxfxxxLL为似然函数，若有12ˆ(,,,),nxxx1212ˆˆ()(,,,;)max(,,,;).nnLLxxxLxxx使12ˆ(,,,)nxxx称为的极大似然估计值，。。。3.求极大似然估计量的步骤;);();,,,()();();,,,()()(121121niinniinxfxxxLLxpxxxLL或写出似然函数一;);(ln)(ln);(ln)(ln)(11niiniixfLxpL或取对数二.ˆ,0d)(lnd,d)(lnd)(的最大似然估计值解方程即得未知参数并令求导对三LL极大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令.,,2,1,0lnkiLi.ˆ),,2,1(,iikik的最大似然估计值数即可得各未知参个方程组成的方程组解出由对数似然方程组对数似然方程例1:设有一批产品，次品率为p，现从中随机抽取100件产品，其中有10件次品，试估计p的值．解：若正品用“X=0”表示，次品用“X=1”表示，则总体X的概率分布为：（p110例7.7）1{}(1),0,1xxPXxppx1210012100,,,,,,xxxXXX设是相应于样本的样本值，则似然函数为10011()(1)iixxiLppp10010011100(1)iiiixxpp10010011ln()()ln(100)ln(1)iiiiLpxpxp取对数得，对p求导，并令其等于零，得解得10010011ln()11(100)0.1iiiidLpxxdppp10011101ˆ.10010010iipxx易验证，是lnL(p)的最大点，因此，p的极大似然估计值为ˆp1ˆ.10px说明：似然方程组或（似然对数方程组）的解，只是似然函数的驻点，还不一定是最大点，即还不一定是极大似然估计值，需要验证，验证时有时较繁琐。今后，当似然方程组或（似然对数方程组）有唯一的一组解时，我们就简单地把这组解作为极大似然估计值，而不需验证。例2：设总体X~N(,2),X1,X2,…,Xn是其一个样本,x1,x2,…,xn是相应样本值，求未知参数和2的极大似然估计量。解：似然函数为,)2(21),(12222)(212212)(2niiixnnixeeL,)(21ln2)2ln(2),(ln12222niixnnL对数似然函数为（p111例7.8）似然方程组为由第一个方程，得到.0)(212),(ln,0)(1),(ln124222122niiniixnLxL；1ˆ1xxnnii代入第二方程，得到.)(1ˆ122niixxn估计量分别为ˆ,X2211ˆ().niiXXn例3：设总体X服从泊松分布P()，X1,X2,…,Xn是其一个样本，求参数的极大似然估计。,,2,1,0,!),(xexxfx!),()(11niixniiexxfLi解：X的概率分布为对于给定的样本值x1，x2，…，xn，似然函数为,!11niixnxenii.01)(ln1niixnLdd似然方程为对数似然函数为niiniixxnL11),!ln()(ln)(ln其解为11ˆ.niixxn的极大似然估计量为：.ˆX例4：设X∼U[a,b]，求a,b的极大似然估计。解：因似然函数为（p112例7.9）121,,,,,(