02第二节点估计的常用方法

第二节点估计的常用方法分布图示★矩估计法★求矩估计的方法★例1★例2★例3★例4★最大似然估计法★求最大似然估计的一般方法★例5★例6★例7★例8★关于有k个未知参数的最大似然估计★内容小结★课堂练习★习题6-2内容要点一、矩估计法矩估计法的基本思想是用样本矩估计总体矩.因为由在数定理知,当总体的k阶矩存在时,样本的k阶矩依概率收敛于总体的k阶矩.例如,可用样本均值X作为总体均值)(XE的估计量,一般地,记总体k阶矩);(kkXE样本k阶矩nikikXnA11;总体k阶中心矩;)]([kkXEXEV样本k阶中心矩.)(11nikikXXnB用相应的样本矩去估计总体矩的方法就称为矩估计法.用矩估计法确定的估计量称为矩估计量.相应的估计值称为据估计值.矩估计量与矩估计值统称为矩估计.求矩估计的方法：设总体X的分布函数),,;(1kxF中含有k个未知参数k,,1,则(1)求总体X的前k阶矩k,,1，一般都是这k个未知参数的函数,记为kigkii,,2,1),,,(1（*）(2)从（*）中解得kjhkjj,,2,1),,,(1(3)再用),,2,1(kii的估计量iA分别代替上式中的i,即可得),,2,1(kij的矩估计量:.,,2,1),,,(ˆ1kjAAhkjj注：求,,,1kVV类似于上述步骤，最后用kBB,,1代替kVV,,1，求出矩估计jˆ),,2,1(kI。二、最大似然估计法引例某同学与一位猎人一起去打猎,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,试猜测是谁打中的?由于只发一枪便打中,而猎人命中的概率一般大于这位同学命中的概率,故一般会猜测这一枪是猎人射中的.最大似然估计法的思想:在已经得到实验结果的情况下,应该寻找使这个结果出现的可能性最大的那个作为的估计ˆ.注:最大似然估计法首先由德国数学家高斯于1821年提出,英国统计学家费歇于1922年重新发现并作了进一步的研究.下面分别就离散型总体和连续型总体情形作具体讨论.离散型总体的情形:设总体X的概率分布为),,(}{xpxXP其中为未知参数.如果nXXX,,,21是取自总体X的样本,样本的观察值为nxxx,,,21,则样本的联合分布律,),(},,,{111niinnxpxXxXP对确定的样本观察值nxxx,,,21,它是未知参数的函数,记为niinxfxxxLL121),(),,,,()(,并称其为似然函数.连续型总体的情形:设总体X的概率密度为),(xf,其中为未知参数,此时定义似然函数niinxfxxxLL121),(),,,,()(.似然函数)(L的值的大小意味着该样本值出现的可能性的大小,在已得到样本值nxxx,,,21的情况下,则应该选择使)(L达到最大值的那个作为的估计ˆ.这种求点估计的方法称为最大似然估计法.定义若对任意给定的样本值nxxx,,,21,存在),,,(ˆˆ21nxxx,使),(max)ˆ(LL则称),,,(ˆˆ21nxxx为的最大似然估计值.称相应的统计量),,,(ˆ21nXXX为最大似然估计量.它们统称为的最大似然估计(MLE).求最大似然估计的一般方法求未知参数的最大似然估计问题,归结为求似然函数)(L的最大值点的问题.当似然函数关于未知参数可微时,可利用微分学中求最大值的方法求之.其主要步骤:(1)写出似然函数),,,,()(21nxxxLL;(2)令0)(ddL或0)(lndLd,求出驻点;注:因函数Lln是L的单调增加函数,且函数)(lnL与函数)(L有相同的极值点,故常转化为求函数)(lnL的最大值点较方便.(3)判断并求出最大值点,在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.注：(i)当似然函数关于未知参数不可微时，只能按最大似然估计法的基本思想求出最大值点。(ii)上述方法易推广至多个未知参数的情形.例题选讲求矩估计的方法例1(E01)设总体X的概率密度为,,010,)1()(其它xxxf其中1a是未知数，nXXX,,,21是取自X的样本,求参数的矩估计.解数学期望是一阶原点矩101)1()(dxxXE,21)1(101dxx其样本矩为,21X而,112ˆXX即为的矩估计.例2设总体X在],[ba上服从均匀分布，ba,未知.nXXX,,,21是来自X的样本,试求ba,的矩估计量.解,2/)()(1baXE222)]([)()(XEXDXE,4/)(12/)(22baab即,21ba.)(12212ab解得,)(32121a.)(32121b注意到niiniiXXnXXn12212,)(11以21,AA代替,,21到ba,的矩估计量分别为niiXXnXAAAa122121,)(3)(3ˆ.)(3)(3ˆ122121niiXXnXAAAb例3(E02)设总体X的均值及方差2都存在,且有02,但2,均为未知,又设nXXX,,,21是来自X的样本.试求2,的矩估计量.解,)(1XE,)]([)()(22222XEXDXE得到,1.2122以21,AA代替,,21得和2的矩估计量分别为,ˆ1XAniiniiXXnXXnAA122122122.)(11ˆ注:本例表明,总体均值与方差的矩估计量的表达式不因不同的总体公布而异.如,),,(~2NX2,未知,则2,的矩估计量为,ˆX.)(1ˆ212XXnnii例4(E03)设总体X的概率分布为22)1()1(2321iPX其中为未知参数.现抽得一个样本,1,2,1321xxx求的矩估计值.求最大似然估计的一般方法例5(E04)设),1(~pbX，nXXX,,,21是取自总体X的一个样本，试求参数p的最大似然估计.解先求总体一阶原点矩,23)1(3)1(221)(22XE一阶样本矩.34)121(31x由,)(xXE得,3423推出,65ˆ所以的矩估计值.65ˆ例6设总体X服从],0[上的均匀分布,未知.nXX,,1为X的样本,nxx,,1为样本值,试求的最大似然估计.解似然函数.,0,,0,1)(1其它nnxxL因)(L不可导,可按最大似然法的基本思想确定.ˆ欲使)(L最大,应尽量小但又不能太小,它必须同时满足),,,1(nixi即),,max(1nxx否则,0)(L而0不可能是)(L的最大值.因此,当},,max{1nxx时,)(L可达最大.所以的最大似然估计值与最大似然估计量分别为},,,max{ˆ1nxx}.,,max{ˆ1nXX例7(E05)设总体X服从指数分布,其概率密度函数0,00,),(xxexfx其中0,是未知参数.nxxx,,,21是来自总体X的样本观察值,求参数的最大似然估计值.解似然函数其它,00,);,,,(121ixnnxexxxLnii显然);,,(21nxxxL的最大值点一定是niixnnexxxL1);,,,(211的最大值点,对其取对数niinxnxxxL1211ln);,,,(ln由niinxndxxxLd12110);,,,(ln,可得参数的最大似然估计值.1ˆ1xxnnii例8设nxxx,,,21是正态总体),(2N的样本观察值,其中2,是未知参数,试求和2的最大似然估计值.解记似然函数),,(),;,,(2221LxxxLn则nixieL12)(22221),(ninnx12122/2)(21exp)()2(nixnnL121222)(21ln22ln),(lnniixL12,0)(1ln02)(21ln21242nxLnii由此可得参数和2的最大似然估计值为niixxn1,1ˆniixxn122)(1ˆ最大似然估计量为,1ˆ1XXnniiniiXXn122)(1ˆ与例3中的矩估计量相同.课堂练习1.设总体X具有概率概率密度xxexfx,0,),,()(其中,0为未知参数.nXXX,,,21是来自总体X的样本,求,的矩估计量.2.设总体X在],[ba上服从均匀分布，ba,未知，nxxx,,,21是一个样本值.试求ba,的最大值似然估计量.