求最大似然估计量的一般步骤为

第六章点估计第6.1节参数的点估计一、点估计问题的提法二、估计量的求法三、小结现在我们来介绍一类重要的统计推断问题参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.估计废品率估计新生儿的平均体重估计湖中鱼数……估计平均降雨量这类问题称为参数估计.(一般分点估计，区间估计)参数估计问题的一般提法要依据该样本对参数作出估计，或估计的某个已知函数.)(g现从该总体中抽取样本设有一个统计总体的分布函数F(x,)，的范围是已知(称为参数空间）12,,...n其中为未知参数.一、点估计问题的提法12ˆ(,,,).n称为的估计量.),,,(ˆ21的估计值称为nxxx设总体的分布函数形式已知,但它的一个或多个参数为未知,借助于总体的一个样本来估计总体未知参数称为点估计问题.1212ˆˆ(,,,),(,,,).nnxxx点估计问题就是要构造一个适当的统计量用它的观察值来估计未知参数.ˆ,简记为通称估计二、估计量的求法由于估计量是样本的函数,是随机变量,故对不同的样本值,得到的参数值往往不同,求估计量的问题是关键问题.点估计的求法:(两种)矩估计法和最大似然估计法.一、矩估计法其基本思想是用样本矩估计总体矩.理论依据:它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.大数定律12,,...n设是来自总体的一个样本，kkkE设的阶矩存在.12k12k....j则当jk时，存在含有，的函数（，）11njjiijn子样的阶矩为12(,,...),1,2...jjkjk我们设1212,,...,,...kk从而得到k个含未知数的方程，求解可得的一组解：1ˆˆ(,,)jjk矩估计法的具体步骤:11(2).;1,2,,njjjiijkn令.,,,21的方程组个未知参数这是一个包含kk,,,,).3(21k解出其中12(1).(,,,)1,2,kjkj求出E.ˆ,,ˆ,ˆ表示用k21.,量这个估计量称为矩估计估计量的分别作为用方程组的解kk,,,ˆ,,ˆ,ˆ).4(2121矩估计量的观察值称为矩估计值.例1设总体服从泊松分布，求参数的估计量.解：设是总体的一个样本,由于,可得12,,nE11ˆnini)(P12[,],,,(,,,),,.nababab设总体在上服从均匀分布其中未知是来自总体的样本求的矩估计量解1E,2ba22E,41222baba2DE（）11,2niiabn令22()()124abab211,niin例222212()abba即解方程组得到a,b的矩估计量分别为22ˆ3()a213(),niin22ˆ3()b213(),niin222122,0,,,,,,.n设总体的均值和方差都存在且有但和均为未知又设是一个样本求和的矩估计量解1E,,22222()EED222令解方程组得到矩估计量分别为11ˆniin222ˆ()2211().niniSn例3上例表明:总体均值与方差的矩估计量的表达式，不因不同的总体分布而异.222~(,),,,,N例未知即得的矩估计量ˆ,2ˆ211().niin一般地:11,niin用样本均值作为总体的均值的矩估计2211().niimn用样本二阶中心矩作为总体的方差的矩估计矩法的优点是简单易行,缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性.例4设总体的分布密度为xexp21);()0,(x为总体的样本,求参数的矩估计量.12(,,)n解：由于只含有一个未知参数，一般只需求出便能得到的矩估计量，但是);(xpE1(;)02xExpxdxxedx即不含有,故不能由此得到的矩估计量.为此,求E||22212()(;)xExpxdxxedx20212dxexx故令2211ˆ2niin2121ˆnini于是解得的矩估计量为二、最大（极大）似然估计法最大似然法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的,然而，GaussFisher这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.（或分1.似然函数设总体的分布律为;Pxpx，其中m,...,,21是未知参数，12,,...,n是总体的一个样本,12,,...,n或分布密度为布密度为）);(xp则样本niixp1;，当给定样本值nxxx,...,,21后，它只是参数的函数，记为L即niixpL1;的分布律则称L为似然函数。似然函数实质上是样本的分布律或分布密度。2.最大似然估计法最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果,...,,,CBA若在一次试验中，结果出现，则一般A出现的概率最大。A认为定义6.1设总体的分布密度（或分布律）为，其中为未知参数。又设是总体的一个样本值，如果似然函数）（nxxx,...,21)...,21m，，（);(xpniixpL1;（6.1）替换成样本处达到最大值，则称分别为m,...,,21似然估计值。mˆ,...,ˆ,ˆˆ21在mˆ...,ˆˆ21，，需要注意的是，最大似然估计值iˆ依赖于样本值，即niixxx,...,,ˆˆ21mi...,2,1若将上式中样本值nxxx,...,,211,2,...,n则所得的12,ˆˆ,...,iin的最大称为参数i的最大似然估计量。由于niixpL1,lnln而Lln与L在同一处达到最大值，ˆ为最大似然估计的必要条件为0lnˆiiiLmi,...,2,1称它为似然方程，其中m,...,,21（6.2）因此，求最大似然估计量的一般步骤为：（1）求似然函数L（2）一般地，求出Lln及似然方程0lnˆiLmi,...,2,1（3）解似然方程得到最大似然估计值niixxx,...,,ˆˆ21mi,...,2,1（4）最后得到最大似然估计量12ˆˆ,,...,iinmi,...,2,112~(1,),,,,,.nBpp设是来自的一个样本求的最大似然估计量1212,,,,,,,nnxxx设为相应于样本的一个样本值解1{}(1),0,1xxPxppx的分布律为似然函数iixnixpppL11)1()(,)1(11niiniixnxpp例1),1ln(ln)(ln11pxnpxpLniinii,01)(lndd11pxnpxpLpniinii令的最大似然估计值解得p.1ˆ1xxnpnii的最大似然估计量为p.1ˆ1XXnpnii这一估计量与矩估计量是相同的.22212~(,),,,,,,,.nNxxx设总体为未知参数是来自的一个样本值求和的最大似然估计量解的概率密度为,),;()(222221xexpπ似然函数为,π21),(222)(12ixnieL例2,)(21ln2)π2ln(2),(ln12222niixnnL0),(ln0),(ln222LL令,0112niinx,0)()(21212222niixn解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2ˆ,2211ˆ().niin它们与相应的矩估计量相同.12[,],,,,,,,,.nababxxxab设总体在上服从均匀分布其中未知是来自总体的一个样本值求的最大似然估计量解),,,,min()(nxxxx211记),,,,max()(nnxxxx21的概率密度为其它,,),;(01bxaabbaxp例3,,,,,)()(bxxabxxxann121等价于因为的函数的似然函数为作为ba,其它,,,)(),()()(011nnxbxaabbaL有的任意于是对于满足条件baxbxan,,)()(1,)()(),()()(nnnxxabbaL111,nnnxxxbxabaL)(,),()()()()(11取到最大值时在即似然函数的最大似然估计值ba,,minˆ)(inixxa11,maxˆ)(ininxxb1的最大似然估计量ba,1ˆmin,iina1ˆmax.iinb三、小结两种求点估计的方法:矩估计法最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时,再用矩估计法.);();,,,()(niinxpxxxLL121似然函数