《矩估计的基本步骤》PPT课件

矩估计的基本步骤12,,,k设待估计的参数为设总体的r阶矩(r=1,2,…,k)存在，且12()(,,,)rrkEX(1)先找总体矩与参数之间的关系样本X1,X2,…,Xn的r阶矩为11nrriiAXn令1211ˆˆˆ(,,,),1,2,,nrrkiiXrkn(2)用样本矩替换总体矩,得到关于估计量的方程(组).——含的方程组.12ˆˆˆ,,,k(3)解方程组,得到k个参数的矩估计量11212ˆ(,,,)ˆ(,,,)nknXXXXXX未知参数1,,k的矩估计量111212ˆˆ(,,,)ˆˆ(,,,)nkknxxxxxx代入一组样本值得k个数:未知参数1,,k的矩估计值∵X1,X2,,Xn是独立同分布的,∴X1k,X2k,,Xnk也是独立同分布的.于是有E(X1k)=E(X2k)==E(Xnk)=E(Xk)=μk.根据辛钦大数定律,样本k阶矩Ak依概率收敛于总体k阶矩μk,即11()nPkkikiXEXn矩估计法的理论依据:大数定律再由依概率收敛的性质知,样本k阶矩的函数依概率收敛于总体k阶矩的函数.(函数连续)参数θ的矩估计量依概率收敛于θ,即ˆPn样本矩的函数总体矩的函数最大似然估计法的思想源于德国数学家高斯(Gauss)在1821年提出的误差理论.然而，这个方法常归功于英国统计学家费歇尔(R.A.Fisher).他在1922年将该方法作为估计方法提出，并首先研究了这种方法的一些性质.2.最大似然估计(MaximumLikelihoodEstimate)GaussFisher最大似然估计法的基本思想引例：某位同学与一位猎人一起外出打猎.一只野兔从前方窜过.只听一声枪响，野兔应声倒下.如果要你推测，是谁打中的,你会如何想呢?只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的可能性很大.思想：一次试验就出现的事件有较大的概率.例5设总体X服从0-1分布,且P{X=1}=p(0p1),设x1,x2,…,xn为总体样本X1,X2,…,Xn的样本值,用最大似然法的思想求p的估计值.解总体X的概率分布为1{}(1),0,1xxPXxppx则1122{,,,}nnPXxXxXx11(1)(),0,1.nniiiixnxippLpx对于不同的p,L(p)不同,现经过一次试验，1122{,,,}nnXxXxXx事件发生了，则p的取值应使这个事件发生的概率最大.在容许范围内选择p，使L(p)最大.注意到，lnL(p)是L的单调增函数,故若某个p使lnL(p)最大,则这个p必使L(p)最大.11dln0d1nniiiixnxLppp令11ˆniipxxn211222dln0d(1)nniiiixnxLppp所以ˆpx为所求p的最大似然估计值.{}(;),,,PXxpx设分布律为待估参数,,,,21的样本是来自总体XXXXn.);(,,,121niinxpXXX的联合分布律为则似然函数的定义)(可能的取值范围是其中(1)离散型总体参数的最大似然估计.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx,,,,,,,2121的概率取到观察值则样本nnxxxXXX发生的概率为即事件nnxXxXxX,,,2211,),;();,,,()(121niinxpxxxLL.)(称为样本似然函数L最大似然估计法)(,,,,21Lxxxn选取使似然函数时得到样本值,ˆ的估计值作为未知参数取得最大值的).;,,,(max)ˆ;,,,(2121nnxxxLxxxL即)(可能的取值范围是其中),,,,(ˆ,,,,ˆ2121nnxxxxxx记为有关与样本值这样得到的),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数(2)连续型总体参数的最大似然估计,,),;(为待估参数设概率密度为xf,,,,21的样本是来自总体XXXXn.);(,,,121niinxfXXX的联合密度为则似然函数的定义)(可能的取值范围是其中.,,,,,,2121一个样本值的为相应于样本又设nnXXXxxx概率近似地为的内维立方体的边长分别为邻域的落在点则随机点)d,,d,d(),,,(),,,(212121nxxxxxxXXXnnn,d);(1iniixxf),;();,,,()(121niinxfxxxLL.)(称为样本的似然函数L12121ˆ(,,,;)max(,,,;)max(;).nnniiLxxxLxxxfx若),,,(ˆ21nxxx),,,(ˆ21nXXX,的最大似然估计值参数.的最大似然估计量参数【注】最大似然估计法是在总体分布类型已知条件下使用的一种参数估计方法.{}e,(0,1,2,)!xPXxxx解的分布律为因为XniixxLi1e!)(,!e11niixnxnii的似然函数为所以.,,,,,0)(21似然估计量的最大求的一个样本是来自的泊松分布服从参数为设XXXXXn例611ln()lnln(!),nniiiiLnxx,0)(lndd1niixnL令的最大似然估计值解得11ˆ,niixxn的最大似然估计量为.1ˆ1XXnnii【注】这一估计量与矩估计量是相同的.求最大似然估计的基本步骤;);();,,,()();();,,,()()(121121niinniinxfxxxLLxpxxxLL或写出似然函数一;);(ln)(ln);(ln)(ln)(11niiniixfLxpL或取对数二.ˆ,0d)(lnd,d)(lnd)(的最大似然估计值解方程即得未知参数并令求导对三LL对数似然方程(在可微的情况下)最大似然估计法也适用于分布中含有多个未知参数的情况.此时只需令.,,2,1,0lnkiLi.ˆ),,2,1(,iikik的最大似然估计值数即可得各未知参个方程组成的方程组解出由对数似然方程组解的概率密度为X,eπ21),;(222)(2xxfX的似然函数为,eπ21),(222)(12ixniL.,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体XxxxNXn例7,)(21ln2)π2ln(2),(ln12222niixnnL,0),(ln,0),(ln222LL令,0112niinx,0)()(21212222niixn解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2,ˆX.)(1ˆ212XXnnii【结论】正态总体的两个参数的最大似然估计与相应的矩估计相同.【注】若L不是的可微函数或者似然方程无解,则遵循最大似然估计的思想用其它方法求估计值.1,,k(解析见教材P155.).,,,,,,,,],[21的最大似然估计量求的一个样本值是来自总体未知其中上服从均匀分布在设总体baXxxxbabaXn例8值.【说明】若(L关于严格单增),则在可能的取值范围内取最大值作为该参数的最大似然估计;0L若(L关于严格单减),则在可能的取值范围内取最小值作为该参数的最大似然估计;0L【注】同一个未知参数的矩估计量和最大似然估计量不一定一样(如正态分布的完全一样,而均匀分布的就不一样).例9设总体X的分布律为其中为未知参数.今对X进行观测，得如下样本值0，1，2，0，2，1.求的最大似然估计值.X012P12解析6421()(,)(12),ln()4ln2ln(12),ln()4410.123iiLpxLdLd例10设(1/2,1/3,2/3)是总体X的一个样本的观测值其中0为未知参数.求的最大似然估计值.101~()0xxXfx其它解析3311()(,)9,ln()3ln(1)ln9,ln()33ln90.2ln3iiLfxLdLd最大似然估计的性质该性质也称作最大似然估计的不变性.若是未知参数的最大似然估计，g()是的严格单调函数，则g()的最大似然估计为g().如例7中,,)(1ˆ212XXnnii的最大似然估计值为2的最大似然估计值为故标准差2211ˆ.ˆ()niiXXn量量例11设总体212~(,),{}0.05,,,...,nXNPXaxxx为样本值,求a的最大似然估计.解析首先找到a与的关系.2,由{}1()0.05,aPXa知()0.95a查表得1.65,1.65.aa即2211ˆˆ,().niiXXXn由例7得到则由最大似然估计的不变性,得a的最大似然估计量和估计值分别为212111.651.65(),11.651.65().niiniiaXXXnaxxxn【评注】求总体分布中的未知参数的最大似然估计,必须知道总体的分布,从而写出样本似然函数(或对数似然函数),并求其最大值点是解题的关键.另外,最大似然估计也可能不存在,也可能不唯一.优点:充分利用总体分布的信息,克服了矩估计法的某些不足.作业:P173习题2,3,4(1),6,7,8(1).从前一节可以看到,对于同一个参数,用不同的估计方法求出的估计量可能不相同.很明显,原则上任何统计量都可以作为未知参数的估计量.问题(1)对于同一个参数究竟采用哪一个估计量好?(2)评价估计量的标准是什么?7.3估计量的评选标准常用标准①无偏性③相合性②有效性问题的提出估计量12ˆ(,,,)nXXX的观察或试验的结果，估计值可能较真实的参数值偏大或偏小，而一个好的估计量不应总是偏大或偏小，在多次试验中所得的估计量的平均值应与真实参数值吻合，这就是无偏性所要求的.是一个随机变量，对一次具体一、无偏性.ˆ,)ˆ(,)ˆ(),,,(ˆ21的无偏估计量是则称有且对于任意存在的数学期望若估计量EEXXXn定义∧.1,,,,,)1()(121的无偏估计阶总体矩是阶样本矩总体服从什么分布论的一个样本，试证明不是又设存在阶矩的设总体knikiknkkkXnAkXXXXkXEkX例1证同分布，与因为XXXXn,,,21)()(kkiXEXE故有.,,2,1,niknikikXEnAE1)(1)(即.k.的无偏估计阶总体矩是阶样本矩故kkkAk特别的,.)(1估计量的无偏的数学期望总是总体XEXX222,0,,,.().2对于均值方差都存在的总体若均为未知试证的矩估计量是有偏的即不是无偏估计例证niiXXn12221ˆ,22XA22)(AE因为,2222)]([)()(XEXDXE又因为,22n)()ˆ(222XAEE所以)()(22XEAE,122nn.ˆ2是有偏的所以.,ˆ12偏的所得到的估计量就是无