第十七讲极大似然估计

第十七讲极大似然估计首先看矩估计法可能存在的问题。（上节课最后一道例题）设总体X的均值和方差2都存在，且有02.但，2均为未知。又设,,(21XX,)nX是来自X的样本。试求，2的矩估计量。例题的求解结论为：Xˆ，niiXXn1221ˆ例１设)(~X，未知，),,,(21nXXX是X的一个样本，求。解1：)(XE，Xˆ.解2：)(XD,niiXXn121ˆ.显然，niiXXnX12)(1与是两个不同的统计量，但都是的估计。就会给应用带来不便，为此，R.A.Fisher提出了以下的改进的方法：最（极）大似然估计法。1.基本思想：若总体X的分布律为);()(xpxXP[或密度函数为);(xf]，其中),,,(21k为待估参数（）。设),,,(21nXXX是来自总体X的一个样本，),,,(21nxxx是相应于样本的一样本值，易知：样本),,,(21nXXX取到观测值),,,(21nxxx的概率为第七章参数估计第一节点估计,)(1XE2222)(XE联立以上两式解得.,21221XA1ˆ，niiniiXXnXXnAA12212212211ˆ基本思想简述：将简单随机样本),,,(21nXXX取相应的样本值看作是一随机事件，既然这一事件已经发生，则说明该事件发生的可能性是比较大的。因此，不妨依据总体X的分布构造出该事件发生的概率，并通过改变总体X的待求分布参数，使该事件发生的概率趋于最大，并将使该事件发生的概率取最大值的相应分布参数值作为待求参数的估计值。niinnxpxXxXxXPp12211);(},,,{，[或样本),,,(21nXXX落在点),,,(21nxxx的邻域（边长分别为,,21dxdxndx,的n维立方体）内的概率近似地为niiidxxfp1);(（微分中值定理）]，令niinxpxxxLL121);();,,,()([或niinxfxxxLL121);();,,,()(]，则概率p随的取值变化而变化，它是的函数，)(L称为样本的似然函数（注意，这里的nxxx,,,21是已知的样本值，它们都是常数）。如果已知当0时使)(L取最大值，我们自然认为0作为未知参数的估计较为合理。最大似然方法就是固定样本观测值),,,(21nxxx，在取值的可能范围内，挑选使似然函数);,,,()(21nxxxLL达到最大（从而概率p达到最大）的参数值ˆ作为参数的估计值，即);,,,(max)ˆ;,,,(2121nnxxxLxxxL，这样得到的ˆ与样本值),,,(21nxxx有关，常记为),,,(ˆ21nxxx，称之为参数的最大似然估计值，而相应的统计量),,,(ˆ21nXXX称为参数的最大似然估计量。这样将原来求参数的最大似然估计值问题就转化为求似然函数)(L的最大值问题了。2.具体做法:①在很多情况下，);(xp和);(xf关于可微，因此据似然函数的特点，常把它变为如下形式：niixfL1);(ln)(ln（或niixp1);(ln），该式称为对数似然函数。由高等数学知：)(ln)(LL与的最大值点相同，令kiLi,,2,10)(ln，求解得：),,,(ˆˆ21nxxx，从而可得参数的极大似然估计量为),,,(ˆˆ21nXXX；②若);(xp和);(xf关于不可微时，需另寻方法。例２设),1(~pBX，p为未知参数，),,,(21nXXX是来自总体X的一个样本，求参数p的极大似然估计。解：设),,,(21nxxx是相应于样本),,,(21nXXX的一个样本值。因为总体X的分布律为：xxppxXP1)1(}{，x=0,1故似然函数为niiniiiixnxnixxpppppL11)1()1()(11)n,,i(,xi2110而niniii)pln()xn(pln)x()p(Lln111niiniiniiniixxnpppxnpx111111令01)]'([ln11pxnpxpLniinii，解得p的最大似然估计值为11ˆniipxxn。所以p的最大似然估计量为：XXnpnii11ˆ。例３：设),(~2NX，，2未知，),,,(21nXXX为X的一个样本，),,,(21nxxx是),,,(21nXXX的一个样本值，求，2的极大似然估计值及相应的估计量。解：RxexfXx222)(21),;(~所以似然函数为：niinixxnieeL122212222)()(212)2(21),(　　　　取对数：niixnL12222)(21)ln2(ln2),(ln令niiniixnLxL12422120)(212)(ln0)(1)(ln由前一式解得xxnnii11ˆ，代入后一式得niixxn122)(1ˆ2,的极大似然估计量分别为：XXnnii11ˆ,2122)(1ˆBXXnnii例４：设],[~baUX,ba,未知，),,,(21nxxx是一个样本值，求ba,的极大似然估计。解：由于其它01)(~bxaabxfX，似然函数为：其它0,,,)(1),(21bxxxaabbaLnn通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法：记inininixxxx1)(1)1(max,min，有bxxabxxxann)()1(21,,,,则对于满足条件：bxxan)()1(,的任意ba,有nnnxxabbaL)(1)(1),()1()(即),(baL在)()1(,nxbxa时取得最大值nnxxbaL)(1),()1()(max故ba,的极大似然估计值为inininixxbxxa1)(1)1(maxˆ,minˆ，ba,的极大似然估计量为inininiXXbXXa1)(1)1(maxˆ,minˆ。（课间休息）3.最大似然估计的性质设的函数)(uu，具有单值反函数)(u。又设ˆ是X的概率分布中参数的最大似然估计，则)ˆ(ˆuu是)(u的最大似然估计。例如，在例3中得到2的极大似然估计为niiXXn122)(1ˆ，而22)(uu具有单值反函数)0(22uu。据上述性质有：标准差的极大似然估计为niiXXn122)(1ˆˆ4.基于截尾样本的最大似然估计（1）寿命分布的定义产品寿命T是一个随机变量,它的分布称为寿命分布.（2）完全样本的定义将随机抽取的n个产品在时间0t时,同时投入试验，直到每个产品都失效，记录每一个产品的失效时间，这样得到的样本（即由所有产品的失效时间nttt210所组成的样本）叫完全样本。(一种典型的寿命试验)获得完全样本的时间周期较长,花费较大,在实际中很难实现.如果不能得到完全样本,就考虑截尾寿命试验.（3）两种常见的截尾寿命试验定时截尾寿命试验：假设将随机抽取的n个产品在时间0t时同时投入试验，试验进行到事先规定的截尾时间0t停止。如试验截止时共有m个产品失效，它们的失效时间分别为0210ttttm，此时m是一个随机变量，所得的样本mttt,,,21称为定时截尾样本。定数截尾寿命试验：假设将随机抽取的n个产品在时间0t时同时投入试验，试验进行到有m个（m是事先规定的，nm）产品失效时停止，m个失效产品的失效时间分别为mttt210，这里mt是第m个产品的失效时间。所得的样本mttt,,,21称为定数截尾样本。（4）基于截尾样本的最大似然估计设产品的寿命分布是指数分布,其概率密度是0,00,1)(ttetft，0未知。定数截尾样本的最大似然估计：设有n个产品投入定数截尾试验,截尾数为m,得定数截尾样本mttt210。利用这一样本估计未知参数(产品的平均寿命).在时间区间mt,0有m个产品失效，有n-m个产品的寿命超过mt。利用最大似然估计法来估计，为了确定似然函数,观察上述结果出现的概率.产品在],(iiidttt失效的概率近似地为itiidtedttfi1)(，.,,2,1mi其余n-m个产品寿命超过mt的概率为mntmnttmmedte1上述观察结果出现的概率近似地为mtmntttmmnmntmtttmndtdtdteCedtedtedteCmmmm21)(12121211111其中，mdtdtdt,,,21为常数。取似然函数为mmtmntttmeL)(1211)(对数似然函数为mmiitmntmL)(1ln)(ln1令0)(lndLd，即0)(112mmiitmntm得到的最大似然估计值为mtstmntmmmmii)()(11事件n个产品中在时间区间mt,0有m个产品失效，有n-m个产品的寿命超过mt的可能结果共有mnC个，每一个结果发生的概率为mntmtttmmedtedtedte1112121若任何一个可能结果出现，则该事件发生，又各可能结果互不相容，因此，该事件概率为各可能结果的概率之和。其中，mmiimtmntts)()(1称为总试验时间，它表示直到时刻mt为止n个产品的试验时间的总和。定时截尾样本的最大似然估计：设定时截尾样本0210ttttm（其中0t是截尾时间）。与上面讨论类似,得似然函数为021)(11)(tmntttmmeL的最大似然估计值为mtstmntmmii)()(1001其中，010)()(tmnttsmii称为总试验时间，它表示直到时刻0t为止n个产品的试验时间的总和。例５：设电池的寿命服从指数分布,其概率密度是0,00,1)(ttetft，0未知。随机地取50只电池投入寿命试验,规定试验进行到其中有15只失效时结束试验,测得失效时间(小时)为115,119,131,138,142,147,148,155,158,159,163,166,167,170,172.试求电池的平均寿命的最大似然估计值。解：50n，15m，)(15ts115+119131+138+142+147+148+155+158+159+163+166+167+170+172+172)1550(=8270的最大似然估计值为).(33.551158270)(ˆ15小时mts