第二节 最大似然估计法

第七章参数估计§7.2最大似然估计法极大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.选择一个参数使得实验结果具有最大概率极大似然估计原理：当给定样本X1,X2,…Xn时，定义似然函数为：设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为f(X1,X2,…Xn;).)(Lf(X1,X2,…Xn;)似然函数：)(max)ˆ(LL极大似然估计法就是用使达到最大值的去估计.)(Lˆ称为的极大似然估计（MLE）.ˆ)(Lf(X1,X2,…Xn;)看作参数的函数，它可作为将以多大可能产生样本值X1,X2,…Xn的一种度量.)(L极大似然估计法可能取值的范围。是为待估参数，的形式为已知，属离散型，其分布律若总体),;(}{).1(xpxXPX的联合分布律：的样本；则是来自设nnXXXXX,,,,11niixp1);(的一个样本值；是又设nnXXxx,,,,11发生的概率为：事件的概率，亦即取易知样本},,{,,,,1111nnnnxXxXxxXX)1.1(.,);();,,()(11niinxpxxLL。似然函数称为样本的的函数。它是)(L使得：即取的估计值，，作为达到最大的参数挑选使概率定由极大似然估计法：固ˆˆ);,,(;,,11nnxxLxx)2.1();,,(max)ˆ;,,(11nnxxLxxL。极大似然估计值的称其为参数有关，记为与);,,(ˆ,,ˆ11nnxxxx。极大似然估计量的称为参数),,(ˆ1nXX;),;().2(为待估参数的形式已知，属连续型，其概率密度若总体xfX的联合密度：则nXX,,1niixf1);(似为：维立方体）内的概率近的的邻域（边长分别为落在机点的一个样本值，则随是相应设ndxdxxxXXXXxxnnnnn,,),,(),,(,,,,11111)3.1();(1iniidxxf取到最大值。，使概率的估计值我们取)3.1(ˆ而变，故只需考虑：不随但iidx)4.1(,);();,,()(11niinxfxxLL。似然函数称为样本的的最大值，这里)(L);,,(max)ˆ;,,(11nnxxLxxL若。极大似然估计值的为则称),,(ˆ1nxx。极大似然估计量的为称),,(ˆ1nXX.0)();(),;(ddLxfxp可由下式求得：可微，故关于一般，(1.5).0)(ln)(ln)(LddLL也可从下述方程解得：大似然估计的极处取到极值，因此在同一与又因个参数，若母体的分布中包含多.,,1,0ln.,,1,0kiLkiLii或即可令的极大似然估计值。个方程组求得解kk,,1例1、设一批产品中有次品和正品。为了估计次品率P，从这批产品中抽取容量为n的样本X1,X2,…,Xn,则有P{Xi=0}=1-pP{Xi=1}=p的分布律为：iXnixpppxfixxiii,,2,1;1,0,)1(};{1对于样本一次观测值x1,x2,…,xn，似然函数为,)1()1(),(1111;1niiniiiixnxxxninpppppxxL现抽取一容量为10的样本，其观测值为（x1,x2,…,xn）=（1，1，0，…，0）对这一样本观测值，似然函数为,)1(),(82;1pppxxLn0),(;1pxxLdpdn由微分法，可令得0)1(8)1(2728pppp2.0ˆ,ˆ,ppp得并记为解出求参数的最大似然估计的步骤：),,;(),,;,,(),,(12121121nikiknkxfxxLL（1）写出似然函数（2）取对数nikikxfL12121),,;(ln),,(ln（3）将对数似然函数对各参数求偏导数并令其为零，得对数似然方程组。若总体分布中只有一个未知参数，则为一个方程，称对数似然方程。（4）从方程组中解出1，2，…k，并记为),,(ˆˆ),,(ˆˆ),,(ˆˆ1122111nkknnXXXXXX的一个样本，是来自设例XXXpBXn,,);,1(~.21试求参数p的极大似然估计量。的分布律为：是一个样本值。解：设Xxxn,,1;1,0,)1(}{1xppxXPxx故似然函数为,)1()1()(1111niiniiiixnxxxnipppppL).1ln()(ln)()(ln11pxnpxpLniinii而.01)(ln11pxnpxpLdpdniinii令p206xxpnii1n1pˆ的极大似然估计值解得XXpnii1n1pˆ的极大似然估计量为的一个样本值，是来自为未知参数，设例XxxNXn,,,);,(~.3122的极大似然估计量。求：2,的概率密度为：解：X})(21exp{21),;(222xxf似然函数为：niixL1222})(21exp{21),(niixnnL1222)(21)ln(2)2ln(2lnp2070)()(212n-0][10ln0ln21222122niiniixnxLL即：令0)(n02121niiniixnx整理得niixn11ˆ解得：niiXXn122)(1ˆXXnnii11ˆ代入，解得将Xˆ是一个样本值，未知，设例nxxUX,,];,0[~.41的极大似然估计量。求其它,0n),1,2,(i;0,1);,,,(21innxxxxL解：似然函数为其它,0n),1,2,(i;}max{,1inx当L0时，有lnL=-nlnp210对求导，并令其为零，得0n对数似然函数无解，只能应用最大似然法基本思想，选择的最小可能值，使最大似然函数达到最大。}max{1ˆixni即的极大似然估计。是则的极大似然估计；是具有单值反函数，的函数设性质：)()ˆ(ˆˆ),(uuuuu的极大似然估计是例：2122)(1ˆniiXXn)0(,)(2222uuuu有单值反函数的极大似然估计是故)(1ˆˆ122niiXXn