第二章1_矩估计和极大似然估计

第二章参数估计1参数估计问题假设检验问题点估计区间估计统计推断的基本问题2什么是参数估计？参数是刻画总体某方面的概率特性的数量.当这个数量是未知的时候，从总体抽出一个样本，用某种方法对这个未知参数进行估计就是参数估计.例如，X~N(,2),点估计区间估计若,2未知，通过构造样本的函数,给出它们的估计值或取值范围就是参数估计的内容.3参数估计的类型点估计——估计未知参数的值区间估计——估计未知参数的取值范围，使得这个范围包含未知参数真值的概率为给定的值.4一、点估计的思想方法设总体X的分布函数的形式已知，但它含有一个或多个未知参数：1,2,,k设X1,X2,…,Xn为总体的一个样本构造k个统计量：),,,(),,,(),,,(21212211nknnXXXXXXXXX随机变量第一节参数的点估计5当测得一组样本值(x1,x2,…,xn)时，代入上述统计量，即可得到k个数：),,,(ˆ),,,(ˆ),,,(ˆ21212211nknnxxxxxxxxx数值称数kˆ,,ˆ,ˆ21为未知参数k,,,21的估计值问题如何构造统计量？对应的统计量为未知参数k,,,21的估计量61、矩方法；（矩估计）2、极大似然函数法（极大似然估计）.二.点估计的方法1.矩方法方法用样本的k阶矩作为总体的k阶矩的估计量,建立含待估计参数的方程，从而可解出待估计参数7一般地，不论总体服从什么分布，总体期望与方差2存在，则根据矩估计法它们的矩估计量分别为XXnnii11ˆ2122)(1ˆnniiSXXn2211()1niiXXSn是无偏矩估计注:矩估计不唯一8事实上，按矩法原理，令11ˆniiXXn22211EXniiAXn是()的估计Xˆ)()(ˆ222XEXE22ˆA2121XXnnii212)(1nniiSXXn9设待估计的参数为k,,,21设总体的r阶矩存在，记为),,,()(21krrXE设X1,X2,…,Xn为一样本，样本的r阶矩为nirirXnB11令kr,,2,1),,,(21krniriXn11——含未知参数1,2,,k的方程组10解方程组，得k个统计量：),,,(ˆ),,,(ˆ),,,(ˆ21212211nknnXXXXXXXXX——未知参数1,2,,k的矩估计量),,,(ˆˆ),,,(ˆˆ),,,(ˆˆ2121222111nkknnxxxxxxxxx——未知参数1,2,,k的矩估计值代入一组样本值得k个数:11例1有一批零件，其长度X~N(,2)，现从中任取4件，测的长度(单位：mm)为12.6,13.4,12.8,13.2。试估计和2的值。解：由13)2.138.124.136.12(41x222221[(12.613)(13.413)(12.813)41(13.213)]0.133s得和2的估计值分别为13(mm)和0.133(mm)212例2设总体X的概率密度为其它,010,);(1xxxfX1,X2,,Xn为来自于总体X的样本,x1,x2,,xn为样本值,求参数的矩估计。解：先求总体矩11111000()11EXxxdxxdxx()1()EXEX解之：13XX1ˆ为的矩估计量,xx1ˆ为的矩估计值.令111niiAXXn14例3设总体X的概率密度为102(,),,xfxex求的矩估计量ˆ解法一虽然中仅含有一个参数，但因102xEXxedx不含,不能由此解出,需继续求总体的二阶原点矩22222011322()xxEXxedxxedx(,)fx15解法二01122()xxEXxedxxedx即||XE用niiXn11替换XE即得的另一矩估计量为11ˆniiXn得的矩估计量为22111ˆ/2,02niiXAn用2211niiAXn替换2EX222112niiAXn即16•矩估计的优点–不依赖总体的分布，简便易行–只要n充分大，精确度也很高。•矩估计的缺点–矩估计的精度较差；–要求总体的某个k阶矩存在；–要求未知参数能写为总体的原点矩的函数形式17注意：1.总体不一定存在适当阶的矩。例考虑Cauchy分布，其密度函数为,,))(1(1),(2xxxf其各阶矩均不存在。2.对相同的参数，存在多个矩估计。)(q例如，考虑总体是参数为的Poisson分布，总体的方差。既是总体的均值，又是18你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.先看一个简单的例子:某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁打中的呢？你会如何想呢？这个例子所作的推断已经体现了极大似然法的基本思想.2、极大似然函数法19例:设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。分析:从袋中有放回的任取3只球.设每次取到黑球的概率为p(p=1/4或3/4)设取到黑球的数目为X,则X服从B(3,p)33()(1)0,1,2,3kkPXkppkk分别计算p=1/4,p=3/4时，P{X=x}的值，列于表1/4,0,1ˆ()3/4,2,3xpxx结论:X0123p=1/4时27/6427/649/641/64p=3/4时1/649/6427/6427/64定义1:(1)设随机变量X的概率密度函数为f(x,),其中为未知参数(f为已知函数).121()(,,,;)(;)nniiLLxxxfx(2)若X是离散型随机变量，似然函数定义为121(,,,;)()nniiiLxxxPXx12,,,nxxx12,,,nXXX称为X关于样本观察值的似然函数。12(,,,;)nLxxx12,,,nxxx22的样本观察值,为样本);,,,()(21nxxxLL定义2如果似然函数在时达到最大值,则称是参数的极大似然估计。ˆˆ例1设总体X服从参数为的指数分布，即有概率密度,0(,),(0)0,0xexfxx又x1,x2,,xn为来自于总体的样本值，试求的极大似然估计.ˆ23解：第一步似然函数为1211(,,,;)exp()innxnnniiiLLxxxex于是1lnlnniiLnx11ln(ln)nniiiidLdnnxxdd第二步第三步11ˆniinxx经验证，)(lnL在x1^处达到最大，所以ˆ是的极大似然估计。0ln1niixndLd令24例2：设X服从(0－1)分布，P{X=1}=p,其中p未知，x1,x2,,xn为来自于总体的样本值求p的极大似然估计。解:X01P1-pp1{0}1{}(1),0,1{1}xxPXpPXxppxPXp得(0－1)分布之分布律的另一种表达形式25121(,,,;)()nniiiLxxxPXx11(1)iinxxipp111ln[()ln()ln]niiiLxpxp11101ln()iidLxxdpppxpˆ令110()()iiipxpxnpx例3：设总体X服从参数为的泊松分布，即X有分布列(分布律),2,1,0,!}{);(kekkXPkpk是未知参数，(0,+)，试求的极大似然估计。解：样本的似然函数为);,,,()(21nxxxLL);();();(21nxpxpxp1212!!!nxxxneeexxx112!!!niixnnexxxnixi,,2,1},,2,1,0{27);,,,(ln)(ln21nxxxLLniniiixxn11)!ln(ln)(niinxnxxxL1211)();,,,(ln从0lnL可以解出niixxn111211ˆ(,,,)nniixxxxn是的极大似然估计。因此28•极大似然估计的优点利用了分布函数形式,得到的估计量的精度一般较高。•极大似然估计的缺点要求必须知道总体的分布函数形式29其中k,,,21为未知参数，nxxx,,,21nikiknxfxxxL1212121),,,;(),,,;,,,(12(;,,,)kfx若总体X的概率密度为：为样本观察值,此时似然函数为：求解方程组12ln(,,,)0,1,2,,kiLik即可得到极大似然估计12ˆˆˆ,,,k多参数情形的极大似然估计30数学上可以严格证明，在一定条件下，只要样本容量n足够大，极大似然估计和未知参数的真值可相差任意小。31例4：设为正态总体的一个样本值，求:和的极大似然估计.nxxx,,,21),(2N2解：似然函数为niinxxxL12221])(21exp[21),;,,(])(21exp[2121222niinxniixnL1222)(21)2ln(2ln32解方程组niiniixnLxL12422120)(212ln0)(1ln得xxnnii11ˆniixn122)ˆ(1ˆniixxn12)(1这就是和2的极大似然估计,),(max)ˆ,ˆ(22LL即33例5设X为离散型随机变量,其分布律如下(01/2)X0123P22(-2)21-2随机抽样得3，1，3，0，3，1，2，3，分别用矩方法和极大似然法估计参数。解：8111ˆ3484iiEXx8222241281(,,,){}(2)(12)iiLxxxPXx713ˆ012dlnLd例6设总体X的概率密度为0(),(,),xexfxx又nxxx,,,21为来自于总体X的样本值,求参数的极大似然估计。解：令*1min{,,}nxxx121()(,,,;)(;)nniiLLxxxfx1110(),min{,,},min{,,}inxninexxxx似然函数为:35当*1min{,,}nxxx时,L()是的单调增函数,1ˆmin{,,}nxx处达到最大值，1ˆmin{,,}nxx所以的极大似然估计:L()在36作业•习题八37