第16次课――矩估计

2014概率论与数理统计不像其他科学，统计从来不打算使自己完美无缺，统计意味着你永远不需要确定无疑。——GudmundR.Iversen【统计名言】12014概率论与数理统计第七章参数估计2在数理统计中经常要根据样本来对总体的种种统计特征做出判断。实际工作中碰到的问题大致分为两类：一是总体的分布往往可以根据经验来判断其类型，但确切的形式并不知道，亦即总体的参数未知；二是在某些情况下，所关心的并不是总体的分布，而只是总体的某些数字特征，特别是数学期望和方差。因此，要根据样本来估计总体的参数，这类问题称为参数估计。参数估计的方法：点估计和区间估计。(,)Fx2014概率论与数理统计1.估计量：用于估计总体参数的随机变量如样本均值，样本方差等【例如】样本均值就是总体均值的一个估计量2.参数用表示，估计量用表示3.估计值：估计参数时计算出来的统计量的具体值如果样本均值x=80，则80就是的估计值【参数估计的相关概念】ˆ32014概率论与数理统计§7.1点估计一、点估计的概念4点估计是指把总体的未知参数估计为某个确定的值或在某个确定的点上.【定义7.1】设总体X的分布函数为);(xF，其中θ是待估计的参数，点估计问题就是利用样本),,,(21nXXX，构造一个统计量),,,(ˆˆ21nXXX来估计θ，我们称),,,(ˆ21nXXX为θ的点估计量，它是一个随机变量。将样本观测值),,,(21nxxx代入估计量),,,(ˆ21nXXX，就得到它的一个具体数值),,,(ˆ21nxxx，这个数值称为θ的点估计值.点估计的方法有很多，本节主要介绍:矩法和极大似然估计法.2014概率论与数理统计二、矩法其基本思想是用样本矩估计总体矩.理论依据:它是基于一种简单的“替换”思想建立起来的一种估计方法.是英国统计学家K.皮尔逊最早提出的.大数定律记总体k阶原点矩为样本k阶原点矩为11nkkiiAXn记总体k阶中心矩为样本k阶中心矩为11()nkkiiBXXn()kkEX{[()]}kkmEXEX52014概率论与数理统计其中为待估参数.1、矩法的一般做法设已知总体,),,,;(~21lXFXl,,,21（1）设总体X的k阶矩均存在,则)1(),(lkXEkk12(,,,),(1)kklklL（2）设来自总体X样本的k阶矩nikikXnA11其中.1lk（3）令总体的k阶矩分别与样本的k阶矩相等,即62014概率论与数理统计1121212212(,,,),(,,,),(,,,).lllllAAALLLLLLL令这是含待估参数的联立方程组，其解l,,,21可作为待估参数的矩估计量,其观察值为待估参数的矩估计值.l,,,21),,(,),,,(),,,(11211nlnnXXXXXX72014概率论与数理统计【例1】已知总体X的概率密度为:其他，,0),1(10,)1()(xxxf其中未知，样本为，求参数的矩法估计.12,,,nXXXL（）【解】只有一个参数，因此只需一个方程即可.11A而1()()EXxfxdx1210(1)xxdx111niiAXXn因此有12X解得12.1XX)用样本1阶矩“代替”总体1阶矩，即■82014概率论与数理统计方程组为1122AA22122~(,),,(,,...,)nXNXXXX设总体未知，设为来自总体的样本，求与的矩估计量。【解】估计两个参数需要两个方程，即分别用样本1、2阶矩“代替”总体1、2阶矩.1(),EX22()EX【例2】而2()[()]DXEX22111,niiAXXn另外又有2211niiAXn因此有方程组92014概率论与数理统计22211niiXXn2221=.11=niiXnXSnn)))解得参数的矩估计量分别为：■102014概率论与数理统计【练习】已知总体X的概率密度为:〖解〗)(1XE因为总体一阶矩11A,,0,10,)(1其它xxxf其中未知参数θ0,求θ的矩估计量.dxxxf)(101|1x10dxx1由112014概率论与数理统计故所求矩估计量为：即X1)1(X解得:XX)1(XX121ˆXX■122014概率论与数理统计【例3】在某班期末数学考试成绩中随机抽取9人的成绩.结果如下表所示，试求该班数学成绩的平均分数，标准差的矩估计值.序号123598764分数948963657175788555而样本1、2阶矩分别为2(),()EXDX【解】设X为该班数学成绩，9111iiAXxn1()EX而总体X的1、2阶矩为222()()[()]EXDXEX221(948955)9L7592211iiAxn2221(948955)9L5772.33132014概率论与数理统计22755772.332=75.=5772.337512.14))解得参数的矩估计量分别为：■142014概率论与数理统计【练习】求服从二项分布b(m,p)的总体X未知参数p的矩估计量.〖解〗单参数，离散型.)(1XE由11AXmpmp即故所求矩估计量为：mXpˆ■因为所以总体X的一阶矩(期望)为),,(~pmbX152014概率论与数理统计矩法的优点是简单易行,并不需要事先知道总体是什么分布。缺点是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下,矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性。162014概率论与数理统计三、极大似然估计法极大似然估计法是在总体的分布类型已知的条件下所使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出.GaussFisher然而这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.172014概率论与数理统计【例子】是谁击中的野兔,你会怎样想?若让你推测一下，一只野兔从前方窜过，只听一声枪响，野兔应声倒下.某同学与一位猎人一起外出打猎。忽然，极大似然估计法是基于极大似然原理提出的。为了说明极大似然原理,我们先看个例子。182014概率论与数理统计你会想：只一枪便击中,一般情况下猎人击中的概率比同学击中的概率大。故，这一枪极大可能是猎人打的。你的这一想法中就已经包含了极大似然估计法的基本思想.为了进一步体会极大似然估计法的思想,我们再看一个例子.192014概率论与数理统计【例如】有一事件A，我们知道它发生的概率只可能是:p=0.1，0.3或0.6若在一次观测中，事件A竟然发生了，你自然会认为事件A发生的概率是0.6，而非其他数值。【极大似然原理】概率大的事件在一次观测中更容易发生。p试让你推想一下应取何值?p由上述两例可知，极大似然估计法是要选取这样的，当它作为估计值时，使观测结果出现的可能性最大，即概率最大.)202014概率论与数理统计设X为离散型总体，其分布律为：为待估参数),;(}{xpxXP对来自总体X的样本（X1,X2,…,Xn），若在极大似然估计法中，关键的问题是求似然函数。下面分别就离散型总体与连续型总体介绍似然函数的求法。1、似然函数（1）离散型总体似然函数的定义为其观测值，样本的联合分布律为:),...,,(21nxxxniixpL1);()(),(),(),(21nxpxpxp)(L称为样本的似然函数。212014概率论与数理统计),(),(),(21nxfxfxf（2）连续型总体似然函数的定义设X为连续型总体，其概率密度为：对来自总体的样本,其观测值为,样本的联合概率密度为:),,,(21nxxx),,,(21nXXX);(xf其中未知niixfL1),()()(L称为样本的似然函数。222014概率论与数理统计【定义】设总体的分布类型已知,但含有未知参数θ.设有12ˆˆ(,,,)nxxxL使得()max()LL)则称),,,(ˆ21nxxx为θ的极大似然估计值(MLE);称),,,(ˆ21nXXX为参数θ的极大似然估计量.232014概率论与数理统计极大似然法求估计量的步骤：:)()1L构造似然函数1()(;)(,niiLPx离散型）1()(;)(;niiLfx连续型）);(ln)2L取对数：;0ln)3dLd令ˆ4).解似然方程得的最大似然估计量242014概率论与数理统计【解】θ的似然函数为：111()(;)nniiiiLfxx112()nnxxxL(01)ix取对数1ln()ln(1)lnniiLnx【例4】设(X1,X2,…Xn)是来自总体X的一个样本,,0,,010,);(~1未知其中其它xxxfX求θ的极大似然估计量．252014概率论与数理统计1ln()lnniidLnxd求导并令其为0:=0从中解得1lnniinx即为θ的极大似然估计值。262014概率论与数理统计【例5】在泊松总体中抽取样本，其样本值为,,,,21nxxx试对泊松分布的未知参数作极大似然估计.【例6】设总体X服从上的均匀分布，求未知参数的极大似然估计量.],0[272014概率论与数理统计【练习】设X1,X2,…,Xn是取自总体X~b(1,p)的一个样本，求参数p的最大似然估计值.nixxiipp11)1(niiniixnxpp11)1(对数似然函数为：)1ln()()ln()(ln11pxnpxpLniinii对p求导并令其为0，)(111)(ln11niiniixnpxpdppLd得11ˆniipxxn即为p的MLE.1(){}niiiLpPXx【解】P(Xi=xi)=pxi(1-p)1-xi,似然函数为:282014概率论与数理统计作业：2,429