医学数理统计第3章

第三章参数估计统计推断是数理统计的重要内容，大致可分为两类：估计问题与假设检验问题，估计问题参数估计和非参数估计，假设检验问题参数假设检验和非参数假设检验，参数估计：点估计和区间估计.如果已知总体的分布类型，但不知道其中某些参数的真值.通过样本对未知参数(或未知参数的函数)就是参数估计问题.作出估计，3.1(未知参数的)点估计概述什么是点估计？通俗地讲，点估计就是“确定”未知参数是多少！那么，如何“确定”未知参数呢？简单地讲，就是寻找一个合适的统计量作为未知参数.绝不是针对一组具体的观测值确定一个估计值.因为这样将会得到许多估计值，但并不知道估计值的“好坏”.点估计的思想假设是待估计的未知参数，可以是单一的参数，也可以是多个参数).,,,(21n假设的参取值范围已知，ΘΘ称为参数空间.设是取自总体X的一组样本，样本),,,(21nXXX的观测值为),,,,(21nxxx构造一),,,,(21nXXX为了估计未知参数，个统计量然后用),,,(21nxxx来估计未知参数的真值，记作).,,,(ˆ21nxxx称),,,(ˆ21nXXX为未知参数的估计量.的值参数的估计量和估计值统称为点估计，简称为估计.3.1.1矩估计法矩法估计是由英国统计学家皮尔逊（K.Pearson）在1894年提出的估计参数的方法.由大数定律可知：子样的k阶矩依概率收敛于总体的k阶矩.11lim1knikinEXXnP矩法估计的理论依据：矩法的基本思想为正整数，kEXMkk,一般地，记总体X的k阶矩为即矩法估计:用样本的k阶矩来代替总体的k阶矩.矩法估计的求法（步骤）都存在,并且是待估参数jMkj,k,...,,21容易证明假设总体有k阶矩，即存在，kkEXM对任意的).,...,(1kjM子样的j阶矩为nXXX,...,,21的函数nijijXnM11得到含k个未知数的k个方程式.解这k个联k...,,21令列方程式组就可以得到的一组解:k...,,21,,...,2,1),...,,(ˆˆ21kiXXXnii用解估计参数就是矩法估计.i即补例1设总体X的概率密度为其它,010,)1()(xxxf是未知参数,X1,X2,…,Xn是取自X的样本,求参数的矩估计.，其中1解:xxxEXd)1(10121d)1(110xx由矩法估计,,21X从中解得,112ˆXX数学期望是一阶矩，即为的矩估计.例3.1设总体X的概率密度为其它,010,)(1xxxf是未知参数,X1,X2,…,Xn是取自X的样本,，其中1求参数的矩估计量.解:xxxEXd1101d10xx用一阶样本矩代替,1EXEX,1ˆXX解此方程得即得的矩估计量为,EX例3.3设总体X的均值和方差都存在，且2,02但都未知，又设X1,X2,…,Xn是取自X的2,样本,试求的矩估计量.2,解因为,)(222EXEXDX根据矩法估计，,XEX,EX,122niiXEX所以，,ˆX2122)(ˆXXnii.)(112niiXXn2,的矩估计量为3.1.2最大似然估计法最大似然估计法最早由德国数学家高斯(Guass)在最大似然估计法是在总体类型已知条件下使用的一种参数估计方法.其后由英国统计学家费歇(Fisher)在19121821年提出，年正式提出，并证明了这个方法的一些性质.最大似然估计的理论依据:(或者小概率原理):即小概率事件在一次试验中几乎不可能发生.换言之，若事件A在一次试验中发生了，一般认为此事件或者说试验条件对事件A发生有利,不是小概率事件.也就是A出现的概率很大.一、离散型总体X下的最大似然估计法设(X1,X2,…,Xn)是取自总体X的一个样本，X的.若总体X为离散型随机变量，其概率分布为),;()(xpxXP则样本(X1,X2,…,Xn)的联合概率分布为,);(),,(`111niinnxpxXxXP的概率；),,,(21nxxx在固定时，上式表示取值),,,(21nXXX反之，当样本值给定时，它可看作的函数，我们把它记作),(L并称,);()(1niixpL（3-2）分布类型已知，参数θ未知，但θ的取值范围已知，为样本的似然函数.似然函数的大小意味着该样本值出现的可能)(L性的大小，由极大似然原理(或者小概率原理):选取应使达到最大值.)(L)(L也就是，使得达到最),,,(ˆˆ21nxxx称为真值的最大似然估计.的大值的（2）若总体X为连续型随机变量，其密度函数为),;(xf则样本(X1,X2,…,Xn)的联合密度函数为.);(`1niixf二、连续型总体X下的最大似然估计法时的密度函数值；),,,(21nxxx在固定时，上式表示取值),,,(21nXXX它的大小与),,,(21nXXX落在点),,,(21nxxx的邻域内的概率成正比.而当样本值仍把它记作),(L并称,);()(1niixfL为似然函数.（3-3）),,,(21nxxx给定时，联合密度函数是的函数.我们的选取应使达到最大值.)(L)(L也就是，使得最大值的称为真值的最大似然估计.达到),,,(ˆˆ21nxxx综上所述，确定最大似然估计的问题，就归结为求似然函数的最大值问题.求最大似然估计的一般步骤：（1）写出似然函数);;,,,(21nxxxL（2）为简化运算，一般先对似然函数两边求对数，因为对数函数lnx是严格增函数，所以，lnx与似然函数具有相同的最大值点.,0ln0)3(LLii或令,,,2,1ri从以上方程构成的方程组中解得驻点.（4）判断驻点为最大值点；（5）求得各参数的最大似然估计.例3.5设有一批产品，其废品率为现),10(pp从中随机抽取80件产品，其中6件废品，试求p的最大似然估计.解设，件取正品第件取次品第iiXi,0,1.,,2,1ni则总体X服从0-1分布，分布律为,)1()(1xxppxXP.1,0x设有样本观测值),,,,(21nxxx则似然函数为nixxiipppL11)1()(,)1()(11niiniixnxpp)(lnpL)1ln()(ln11pxnxpniinii两边取对数两边对p求导数，并令导数为零，ppLd)(lnd,0)1(1)(111pxnxpniinii解似然方程得即,0)()1(11niiniixnpxp.11xxnpnii于是p的最大似然估计值为.ˆxp补例1设X1,X2,…,Xn是取自总体X的一个样本,0,,010,)(~1其中其它xxxfX求未知参数的极大似然估计.解：似然函数为niixL11)(,)(11niinx),10(ixni1niixnL1ln)1(ln)(ln对似然函数两边取对数得niixnL1lnd)(lnd从中解得函数对参数求导并令其为0，)(lnL0niixn1lnˆ即为的最大似然估计值.补例2设总体X服从均匀分布，其密度函数为其他,00,0,1);(xxf求未知参数的极大似然估计.解:设是取自总体的一组样本观测值,nxxx,,,21则似然函数为,1);,...,(1nnxxL.,...,2,1,0nixi,max1)(niinxx最大似然估计值为,0ix,...2,1,0,!)(kkekXPk补例3设随机变量X服从泊松分布：其中是一未知参数，求的极大似然估计.0解:设为样本的一组观测值，nxx,,1nXXX,,,21似然函数为),...,;()(1nxxLLnnxexxxnii!!!211exexnxxn!...!11两边取对数得niiniixxnL11)!ln(lnln因为L是的可导函数，可以用导数求极值的方法,求关于的偏导数，并使其等于0，于是得方程：01dlnd1niixnL解这一方程得,ˆx.),...,,(ˆ21XXXXnL从而推出的极大似然估计量为例3.7设是取自正态总体的一个子样，其中是未知参数，参数空间为),(2N2,},0,{2参数的最大似然估计值.2,),,,(21nXXXnxx,,1为样本观测值.求解：正态分布的似然函数为),...,;,(12nxxLL),...,;,(12nxxLL})(21exp{)2(112222niinx两边取对数得niixnnL1222)(21ln2)2ln(2ln分别求关于和的偏导数，得似然方程组2niinixnLxL1242212)(212ln0)(1ln,1ˆ1xxnniiniixxn122)(1ˆ解这方程组得3.2估计量的评选标准3.21无偏性定义3.1),,,(21nXXX设为参数的估计量，若,ˆE则称为参数的无偏估计量，ˆ否则称为ˆ的有偏估计量.3.2.2有效性设与为参数的无偏估计量，若1ˆ2ˆ定义3.2,ˆˆ21DD1ˆ2ˆ则称比有效.3.2.3相合性（略）例3.8试证样本均值和样本方差分别是总体2X2SX的期望和方差的无偏估计量.,)(11ˆ2122niiXXnS,ˆX3.2区间估计点估计可以给出未知参数的一个估计，但是，点估计的效果如何？估计值和未知参数的真值的偏差是多少？估计量和未知参数的真值的偏差有多大的把握？这些问题点估计都不能回答.为了搞清点估计的效果，我们必须搞清估计值和未知参数的真值的偏差，就是给出伴有把握性的一个偏差范围，即给出一个未知参数的置信区间.因估计量和未知参数的真值的偏差伴有不确定性，所以还要搞清偏差的可能性的大小.定义3.4设为总体X分布的未知参数，取自总θ,,,,21nXXX体的样本为对于事先给定的,10,存在两个统计量),,,(21nXXX),,(21nXXX满足和1)},,,(),,,({2121nnXXXXXXP则称区间为参数的置信度为的置信区间，),(1和1分别称为置信度的置信下限和置信上限.置信区间是一个随机区间,),(个端点是不依赖未知参数的随机变量,注1:并且它的两在重复取样下，将得到许多不同的区间)),,,(),,,,((2121nnxxxxxx这些区间中大约有100﹪)1(的区间包含未知参数.但绝不能说不等式)),,,(),,,(2121nnxxxxxx.1(3-4)(3-4)的意义是成立的概率为),(),,(11nnxxxx和因为是两个确定的数，从而只有两种可能：区间要么包含),(,要么不包含.注2:置信区间),(计.也是对未知参数的一种估若在包含的区间中任取一点作为的估计值，),(其绝对误差不会超过区间的长度，),(所以区间的长度刻画出了未知参数的估计精度.),(注3:置信度与估计精度是一对矛盾.一般地，对于给定的样本容量n，置信度越大，1即置信区间),(包含的真值的概率越大，置信区间的长度),(就越大，从而对未知参数的估计精度就越低.反之---一般准则：在保证置信度的条件下，尽可能使置信区间