概率7-1-参数估计

数理统计数理统计第一节参数的点估计点估计概念求估计量的方法课堂练习小结布置作业数理统计数理统计引言上一讲，我们介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要的抽样分布定理.它们是进一步学习统计推断的基础.数理统计数理统计总体样本统计量描述作出推断研究统计量的性质和评价一个统计推断的优良性，完全取决于其抽样分布的性质.随机抽样数理统计数理统计现在我们来介绍一类重要的统计推断问题参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.参数估计估计废品率估计新生儿的体重估计湖中鱼数……估计降雨量在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数.数理统计数理统计这类问题称为参数估计.参数估计问题的一般提法X1,X2,…,Xn要依据该样本对参数作出估计,或估计的某个已知函数.()g现从该总体抽样，得样本设有一个统计总体,总体的分布函数为F(x,)，其中为未知参数(可以是向量).数理统计数理统计参数估计点估计区间估计数理统计数理统计)1.0,(2N（假定身高服从正态分布）设这5个数是:1.651.671.681.781.69估计为1.68，这是点估计.这是区间估计.估计在区间[1.57,1.84]内，例如我们要估计某队男生的平均身高.现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计.而全部信息就由这5个数组成.数理统计数理统计一、点估计概念随机抽查100个婴儿,…得100个体重数据10,7,6,6.5,5,5.2,…呢?据此,我们应如何估计和而全部信息就由这100个数组成.例1已知某地区新生婴儿的体重,2~,XNμσ(,)μσ未知数理统计数理统计为估计:我们需要构造出适当的样本的函数---统计量T(X1,X2,…Xn)，每当有了样本，就代入该函数中算出一个值，用来作为的估计值.把样本值代入T(X1,X2,…Xn)中，估计值.T(X1,X2Xn,…)称为参数的点估计量，得到的一个点数理统计数理统计我们知道,若,由大数定律,1}|1{|lim1niinXnP自然想到把样本的平均值作为总体平均值的一个估计.,11niiXnXniiXXnS122)(11样本的平均值2~,XNμσ()EXμ则.用样本体重的均值估计.Xμ类似地，用样本的方差估计.2σμ2S数理统计数理统计二、寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法……这里我们主要介绍前面两种方法.数理统计数理统计1.矩估计法矩估计法是英国统计学家K.皮尔逊最早提出来的.由辛钦定理,若总体的数学期望有限,EXμX则有11niiXXn()PEXμ11nkkiiAXn()(1,2,)PkkEXμk12(,,,)kgAAA12(,,,)Pkgμμμ其中为连续函数.g数理统计数理统计这表明,当样本容量很大时,在统计上,可以用用样本矩去估计总体矩.这一事实导出矩估计法.定义用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法.理论依据:大数定律矩估计法的具体做法如下设总体的分布函数中含有k个未知参数,那么它的前k阶矩,一般12,,,kθθθ12,,,kμμμ数理统计数理统计都是这k个参数的函数,记为：i=1,2,…,k从这k个方程中解出j=1,2,…,kj=1,2,…,k12(,,,)iikμμθθθ12(,,,)jjkθθμμμ那么用诸的估计量Ai分别代替上式中的诸,iμiμ12ˆ(,,,)jjkθθAAAjθ即可得诸的矩估计量：矩估计量的观察值称为矩估计值.数理统计数理统计例2设总体X在[a,b]上服从均匀分布,a,b未知.是来自总体X的样本,试求a,b的矩估计量.1,,nXX解1μEX2ab22μEX2()12ba2()[()]DXEX2()4ab数理统计数理统计即1221212()abμbaμμ解得于是a,b的矩估计量为21213()aμμμ21213()bμμμ2123(),3(1)niiaXXXnnXsn2123()3(1)niibXXXnnXsn样本矩总体矩数理统计数理统计解1μEX22μEX2()[()]DXEX例3设总体X的均值和方差都存在,未知.是来自X的样本,试求的矩估计量.1,,nXXμ2(0)σ2,μσ2,μσμ22σμ数理统计数理统计解得1μAX1μμ2221σμμ于是的矩估计量为2,μσ22222111niiσAAXXn211()niiXXn样本矩总体矩数理统计数理统计矩法的优点是简单易行,并不需要事先知道总体是什么分布.缺点是，当总体类型已知时，没有充分利用分布提供的信息.一般场合下,矩估计量不具有唯一性其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.数理统计数理统计稍事休息数理统计数理统计2.最大似然法它是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的.GaussFisher然而,这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.数理统计数理统计最大似然法的基本思想先看一个简单例子：一只野兔从前方窜过.是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.数理统计数理统计你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想.数理统计数理统计最大似然估计原理：当给定样本X1,X2,…Xn时，定义似然函数为：设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为f(x1,x2,…,xn;).)(Lf(x1,x2,…,xn;)这里x1,x2,…,xn是样本的观察值.数理统计数理统计似然函数：)(max)ˆ(LL最大似然估计法就是用使达到最大值的去估计.)(Lˆ称为的最大似然估计值.ˆ看作参数的函数，它可作为将以多大可能产生样本值x1,x2,…,xn的一种度量.)(L)(Lf(x1,x2,…,xn;)而相应的统计量称为的最大似然估计量.1(,,)nθXXθ数理统计数理统计两点说明：1、求似然函数L()的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数,lnL()与L()在的同一值处达到它的最大值，假定是一实数，且lnL()是的一个可微函数。通过求解方程：可以得到的MLE.0)(lndLd若是向量，上述方程必须用方程组代替.2、用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则来求.数理统计数理统计例4设总体X~N(),未知.是来自X的样本值,试求的最大似然估计量.1,,nxx2,μσ2,μσ2,μσ似然函数为解X的概率密度为xexfx,21)(222)(222()211(,)2ixμnσiLμσeπσ数理统计数理统计222()211(,)2ixμnσiLμσeπσ2222211(2)()exp[()]2nnniiπσxμσ于是22211ln(2)ln()222niinnLnLπσxμσ令211()0niiLnLxnμμσ2222211()022()niinLnLxμσσσ数理统计数理统计11niiμxxn2211()niiσxxn解得的最大似然估计量为2,μσ,μX222111()niinσXXsnn数理统计数理统计下面举例说明如何求最大似然估计例5设一批产品中含有次品,且从中随机抽取85件,发现次品10件.试估计这批产品的次品率.i0p1.1,X1,2,...,850iii解.设次品率为p,则设第次取得次品，，第次取得合格品，(1),(0)1(1,2,...,85)iiPXpPXpi则数理统计数理统计8511851()(,...,;)(1)iixxiLpfxxppp1(;)()(1)iixxiiifxpPXxpp01i=1,2,...,85,ix其中或；故得似然函数为85851185(1)iiiixxpp数理统计数理统计858511ln()ln()(85)ln(1)iiiiLpxpxp对数似然函数为：85851185()(1)iiiixxLppp数理统计数理统计对p求导并令其为0，858511ln()11(85)01iiiidLpxxdppp得即为p的最大似然估计值.8511102ˆ858517iipx数理统计数理统计(4)在最大值点的表达式中,用样本值代入就得参数的最大似然估计值.求最大似然估计(MLE)的一般步骤是：(1)由总体分布导出样本的联合分布率(或联合密度);(2)把样本联合分布率(或联合密度)中自变量看成已知常数,而把参数看作自变量,得到似然函数L();(3)求似然函数L()的最大值点(常常转化为求lnL()的最大值点)，即的MLE;数理统计数理统计解：似然函数为例7设X1,X2,…Xn是取自总体X的一个样本为未知参数其它,,0,1)(~)(xexfXx其中0,求的最大似然估计.,其它，,01),(1)(niixxeLii=1,2,…,n数理统计数理统计其它,0min,11)(1ixnxenii对数似然函数为niixnL1)(1ln),(ln解：似然函数为其它，,01),(1)(niixxeLii=1,2,…,n数理统计数理统计11()niixnnL),(ln=0(2)由(1)得niixnL12)(1),(ln=0(1)对分别求偏导并令其为0,,对数似然函数为niixnL1)(1ln),(ln用求导方法无法最终确定用最大似然原则来求.、,数理统计数理统计1ˆminiinx对,0),(,minLxi是故使达到最大的即的MLE),(L,11ˆˆniixn于是取其它值时，.0),(L即为的MLE.ˆˆ,,且是的增函数其它,0min,1),(1)(1ixnxeLnii数理统计数理统计第二次捕出的有记号的鱼数X是r.v,X具有超几何分布：,}{SNkSrNkrkXP为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回.隔一段时间后,再捕出S条鱼,结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？最后，我们用最大似然法估计湖中的鱼数),min(0rSk数理统计数理统计应取使L(N;k)达到最大的N，作为N的极大似然估计.但用对N求导的方法相当困难,我们考虑比值：)1;();(NkXPNkXP把上式右端看作N的函数，记作L(N;k).SNkSrNkrkXP}{)())((kSrNNrNSN经过简单的计算知，这个比值大于或小于1，kSrN或kSrN而定.由数理统计数理统计)1;();(NkXPNkXP)())((kSrNNrNSN经过简单的计