概率论与数理统计(王明慈第二版)第6章参数点估计1节

第5章数理统计的基本知识基本概念总体X样本(X1,X2,…,Xn)统计量三大抽样分布)分布,(分布分布212)()(kkFktk正态总体X下统计量的分布分位点)1,0(~NnX).(~)(12122nXnii第六章参数估计基本内容：一、参数的点估计:1.矩估计法2.最大似然估计法二、判别估计量好坏的标准:无偏性；有效性；一致性三、正态总体参数的区间估计.第一节参数的点估计一、参数点估计的概念二、矩估计法三、最大似然估计法基本内容：但参数是未知的.未知参数，这就是参数估计问题.事实上，我们常遇到这样的实际问题——,X,,X,Xn21从总体X中抽取一个样本,x,,x,xn21相应的一、参数点估计的概念总体X的分布的形式为已知，然后用观测值去估计解决思路：一个观测值为已知某种元件的寿命，即2~XN，的概率密度函数X222212xfxe；，x的形式已知,但未知.2，2,.EXDX计估例如1050,1100,1080,1200,1300,1250,1340,1060,1150,1150.现用抽取的观测值则称统计量12ˆˆnXXX，，，参数的点估计的思路估计,即令的点估计值.构造一个合适的统计量nXXX,,,ˆˆ21作为参数为点估计量;ˆ的观测值nxxx,,,ˆˆ21称为点估计的定义：设总体X的分布中含有未知参数,从总体X中抽取样本X1,X2,…,Xn,12ˆnXXX，，，：质的不同估计量与估计值有着本⑴;它是随机变量估计量是统计量，因而．实数而估计值则是一个具体的估计．与估计值为未知参数，我们统称估计量在不引起混淆的情况下θ⑵注：矩估计法是由英国统计学家其基本思想:是用样本矩估计(或代替)总体矩.11();nkkiiXEXn皮尔逊(K.Pearson)在1900年提出.或令11[()].nkkiiXXEXEXn二、矩估计法即令（其中k=1,2,……）设总体X服从区间0，试求未知参数的矩估计量和矩估计值.解:其观测值为.12,,...,nxxx022EX112niiXn即解方程①得的矩估计量为12ˆ2.niiXXn设nXXX,,,21是总体X的样本,例1.上的均匀分布,易求得………①11,niiXEXn令而矩估计值为ˆ2.x求总体的均值和方差的矩估计量.X2解:设是总体的一个样本，12nXXX，，，X经计算得()EX故令22211niiXXn2221ˆ1ˆniiXXXn解得例2.2()EX令…………①…………②解方程组得2211().niiXXn2()[()]DXEX22的矩估计量即得未知,如：222,,),,(~NX,ˆX2ˆ.~)(1212niiXXn一般地,,11的均值的矩估计作为总体用样本均值XXnXnii.)(1212的矩估计方差作为总体用样本二阶中心矩XXXnUnii注:总体均值与方差的矩估计量不因总体分布的不同而异.()kkvEX12,m，，，假定总体X的1～m阶原点矩kkvEX()存在，第二步：用样本矩代替总体矩，即令nkikmiXvn1211,,...1,2,,km矩估计法步骤：设总体X的分布中含有m个待估的未知参数则第一步:求总体X的k阶原点矩12,,...,kmv解含m个参数的m个方程组,12ˆˆˆm，，，得nkkXXX,,,ˆˆ21mk,,,21以作为参数的估计量.ˆkk第三步:第四步:,ˆnnkx,,x,xX,,X,Xθ2121换成中的将.x,,x,xθθnkk)(21ˆ的矩估计值便得到矩估计法的优缺点:直观、简单;2.缺点:只须知道总体矩,无须知道总体的分布形式.没有充分利用总体分布提供的信息；可能估计结果的精度比其它估计法的低.矩估计量不具有唯一性；1.优点:最大似然估计作为一种点估计方法最初是由德国数学家高斯(Gauss)于1821年提出;学家费歇尔(R.A.Fisher)在1912年作了进一步发展使之成为数理统计中最重要应用最广泛的方法之一.GaussFisher三、最大似然估计法英国统计其中是未知参数.则称为似然函数.设总体X的概率函数为PXxpx；或概率密度为,fx；的联合概率函数或12nXXX，，，1niipx；1.似然函数则样本联合概率密度函数为1()niiLfx；()L,,),,,(121)的观测值,,是样本(若2nnXXXxxx或()L最大似然原理的直观想法：在试验中概率最大的事件最有可能出现.一个试验如有若干个可能结果,若在一次试验中,结果出现,AB，，A则认为出现的概率最大.A2.最大似然估计法MLE(MaximumLikelihoodEstimate)也就是说,在一次抽样中得到观测值(x1,…,xn)则认为观测值(x1,…,xn)出现的概率最大.1122,,...,nnPXxXxXx11{}nniiiiPXxpx；若在一次试验中得到的观察值，12,,...,nxxx则该观测值出现的概率应最大，使似然函数达到最大.L是样本的观测值,设总体X的概率函数为.;xpxXP)nx,,x,x21以离散型总体X为例ˆ则其出现的概率所以适当选取L最大似然估计量定义.，的一个观测值是总体若Xx,,x,xn)(21使适当选取，)(21nx,,x,xθˆ)(max)ˆ(LL,ˆ最大似然估计值的为参数则称θxxxθn),,,(21的为参数而相应的统计量θXXXθn),,,(21ˆ最大似然估计值量.由于1lnlnniiLpx；lnL与有相同的最大值点.因此，为Lˆ最大似然估计的必要条件为ˆln0iL12im，，，称它为似然方程,其中12,,...,.m如何求似然函数的最大值？1niiLpx；似然函数：最大似然估计(MLE)的步骤:写出似然函数连续离散取对数X,θ;xfX,θ;xpθLn1iin1ii)()()(lnlnln连续离散X,θ;xfX,θ;xpθ;x,,x,xLθLniiniin)()()()(1121第一步:第二步:0ln0ln0ln21mLLL.ˆ,,ˆ,ˆ21为最大似然估计值所求得的解m,X,,X,Xx,,x,xnn2121换成中的将kˆ).,,,(ˆ21nkkXXX的最大似然估计量便得到解似然方程(组)第三步:第四步:设总体服从泊松分布,其中为未知XP参数，试求参数的最大似然估计值.设样本的一个观测值为12nXXX，，，解:12,,...,nxxx,由于总体,故有~XP,0,1,!xPXxexx似然函数为111,0,1,;1,,!!niiixxnniniiiiLeexinxx例3.取对数11lnlnln!nniiiiLxxnlndLd11ˆniixxn即所以的最大似然估计值为.ˆx11niixn0随机变量X表示例4.从一批产品中放回抽样依次抽取60件样品,.1,0,)1(),(1xpppxpxxnixxiipppL11)1()(发现其中有3件次品，用最大似然估计法估计这批产品的次品率.解：设这批产品的次品率为p，任一次抽样时取得次品的件数,则X~B(1,p).则概率函数为所以似然函数为niiniixnxpp11)1(取对数，得)1ln()(ln)()(ln11pxnpxpLniinii01)()(ln11pxnpxdppdLniinii0)()1(11pxnxpniinii即niixnp11ˆ解得p的最大似然估计值为似然方程360105.0）3,60(1niixn已知.,,,,,,),,(~22122的最大似然估计量和求的一个样本值是来自为未知参数设总体XxxxNXn解:的概率密度为Xxexfx,π21),;(222)(2似然函数niiixnxnieeL12222)(21222)(12)π2(1π21),(例5.,)(21ln2)π2ln(2),(ln12222niixnnL0),(ln0),(ln222LL令,0112niinx,0)()(21212222niixn取对数求导似然方程解得由0112niinx,1ˆ1xxnnii解得由0)()(21212222niixn,)(1ˆ212xxnnii为的最大似然估计量分别和故2,ˆX.)(1ˆ212XXnnii与相应的矩估计量相同.(P151).,,,,,,,,],[21似然估计量的最大求的一个样本值是来自总体未知其中上服从均匀分布在设总体baXxxxbabaXn解:其它,0,1),;(bxaabbaxf例6.总体X的概率密度函数为niiba,;xfba,L1)()(似然函数1其它,0),2,1(,)(1nibxaabinbxxabxxxann)()1(21,,,,等价于其它,0,,)(1)()1(bxxaabnn),,,,min()(nxxxx211记),,,,max()(nnxxxx21)(ba,L其它,0),2,1(,)(1nibxaabin其它,bx,xa,abnba,Ln0)()()((1)lnln分析0lnabnbL0lnabnaL.ˆ,ˆba不可用微分法求20取对数求导有的任意于是对于满足条件baxbxan,,)()1(nab)(1.b,aˆˆ从定义出发求3其它,0,,)(1),()()1(bxxaabbaLnnnnxx][1)1()(),()()1(nxxL),(baL取得时，在即似然函数)()1(,),(nxbxabaL,][)1()(nnxx最大值的最大似然估计值ba,)(21(1)nx,,x,xxaminˆ的最大似然估计量ba,4)(max21(n)nx,,x,xxbˆ)(min21(1)nX,,X,Xxaˆ)(max21(n)nX,,X,Xxbˆ3.最大似然估计的性质——不变性),()(uuu具有单值反函数的函数设关于参数的最大似然估计，是若ˆ.似然估计的最大是则)()ˆ(ˆuuu内容小结1.理解参数的点估计的概念；2.掌握矩估计法和最大似然估计法；熟练掌握常见分布的矩估计和最大似然估计，如泊松分布、均匀分布、指数分布及正态分布中参数的矩估计和最大似然估计.习题六(P180):1、2作业备用题,,0,,)(1),;(xxxxF(1)求=1时,未知参数的矩估计量.其中参数0,1,1.设X的分布函数为X1,X2,…,Xn是总体的样本,解:当=1时,X的概率密度为,1,0,1,);(1xxxxf