参数估计课件

第七章参数估计在实际问题中，经常遇到随机变量X（即总体X）的分布函数的形式已知，但它的一个或者多个参数未知的情形，此时写不出确切的概率密度函数.若通过简单随机抽样，得到总体X的一个样本观测值),,,(21nxxx，我们自然会想到利用这一组数据来估计这一个或多个未知参数.诸如此类，利用样本去估计总体未知参数的问题，称为参数估计问题.参数估计问题有两类，分别是点估计和区间估计.X~P(λ),X~E(λ),X~N(μ,σ2)用所获得的样本值去估计参数取值称为参数估计.参数估计点估计区间估计用某一数值作为参数的近似值在要求的精度范围内指出参数所在的区间参数估计的基本思想§1参数的点估计设总体X的分布函数);(xF形式已知，其中θ是待估计的参数，点估计问题就是利用样本),,,(21nXXX，构造一个统计量),,,(ˆˆ21nXXX来估计θ，我们称),,,(ˆ21nXXX为θ的点估计量，它是一个随机变量。将样本观测值),,,(21nxxx代入估计量),,,(ˆ21nXXX，就得到它的一个具体数值),,,(ˆ21nxxx，这个数值称为θ的点估计值.§1.1矩估计法•设(X1,X2,…,Xn)是来自总体X的一个样本,根据大数定律,对任意ε0,有0}|)({|limXEXPn并且对于任何k,只要E(Xk)存在,同样有11lim{|()|}0,1,2,...nkkiniPXEXkn因此,很自然地想到用样本矩来代替总体矩,从而得到总体分布中参数的一种估计.•定义：用样本矩来代替总体矩,从而得到总体分布中参数的一种估计.这种估计方法称为矩法估计.它的思想实质是用样本的经验分布和样本矩去替换总体的分布和总体矩.今后称之为替换原则.•设总体X具有已知类型的概率函数p(x;θ1,…,θk),(θ1,…,θk)∈Θ是k个未知参数.(X1,X2,…,Xn)是来自总体X的一个样本.假若X的k阶矩γk=E(Xk)存在,则对于i≤k,E(Xi)都存在,并且是(θ1,…,θk)的函数γi(θ1,…,θk).得到含有未知参数(θ1,…,θk)的k个方程.解这k个联立方程组就可以得到(θ1,…,θk)的一组解:),...,,(ˆˆ...................................),...,,(ˆˆ),...,,(ˆˆ2121222111nkknnXXXXXXXXX用上面的解来估计参数θi就是矩法估计.kkkkkkAXEAXEAXE),...,,()(...............................),...,,()(),...,,()(21221221211设例:设总体X服从泊松分布)(，参数λ未知，),,,(21nXXX是来自总体的一个样本，求参数λ的矩估计量.解总体X的期望为)(XE从而得到方程niiXn11所以λ的矩估计量为XXnnii11ˆ例:设总体X服从参数为λ的指数分布，其中参数λ未知，),,,(21nXXX是来自总体的一个样本，求参数λ的矩估计量.0,00,),(xxexfx解其概率密度函数为总体X的期望为1)(0dxexXEx从而得到方程niiXn111XXnii11ˆ1所以λ的矩估计量为例:设总体X的均值μ和方差2都存在，且02，但μ和2均未知，又设),,,(21nXXX是来自总体的一个样本，求μ和2的矩估计量.解由于2222)()()()(XEXDXEXE故令22121niiXnX解得μ和2的矩估计量分别为niiniiXXnXXnX122122)(11ˆˆ例:设某炸药厂一天中发生着火现象的次数X服从（用矩法）。试估计参数未知，有以下样本值；的泊松分布，参数为250126225490756543210knkk次着火天数发生着火的次数niiXXnAEX11122.1)16901750(2501ˆ,xX则令。估计值所以22.1ˆ,X解矩法的优点是简单易行,并不需要事先知道总体是什么分布。缺点是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下,矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性。它是在总体类型已知条件下使用的一种参数估计方法。它首先是由德国数学家高斯在1821年提出的。GaussFisher然而,这个方法常归功于英国统计学家费歇。费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质。§1.2最大似然法最大似然法的基本思想先看一个简单例子：是谁打中的呢？某位同学与一位猎人一起外出打猎。一只野兔从前方窜过。如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下。你就会想，只发一枪便打中，猎人命中的概率一般大于这位同学命中的概率。看来这一枪是猎人射中的。这个例子所作的推断已经体现了最大似然法的基本思想：一次试验就出现的事件有较大的概率。定义:设总体X的分布类型已知,但含有未知参数θ.(1)设离散型总体X的概率分布律为);(xp，则样本),,,(21nXXX的联合分布律niinxpxpxpxp121);();();();(称为似然函数，并记之为niinxpxxxLL121);();,,,()(.(2)设连续型总体X的概率密度函数为);(xf，则样本),,,(21nXXX的联合概率密度函数niinxfxfxfxf121);();();();(仍称为似然函数，并记之为niinxfxxxLL121);();,,,()(.定义:设总体的分布类型已知,但含有未知参数θ.(1)设),,,(21nxxx为总体X的一个样本观察值，若似然函数)(L在),,,(ˆˆ21nxxx处取到最大值，则称),,,(ˆ21nxxx为θ的极大似然估计值.(2)设),,,(21nXXX为总体X的一个样本,若),,,(ˆ21nxxx为θ的极大似然估计值,则称),,,(ˆ21nXXX为参数θ的极大似然估计量.设总体的分布类型已知,但含有未知参数θ.设),,,(21nxxx为总体X的一个样本观察值，若似然函数)(L关于θ可导.0)(Ldd令解此方程得θ的极大似然估计值),,,(ˆ21nxxx,从而得到θ的极大似然估计量),,,(ˆ21nXXX.因为)(L与)(lnL具有相同的最大值点解方程0)(lnLdd也可得θ的极大似然估计值),,,(ˆ21nxxx和θ的极大似然估计量),,,(ˆ21nXXX.设总体的分布类型已知,但含有多个未知参数k,,,21，这时总体的概率函数为),,,;(21kxf.设),,,(21nxxx为总体X的一个样本观察值,若似然函数nikikkkxfxxxLL121212121),,,;(),,,;,,,(),,,(将其取对数,然后对k,,,21求偏导数,得0),,,(ln0),,,(ln21121kkkLL该方程组的解kixxxnii,,2,1),,,,(ˆˆ21,即为i的极大似然估计值.求极大似然估计的一般步骤归纳如下：（1）求似然函数)(L；（2）求出)(lnL及方程0)(lnLdd；（3）解上述方程得到极大似然估计值),,,(ˆˆ21nxxx.（4）解上述方程得到极大似然估计量),,,(ˆˆ21nXXX.,...2,1,0,!}{kkekXPk),...,,;()(21nxxxLLniniiixxnL11)!ln(ln)(ln•例:设随机变量X服从泊松分布:其中λ0是一未知参数,求λ的极大似然估计.解设(x1,x2,…,xn)是样本(X1,X2,…,Xn)的一组观测值.于是似然函数两边取对数得)!(1exniixinniixexnii1101)(ln1niixndLd令0)(ln~~22xdLdx且X~从而得出λ的极大似然估计量为解这一方程得例：设总体X服从参数为λ的指数分布，其中λ未知，),,,(21nXXX为从总体抽取一个样本，),,,(21nxxx为其样本观测值，试求参数λ的极大似然估计值和估计量.解总体X服从参数为λ的指数分布，则有000);(xxexfx所以似然函数为niixneL1)(取对数niixnL1ln)(ln令0)(ln1niixnLdd解得λ的极大似然估计值为xxnnii1ˆ1极大似然估计量为XXnnii1ˆ1})x(21exp{)2(1)x,...,x,x;,(LLn1i2i22/n2n212•例:设(X1,X2,…,Xn)是来自正态总体N(μ,σ2)的一个样本,其中μ,σ2是未知参数,参数空间Θ={-∞μ∞,σ20}.求μ与σ2的极大似然估计.解正态分布的似然函数为n1i2i22)x(21lnn2)2ln(2nLln两边取对数得由微积分知识易验证以上所求为μ与σ2的极大似然估计.niiniixnLxL12422120)(212ln0)(1ln分别求关于μ与σ2的偏导数,得似然方程组2n1ii2n1ii)xx(n1~xxn1~解这一方程组得0,00,1);(其他xxpnixxxxLinn,...,2,1,0,1),...,,;(21n,...,2,1i,}x{maxxx0ini1)n(i}{max~1inix}{max),...,,(~121ininXXXX•例:设总体X具有均匀分布,其概率密度函数为求未知参数θ的极大似然估计.解设(X1,X2,…,Xn)是来自总体X的一个样本.似然函数为要使L(θ;x1,x2,…,xn)达到最大,就要使θ达到最小,由于所以θ的极大似然估计值为：参数θ的极大似然估计量为：§2估计量的评选标准•对于总体的同一个未知参数，由于采用的估计方法不同，可能会产生多个不同的估计量。这就提出了一个问题，当总体的同一个参数存在不同的估计量时，究竟采用哪一个更好？这涉及到用什么样的标准来评价估计量的好坏问题，对此，我们介绍几个常用的评价标准：无偏性、有效性和一致性。§2.1无偏性•在评价一个估计量的好坏时,我们当然希望估计量与被估参数越接近越好.但估计量是一个随机变量,它的取值随样本的观测值而变,有时与被估参数的真值近些,有时远些,我们只能从平均意义上看估计量是否与被估参数尽量接近,最好是等于被估参数.于是有无偏估计量的概念...),...,,(ˆ,)],...,,(ˆ[.),...,,(ˆ:212121否则称为有偏的无偏估计的为则称若的估计量为设定义nnnXXXXXXEXXX其他,00,0,1);(xxf2211)(020xdxxXEXX2ˆ,2即22)(2)(2)ˆ(XEXEE由于.2ˆ的无偏估计量是所以求得X•例:设总体X具有均匀分布,其密度函数为解用矩法估计得求θ的无偏估计.总体X的均值)1(1nikiXnE•例:设总体X的k阶矩E(Xk)存在,证明样本的k阶矩是E(Xk)的无偏估计.证明所以,证