应用数理统计(武汉理工大)2-参数估计

第二章参数估计2.1参数的点估计2.2参数的区间估计第二章参数估计在实际问题中，我们常常需要估计一些未知参数θ，这些参数可能是总体分布中的参数；或者当总体分布未知时，总体的某些数字特征，如：均值、方差等。样本集0θθ1θ20θˆ值估计范围估计区间估计点估计点估计方法估计好坏的评判区间估计方法常用总体参数的区间估计其它类型的估计,如贝叶斯估计…武汉理工大学应用数学系模式分析研究室王展青2.1参数的点估计1.矩估计2.极大似然估计3.点估计量的评价第二章参数估计点估计的定义设总体X的分布F(x,θ1,θ2,…,θm)已知，但其参数θ1,θ2,…,θm未知。X1,X2,,Xn为其样本,构造合适的统计量点估计就是通过样本信息,用某个数值来估计参数.作为参数的估计量12(,,,)ngXXX),,,(ˆ21nXXXg称是的点估计量常用的点估计方法有:矩估计法和极大似然估计法。),,,(ˆ21nxxxg是的点估计值称第二章参数估计1.矩估计法设总体为X,而X1,X2,,Xn为其样本()kkEX总体的k阶原点矩：矩法估计就是用样本矩作为相应的总体矩的估计量。11nkkiiAXn样本的k阶原点矩：(),PkkkknEAA显然因此可用Ak作为μk的估计量ˆkkA1)总体矩的估计:第二章参数估计2)一般参数的矩估计法:设总体X的分布函数中包含m个未知参数1,2,,m12()(,,...,),1,2,...,kkkmEXkm总体的k阶原点矩：11nkkiiAXn样本的k阶原点矩：12(,,...,),1,2,...,kmkAkm令12ˆ(,,,),1,2,...,kkngXXXkm由此m个方程求出1,2,,m,得其估计为称为1,2,,m矩估计量第二章参数估计2极大似然估计1)极大似然原理：在随机试验中，许多事件都有可能发生，概率大的事件发生的概率也大，若在一次试验中，某事件A发生了，则有理由认为事件A比其它事件发生的概率大，进一步,可假设事件A发生的概率在所有事件中概率是最大的。如:袋中有红球、白球10个和5个，但不知其颜色的球具体有多少个，从袋中任取一球，结果为白，有理由认为有10个白球。又如:两种型号元件A，B寿命分别为1000小时，50小时各取一只在同一系统中使用，有理由认为先坏的元件为B型。第二章参数估计12121()(,,...,)(,,,...,)nmkmkPALpx设总体X为离散型随机变量，其分布律为12()(,,,,,,.)mPXxpx2)极大似然估计法其中1,2,,m未知,为待估参数事件1122{,,...,}nnAXxXxXx样本12,,...,nXXX样本观测值12,,...,nxxx第二章参数估计12(,,...,)mL称似然函数称为1,2,,m的极大似然估计12(,,...,)mL使达到最大的1,2,,m的取值对连续型总体,可得类似结果…一般方法,令(ln)0,1,2,...,kLkm解得的极大似然估计为12ˆ(,,,),1,2,...,kkngxxxkm第二章参数估计3)求导方法计算极大似然估计的步骤12112121(,,,...,)(,,...,)(,,,...,)nimimnimipxLfx①写出似然函数离散型连续型②求对数12ln[(,,...,)]mL③解方程(ln)0,1,2,...,kLkm第二章参数估计3.点估计量的评选标准ˆ设是的一个估计量，1)无偏性1212ˆˆˆˆ)()D设，是的两个无偏估计量，若D(2)有效性12ˆˆ则称比有效。ˆlim()nE若ˆ称是的渐近无偏估计量ˆ称是的无偏估计量ˆ()E若第二章参数估计()(1)kkXkEXk例：设总体的阶原点矩121,,,1nnkkiikXXXXXAXn是的一个样本，证明：不论服从什么分布，是的无偏估计。1211,,,))11()()kkniknnkkikkiikkXXXXXXEAEXnnA由于与同分布，E(E(所以是的无偏估计。证明：22XEXSDX注：样本均值是总体均值=的无偏估计，样本方差是总体方差=的无偏估计.第二章参数估计121212~(),,,ˆˆ,[min{,,,}]nnXEXXXXXnZnXXX例：设总体，是的一个样本，证明：都是的无偏估计，并比较其有效性。111222ˆˆ()()()min{,,,)/ˆˆ()/,()(),nEEXEXZXXXnEZnEEnZ，所以是的无偏估计。而服从参数是的指数分布，=所以是的无偏估计。证明：221222221212ˆ(),()(),ˆ()()()ˆˆˆˆ1()(),DXDDXnDDnZnDZnnnDD又当时，显然故比有效。第二章参数估计最小方差无偏估计问题121212(,,,)))'(,,,)()(')(,,,))nnnTXXXTXXXDTDTTXXX设是g(的一个无偏估计量，若对g(的任一无偏估计量及任意，都有，则称是g(的一致最小方差无偏估计，或者称为最优无偏估计。费歇尔（Fisher）信息量222(,)ln(,)ln(,)()()(,)XfxfXfXIEEIfx设（密度函数或分布律），记称为分布中参数的费歇尔信息量。第二章参数估计克拉美-劳(Cramer-Rao)不等式12122(,),,,(,,,))')]()()nnXfxXXXXTXXXDTnI设总体（密度函数或分布律），是的一个样本，是g(的一个无偏估计，[g(则212')])(,,,)()()11lim1nnnnnneTXXXnIDTeeTeT[g(称为g(的无偏估计的效率，显然0若，则称是有效的。若，则称是渐近有效的。第二章参数估计显然，有效估计量必是最小方差无偏估计量，反过来则不一定正确，因为可能在某参数函数的一切无偏估计中，找不到达到C-R下界的估计量．我们常用到的几种分布的参数估计量多是有效或渐近有效的．从下面的例子，我们可以体会出验证有效性的一般步骤．第二章参数估计222221()(;,)exp{}22ln(;,)XfXfXX222242ln(;,)()()1fXXIEEDX例：21222(,),,,,,nXNXXXXXS设总体是的一个样本，讨论的无偏估计，的有效性。22XEXSDX解：样本均值是总体均值=的无偏估计，样本方差是总体方差=的无偏估计.第二章参数估计22211()1,()()nneSnDSnIn2211()1,1()()neXXDXnInn故是有效的。222242222246ln(;,)1()()22ln(;,)1()()2fXXfXX2221224ln(;,)1()()2fXIE2S故是渐进有效的。第二章参数估计2222ln(;)1()pXEXIE11()11()()neXDXnInn例：12,,,,nXXXXXX设总体（）是的一个样本，讨论的无偏估计的有效性。222(,)lnlnln(!)!(,)(,)1,XpXeXXXpXXpXX解：lnlnlnX是的有效估计。第二章参数估计ˆ则称是的相合估计量。ˆlim1nP3)相合性ˆ设是的一个估计量，若ˆ故是的相合估计。()1()ˆ11nnnnnPPXntPXdt解：12()12(0,),,,,ˆmax{,,,}nnnXUXXXXXXXX例：设总体是的一个样本，讨论的极大似然估计的相合性。武汉理工大学应用数学系模式分析研究室王展青2.2参数的区间估计1.区间估计的定义及计算步骤2.正态总体均值的区间估计3.正态总体方差的区间估计4.单侧置信区间5.非正态总体参数的区间估计第二章参数估计1.区间估计的定义及计算步骤用区间(a,b)作为参数θ的范围估计,需要考虑两个问题可信度即区间(a,b)包含参数θ的概率,越大越好精度即区间(a,b)的长度,越小越好默认原则可信度和精度都尽可能高矛盾,二者不可兼得解决方法在一定的可信度下,求最短的区间1)区间估计问题第二章参数估计设总体X的分布含未知参数，由样本X1,X2,,Xn确定两个统计量1(X1,X2,,Xn)，2(X1,X2,,Xn)如果对于给定的(01)，有P{12}=1-,称随机区间(1，2)为的置信区间，1-称为置信度1称为置信下限，2称为置信上限区间估计的关键:用合适的方法确定两个统计量1(X1,X2,,Xn)，2(X1,X2,,Xn)1.区间估计的定义及计算步骤2)区间估计的定义第二章参数估计1.区间估计的定义及计算步骤例1设总体X~N(μ,σ2),σ2已知，μ未知，设X1,…,Xn是X的样本，求μ的置信度为1-α的置信区间。解：样本均值是总体均值μ的无偏估计，样本均值的取值比较集中在μ的附近，以很大概率包含μ的区间也应大概率包含样本均值，基于这种想法，我们从样本均值出发，来构造μ的置信区间。由于nX～N（0，1），所以12unXP1)(22unXunXP所以μ的置信度为1-α的置信区间为)(2unX3)区间估计的例子第二章参数估计（1）由θ的无偏估计着手1ˆ()nXX构造一个,ˆ的随机变量G(X1,…,Xn,θ)，除θ外不含其它未知参数，且G(X1,…,Xn,θ)的分布函数已知。（2）对给定的置信度1-α，选取两个参数a,b，使得对一切θ有：P1)),,((1bXXGan（3）将aG(X1,…,Xn,θ)b解得：),(),(11nnXXXX(,)即为θ的置信度为1-α的置信区间。1.区间估计的定义及计算步骤4)区间估计的步骤第二章参数估计gθo(2)给定1-α（置信度，可信度），可通过增大样本容量n的值来提高估计精度（即缩小置信区间的长度）。注意(1)置信区间不是唯一的，选取区间尽可能短的。1-F(n1,n2)gθo1-θ1θ2θ1θ2第二章参数估计2.正态总体均值的区间估计1)单个正态总体均值的区间估计总体X~N(,2)，E(X)=，D(X)=2样本X1,X2,,Xn,Xi~N(,2)，i=1,2,,nnXDXEnNXXnXnii221)(,)(),,(~,1第二章参数估计1)单个正态总体均值的区间估计给定置信度1-，应有P{-u/2Uu/2}=1-其中u/2是标准正态分布的上/2分位点分两种情况求的置信区间(1)方差2已知/XUn构造统计量显然U~N(0,1)2xun2Xun得的1-置信区间为对一次具体的抽样可得一个确定的置信区间第二章参数估计1)单个正态总体均值的区间估计(2)方差2未知21211niiXXnS用样本方差代替2nSXT/构造统计量易知T~t(n-1)给定置信度1-，应有P{-t/2(n-1)Tt/2(n-1)}=1-其中t/2(n-1)是t(n-1)分布的上/2分位点2(1)SXtn