研究生应用数理统计参数估计(讲稿)

Chapter2参数估计一、参数估计的概念定义：已知母体的分布，估计某个或几个未知数字特征（参数）的问题，称为参数估计。二、参数估计的分类分为点估计和区间估计；点估计就是根据样本，估计参数为某个数值；区间估计就是根据样本，估计参数在一定范围内，即一个区间；总体分布类型已知的统计问题，称为参数型统计问题；总体分布类型未知的统计问题，称为非参数型统计问题；§1点估计1212121212121),(,,...,),,.,,...,,,,...,.(,,...,),(,,...,),(,,...,),nnnnnnxxxTTxxxT定义设总体X的分布函数为F(x,是未知参数的取值范围称为参数空间XXX是来自总体X的样本其观察值为若构造统计量XXX以数值作为的估计值则称统计量XXX为的估计量为的估计量和为的估计一.点估值统计的概称为为念,.,.的估计记为这种对未知参数进行定值估计称点估计为二、矩估计法,,,,21nXXX相设r.v.序列,2,1,)(iXEkki则0有01lim1knikinXnP互独立具有相同的分布，且11()11-knkikiniiEXXMnXXnkkk如果总体X的k阶原点矩存在，当n充分大时，可以用样本的k阶原点矩=作为E(X)的估计；可以用样本的k阶中心矩（）作为E(X-EX)的估计；1111(;,,)(,,)(;,,),1,,.,,)klllkkkXFxkklaEXxdFxlk设母体的分布函数含有个未知参数，若母体的阶矩存在，则母体X的阶矩是(的函数。求估计量的步骤：1.求出母体的前k阶矩11112.1(,,)(1,2,,)3.,,nlkliikkaXlkn用子样矩作为母体矩的估计令求出矩估计解方程组，得，分别是，，的估计量。称为矩估计量。22.1.11.1.iXXXn例设总体服从泊松分布P()，试求的矩估计量.解因为E(X)=,所以的矩估计量为解2因为D(X)=,所以的矩估计量也为22.1.11.1.iXXXn例设总体服从泊松分布P()，试求的矩估计量.解因为E(X)=,所以的矩估计量为解2因为D(X)=,所以的矩估计量也为22.1.11.1.iXXXn例设总体服从泊松分布P()，试求的矩估计量.解因为E(X)=,所以的矩估计量为解2因为D(X)=,所以的矩估计量也为122.1.21(,),,0.2,,,1()0,2xnxXfxexXXXXEXxedx例设总体的分布密度为为的样本，试求参数的矩估计量.解因为=,解不出为此求22222211()221()211ˆ.22xniiEXxedxEXMXn=于是，从而的矩估计量为1122112212112.1.3,,,,,,,,11,,11,.nnnniiiinniiiiXYXYXYXYXYXYXXYYnnMXXMYYnn例设为总体的样本，试求与的相关系数的矩估计.解记121,,,cov,1.cov(,),()()ˆ,.iiiiEXYXYEXXEYnYXYXYXYMnXYXYDXDYMXYMM用替代方法,的矩估计是的矩估计是的矩估计是所以的（）矩估计是从而，的矩估计是矩估计的优点：简便、直观，不一定要知道总体的分布函数.矩估计的缺点：当总体矩不存在时，矩估计法不能使用；对某些总体的参数，矩估计量不唯一；只利用了样本矩的信息，没有成分利用分布函数的信息。三、极大似然法“概率最大事件，最可能出现”参数的哪个值使观察结果出现的概率最大，就应取这个值作为参数的估计值。111(,,),1,,(,,)(,,),MLEkiinniinixxikXXXX这种估计法称为最大似然估计法，依赖于样本值，即在上式中，将观察值换成子样，得到=称为的最大似然估计量()。111111(;),(,,)()(),(,,),,knniikkXfxxxXLfx定义设母体的概率密度(或分布律)为其中是未知参数，由设(,,)是的一个观察值。定义似然函数为若在达到最大值，则称分别为的最大似然估计。ln00,(1,2,,).iiLLik解方程组或得到估计值.极大估计值利用了总体分布函数的信息，使估计量具有良好的性质ˆˆˆ()uu性质设是参数的极大估计，u=u()是上的实值函数，且u有单值的反函数，则便是u=u()的极大似然估计。垐()u注：一般，若待估计函数为u=u()，u()是的连续函数，而是的极大似然估计，则便是u()的极大似然估计。112{}(1-)(1,2,),,,knpPXkppkpXXXp例2.1.4已知总体服从参数为的几何分布，即其中是未知参数，是来自总体的样本，试求的极大似然估计量。例2.1.5设总体X的概率分布如下表，X0123P22(1-)21-210231303123X是未知参数，利用总体的如下观测值，，，，，，，，求的极大似然估计值。1211,0,.02,,,,0,.02nXxxxXXXXxXxx例2.1.6设总体的分布函数为F(x;,)=其中，（）和（）均为未知参数，是来自总体的样本，试求和的极大似然估计。解总体的密度函数为f(x;,)=其中，（）和（）1111211(,),()ln(,)lnln(1)lnln(,)ln(,)lnln1nnniiinniiniiLxxxxxLnnxLnLnnx（）111ln(,)0,(,)min{}(,)0min{}(,)ˆmin{}ln(,)0iiniiniinLnLxLxLxL注意到所以随的增大而增大，但当时，，故取时，达到最大，因此的极大似然估计量。再令，解得的极大似然估计量2212(,),,,,2{2}nXNXXXPX例2.1.7设总体，未知，为来自总体的样本，试求：(1)的极大似然估计；（）的极大似然估计。极大似然估计的优点：利用了总体的分布函数所提供的信息；不要求总体原点矩的存在（柯西分布）极大似然估计的缺点：求解似然方程困难四、用顺序统计量估计参数无论X服从何种分布，都可以样本中位数X作为总体均值E(X)的估计量，以样本极差R作为总体标准差DX的估计量。这种估计比较粗超。221222,,,~(,)21lim2ntxnXXXXNXPXxedt定理设是来自总体的样本，是样本中位数，则对任意x,有n（）§2点估计的优良性一、无偏性11211(,,),,)lim[(,,)],1nnnniiXXEEEEXXXXDXn定义设是参数的估计量。若则称是的无偏估计量；若则称(是估计量的偏差；若则称是的渐进无偏估计量。注：不是（）的无偏估计量，但是渐进无偏估计量。2122222111212.2.1()(),,,111,11(2)1(3)nniiiinkiiniiEXDXXXXXXSXXnnkXknXXDXn例对任一总体，若=,=均存在，且为的样本，试证（），分别是的无偏估计量;样本的阶原点矩是总体阶原点矩无偏估计；是（）渐进无偏估计量。二、有效性1212122,DD定义设，都是参数的无偏估计量，若则称比有效。1.有效性注：方差越小越好。那么是否有下界？21222211222112242211122222222.2.1(,),,,111(2)12(),2,;(1)(1)(1),2(1),nniiniiXNXXXXSXnSSXXnnSnSnDnDSnnSnSnDnD例设对总体，是来自总体的样本，试证（）是的无偏估计量;是较更有效的估计量。解因为所以即（）=即222212;1SnDSDS（）=故（）（）.121213,(UMVUE)DD定义设是参数的无偏估计量，若对的任一无偏估计量，都有则称是一致最小方差无偏估计量。2.一致最小方差无偏估计定理2.2.1(Rao-Cramer不等式)12122222.2.1{(},,,,,,,ln(;)()0().()()()nnXfxXXXXTTXXXgfXIEDTnIInIg例设总体的分布密度函数族为;),是实数轴上的一个开区间，是来自总体的样本，()是的任个()无偏估计，若下列条件（1）正则条件；（2）g()则对一切，有g()这里成为费谢尔信息量，称为()的无偏估计TRC的的方差下界。222UMVUE()UMVUE.UMVUE()4()ln(;)().DTTgnIRCIfXIE注1对离散总体，将密度函数改为分布律即可；注2一般分布都满足正则条件；注3利用R-C不等式有时可以判断出一个无偏估计是否是,因为在满足定理条件下，如果g()，则是()的但的方差不一定能达到方差下界.注的另一表达式1222.2.5(),,,(),()(,),!ln(,)lnln(!),()()1ˆ0.1ˆ().()nxPXXXXPPXxefxxfxxxIEXDnIn例设总体服从泊松分布，是来自总体的样本，试求的无偏估计的方差下界。解可以验证本例满足正则性条件。因为所以由于于是故的任一无偏估计都满足222122222222222222.2.6(,),,,,1(;(;211ln(;ln2ln22ln(;()()=nxXNXXXXfxefxfxxfxXIEEEX例设对总体，是来自总体的样本，试求的无偏估计的方差下界。解总体的密度函数为,)=，可以验证,)满足正则条件；,)=-,)2442()1(0)DX222222422222461,()(),-ln(;1122ln(;112nInDXXnRCXfxxfxx于是的无偏估计的方差下界是而说明样本均值的方差达到了方差下界，所以是的最小方差无偏估计。又,),)（）222222644422422222ln(;111()2212.()2(),1.fxIEExRCnInSDSRCnSUMVUEUMVUERC,)（）因此的无偏估计的方差下界为样本方差是的无偏估计，且没有达到下界，不过可以证明是的由此可见不一定达到不等式的下界.41,()DnI定义设是参数的无偏估计量，若＝则称是的有效估计量。3.有效估计注：有效估计一定是UMVUE,而UMVUE不一定是有效估计51()e(,D(nI定义设是参数的无偏估计量，称)＝)为的有效率。2.2.2lim,lim0,nnnnnnED定理设是参数的一个估计量，若且则是的相合估计。2.2.3())nng定理设是的相合估计，g(x)在x=连续，则是g(的相合估计。§4Bayes估计只利用总体信息和样本信息的统计学称为经典统计学