应用数理统计第二章参数估计点估计

1回顾数理统计：由部分信息（带有随机性的数据）推断出合理的结果——统计推断。样本与总体总体的分布——统计模型，统计建模的目的即确定X的分布、参数等参数与参数空间直方图与经验分布函数统计量及其分布三种重要的抽样分布2参数估计与非参数估计参数估计：先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。如:非参数估计：不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。．未知，的指数分布，其中参数是服从参数为设总体0X而估计总体的分布．的取值，从，来估计我们的任务是根据样本3第二章参数估计总体X的分布形式已知，但含有未知参数。由样本来推断（估计）其中的未知参数——参数估计。点估计：，这是一个统计量，此处称为估计量，而称为估计值。区间估计：由两个统计量和构成一个区间，使，其中事先给定。),...,,(21nXXX),...,,(21nxxx),...,,(ˆˆ2111nXXX),...,,(ˆˆ2122nXXX1}ˆˆ{21P4设总体X的分布函数的形式为已知,为总体的待估计的参数.X1,X2,..,Xn是X的一个样本,x1,x2,…,xn是相应的样本值.点估计问题就是用样本X1,X2,…,Xn构造一个适当的统计量(X1,X2,…,Xn),用它的观察值(x1,x2,…,xn)作为未知参数的近似值.称(X1,X2,…,Xn)为的估计量.(x1,x2,…,xn)称为的估计值.在不致混淆的情况下,估计量和估计值统称估为估计,并都简记为.点估计常用方法:矩估计法;极大似然估计法.参数的估计量是样本X1,X2,..,Xn的函数.2.1点估计5依据（原理）：柯尔莫哥洛夫强大数定理：如果为相互独立且与X同分布，则nXXXXE,...,,,)(21niisaXn1.).(,1通过总体的一个样本来估计总体未知参数的值的问题称为参数的点估计问题。．2.1.1．矩法估计样本矩是描述随机变量的最简单的数字特征，它在一定程度上反映总体的特征．这种用样本(原点)矩作为总体(原点)矩的估计量的方法称为矩估计法．6注：随机序列的收敛定义是指，（以概率1收敛，或几乎处处收敛a.s）；是指依概率P收敛；还有依分布F收敛（弱收敛）以概率1收敛一定依概率收敛，但反之不一定成立。..,aenXX1}lim{XXPnn,PnXX1}|{|lim,0XXPnn,WnXX7若（X的k阶矩存在），也有亦即，当n较大时，样本原点矩与总体矩非常接近。据此可得：矩估计法：若总体X中含有m个参数X的真实k阶矩存在，且为，显然，为θ的函数。kkaXE)(..11naekikiXanm,...,,21)(mkkamkaamkk,...,,),,...,,(21218设总体X的分布函数为F(x;1,2,...,m),其中1,2,...m为待估参数,如果ak=E(Xk)(k=1,2,..,m)存在,ak为1,2,…,k的函数,记ak=ak(1,2,…,k)(k=1,2,..,m),X1,X2,…,Xn为总体X的样本,用Ak来估计E(Xk),建立m个方程:A1=a1(1,2,…,m)A2=a2(1,2,…,m)…………….Am=am(1,2,…,m)1=1(A1,A2,…,Am)2=2(A1,A2,…,Am)…………….m=m(A1,A2,…,Am)用作为i的估计量------矩估计量.i)(kkXEak价样本矩例2．1（P30）若是总体的原点矩，则相应的样本矩是其矩估计量。nikikXnA119222221)]([)()()(XEXDXEaXEa解2221,aa由矩估计法,令上述结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而不同．XA1ˆ2122ˆAA例2.2设总体X的均值E(X)=,方差D(X)=2都存在,且20.但,2均为未知.X1,X2,…,Xn为来自总体X的样本,求,2的矩估计量.2221ˆ,1ˆ()niiXXXsn10例2.3设总体X服从[θ1,θ2]上的均匀分布，θ1,θ2未知，X1,X2,…,Xn为来自总体X的样本,试求θ1,θ2的矩估计量．4)(12)()]([)()(,2)(221212222211XEXDXEaXEa解由矩估计法,得)(3ˆ)(3ˆ2121221211AAAAAASXSX3ˆ,3ˆ2111(1)若总体X~b(1,p),则未知参数p的矩估计量为XAp1ˆ(2)若总体X~b(N,p),则未知参数p,N的矩估计量为【例2.4】贝努利试验222ˆ,1ˆSXXNXSpNpXEa)(122222)1()]([)()(pNpNpXEXDXEapXEa)(12)ˆ1(ˆˆ,ˆˆSppNXpN12【例2.5】设总体的密度函数为得不到解析解，求数值解。【例2．6】柯西分布，各阶矩不存在，不能用矩估计法。0,10,00),exp()1(),,(212122121xxxxxfxxxf,))(1(1),(213评述：（1）方法基于n趋于无穷大时的情形；（2）只用到了总体的数字特征的信息，而分布形式未用到（如例2.2），较粗糙。点估计的矩法是由皮尔逊提出的，它直观、简便，特别对总体期望合方差进行估计时不需要知道总体的分布。但它要求总体原点矩存在，而有些随机变量的原点矩不存在，就不能用此法进行参数估计。此外，矩估计有时不唯一；再者它没有利用总体分布函数所提供的信息，因此很难保证它有优良的性质。142.1.2极大似然估计法（MLE）词义：最像什么就取什么。原理（概率论）：在一次试验中，已经发生（产生），则其事件发生的概率应该很大！小概率原理：小概率事件，在一次试验中（几乎）不可能发生。如乘飞机旅行。极大似然法的原理:例如有一个事件,若知道它出现的概率只能是0.01或0.99,而在一次观测中,此事件出现,此时自然会说它的概率应为0.99,因此,极大似然法是要选取这样的值来作为参数的估计值,使得当参数取这一数值时,观测结果出现的可能性为最大.15引例设在罐中放有许多白球和黑球,已知两种球的数目之比为1:3,但不知哪种颜色的球多,若采用有放回方式从罐中取3个球,发现有一只黑球,问在此情况下应估计哪种颜色的球多?解：设p=黑球所占比例=罐中全部球的数目罐中黑球数则则p=1/4或p=3/4又设X=“取出的3只球中黑球的数目”),3(~pbX649)41(43}4/3,1{6427)43(41}4/1,1{213213CpXPCpXP认为p=1/416似然函数(1)设总体X是离散型随机变量，其分布律P{X=x}=p(x;)的形式为已知,为待估参数,是可能取值的范围。设X1,X2,…,Xn是来自X的样本，则(X1,X2,…,Xn)的联合分布律为,),(1niixp,);();,()(12,1niinxpxxxLL又设x1,x2,…,xn为样本X1,X2,…,Xn的观察值,称为样本的似然函数.(2)如果总体X是连续型随机变量，其概率密度为f(x;),,);();,()(12,1niinxfxxxLL样本的似然函数为:170)(lndLd则称为的极大似然估计值，),,,(ˆ21nxxx定义若有,使得);,,,(max)ˆ;,,,(2121nnxxxLxxxL如何求L()的最大值?ˆ),,,(ˆ21nXXX称为的极大似然估计量.当lnL()关于可微时,必满足方程:由于L()与lnL()在上有相同的最大值点,所以求L()与lnL()的最大值点可以改为求lnL()的最大值点.)(max)ˆ(LL,即-----对数似然方程),...,2,1(,0)(lnkiLi组18例2.8设总体X~N(,2),,2均未知，又设X1,X2,...,Xn为总体X的样本,x1,x2,…,xn为X的一组样本观测值，试求,2的极大似然估计值量.212)(1ˆ,ˆXXnXnii2222)(exp21),;(xxf解似然函数为22122)(exp21),(inixLniinx122)(21exp)2(1似然方程为02)(21),(0)(1),(212422122nxLxLniinii19例2.9设X~b(1,p),X1,X2,…,Xn是来自X的一个样本,求参数p的最大似然估计量.解设x1,x2,…,xn是相应于X1,X2,…,Xn一个样本值,X的分布律为P{X=x}=px(1-p)1-x,x=0,1,故似然函数为nixxiipppL11)1()(niiniixnxpp11)1()1ln()(ln)()(ln11pxnpxpLniinii0)(lnpLdpdxxnpnii11ˆXXnpnii11ˆ似然估计量似然估计值令20iniiniXbXa11maxˆ,minˆ例2.10设总体X~U(a,b),a,b均未知，又设X1,2,...,Xn为总体X的样本,x1,x2,…,xn为X的一组样本观测值，试求a,b的极大似然估计值量.(用定义)例2.11设总体X服从参数为的柯西分布，求的极大似然估计值量（MLE）.0)(1)(2)(ln12niiiXXdLd得不到解析解，求数值解。21如果为参数的极大似然估计量，又函数具有单值反函数，则是的极大似然估计量．ˆ)(gg)ˆ(g)(g似然估计具有下述性质:2niiXXn122)(1ˆ例如在例2.8中已得到的极大似然估计为函数有单值反函数根据上述性质，得到标准差的极大似然估计为22)(gg0)(g22gniiXXn12)(1ˆ22极大似然法克服了矩法的一些缺点,它利用总体的样本和分布函数表达形式所提供的信息建立未知参数的估计量；它也不要求总体原点矩存在,因此极大似然估计量有比较良好的性质；但求极大似然估计量一般要解似然方程,而有时解似然方程很困难,只能用数值方法求似然方程的近似解.23§2．2估计量的评价准则由例2.3和例2.10的结果看出，对均匀分布总体参数的估计不一样，哪个好？例2.12若总体X~(),则未知参数的矩估计量为,ˆXniiXXn12)(1ˆ或即使用同一方法得出的估计量也不同。iniiniXbXa11maxˆ,minˆniniXXnXbXXnXa1212)(3ˆ,)(3ˆ242.2.1．无偏性定义2.1：如果，则称估计量为无偏估计量；如果记作，则称估计量为渐进无偏估计量。其中称作偏差。)ˆ(E0|),...,,(ˆ(|lim21nnXXXE0)(limbn)(bX2SniiXXnSnnS1222*)(111可以验证是总体均值的无偏估计[例2.13]；但不是总体方差的无偏估计，是渐进无偏的。而是无偏的[例2.14]。25评述：无偏的概率意义，即反复使用，整体平均下，估计准确。其局限性，若仅有一