称为样本的似然函数

Page1Chapter6参数估计§6.1点估计的几种方法§6.2点估计的评价标准§6.3最大似然估计§6.4最小方差无偏估计§6.6区间估计第六章参数估计Page2Chapter6参数估计一般常用表示参数，参数所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。Page3Chapter6参数估计设x1,x2,…,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：1ˆˆ(,,)nxxˆ其一是如何给出估计，即估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。Page4Chapter6参数估计6.1.1替换原理和矩法估计一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：•用样本均值估计总体均值E(X)，即；•用样本方差估计总体方差Var(X)，即•用样本的p分位数估计总体的p分位数，•用样本中位数估计总体中位数。ˆ()EXx2ˆVar()nXs6.1点估计的几种方法Page5Chapter6参数估计例6.1.1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。20.528.695,0.9185,28.6nxsmPage6Chapter6参数估计设总体具有已知的概率函数P(x,1,…,k)，x1,x2,…,xn是样本，假定总体的k阶原点矩k存在，若1,…,k能够表示成1,…,k的函数j=j(1,…,k)，则可给出诸j的矩法估计为其中1ˆ(,,),1,,,jjkaajk11njjiiaxnPage7Chapter6参数估计例6.1.2设总体服从指数分布，由于EX=1/，即=1/EX，故的矩法估计为另外，由于Var(X)=1/2，其反函数为因此，从替换原理来看，的矩法估计也可取为s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。ˆ1/x1/Var()X1ˆ1/sPage8Chapter6参数估计例6.1.3x1,x2,…,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于不难推出由此即可得到a,b的矩估计：2(),Var(),212abbaEXX3Var(),3Var(),aEXXbEXXˆˆ3,3axsbxsPage9Chapter6参数估计6.2.1相合性Consistency我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。6.2点估计的评价标准Page10Chapter6参数估计定义6.2.1设∈Θ为未知参数，是的一个估计量，n是样本容量，若对任何一个ε0，有(6.2.1)则称为参数的相合估计。1ˆˆ(,,)nnnxxˆlim(||)0nnPˆnPage11Chapter6参数估计相合性被认为是对估计的一个最基本要求,如果一个估计量,在样本量不断增大时，它都不能把被估参数估计到任意指定的精度,那么这个估计是很值得怀疑的。通常,不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.Page12Chapter6参数估计若把依赖于样本量n的估计量看作一个随机变量序列,相合性就是依概率收敛于,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。ˆnˆnPage13Chapter6参数估计在判断估计的相合性时下述两个定理是很有用的。定理6.2.1设是的一个估计量，若则是的相合估计，1ˆˆ(,,)nnnxxˆˆlim(),lim()0nnnnEVarˆn1ˆˆ,,nnk1ˆˆˆ(,,)nnnkg定理6.2.2若分别是1,…,k的相合估计，=g(1,…,k)是1,…,k的连续函数，则是的相合估计。Page14Chapter6参数估计例6.2.2设x1,x2,…,xn是来自均匀总体U(0,)的样本，证明的极大似然估计是相合估计。证明：在例6.1.7中我们已经给出的极大似然估计是x(n)。由次序统计量的分布，我们知道x(n)的分布密度函数为p(y)=nyn-1/n,y,故有由定理6.2.1可知，x(n)是的相合估计。021202222ˆd/1ˆd/2ˆVar()0,21(1)(2)nnnnnEnyynnEnyynnnnnnnnPage15Chapter6参数估计由大数定律及定理6.2.2，我们可以看到：矩估计一般都具有相合性。比如：样本均值是总体均值的相合估计；样本标准差是总体标准差的相合估计；样本变异系数是总体变异系数的相合估计。Page16Chapter6参数估计定义6.2.2设是的一个估计，的参数空间为Θ，若对任意的∈Θ，有则称是的无偏估计，否则称为有偏估计。1ˆˆ(,,)nxxˆ()Eˆ无偏性UnbiasednessPage17Chapter6参数估计例6.2.4对任一总体而言，样本均值是总体均值的无偏估计。当总体k阶矩存在时，样本k阶原点矩ak是总体k阶原点矩k的无偏估计。但对中心矩则不一样，譬如，由于，样本方差s*2不是总体方差2的无偏估计，对此，有如下两点说明：(1)当样本量趋于无穷时，有E(s*2)2，我们称s*2为2的渐近无偏估计。(2)若对s*2作如下修正：，则s2是总体方差的无偏估计。22*1()nEsn2221*1()11niinssxxnnPage18Chapter6参数估计例6.2.5设总体为N(,2)，x1,x2,…,xn是样本，则s2是2的无偏估计，且可求出这说明s不是的无偏估计.利用修正技术可得cns是的无偏估计，其中是修偏系数.可以证明，当n时,有cn1.这说明s是的渐近无偏估计。2(/2)1((1)/2)nnEsnnc1((1)/2)2(/2)nnncnPage19Chapter6参数估计定义6.2.3设是的两个无偏估计，如果对任意的∈Θ,有且至少有一个∈Θ使得上述不等号严格成立，则称比有效。12ˆˆ,12ˆˆVar()Var(),1ˆ2ˆ有效性EffectivenessPage20Chapter6参数估计例6.2.6设x1,x2,…,xn是取自某总体的样本，记总体均值为，总体方差为2，则,,都是的无偏估计，但显然，只要n1，比有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。11ˆx2ˆx2212ˆˆVar(),Var()/n2ˆ1ˆPage21Chapter6参数估计例6.2.7均匀总体U(0,)中的极大似然估计是x(n)，由于，所以x(n)不是的无偏估计，而是的渐近无偏估计。经过修偏后可以得到的一个无偏估计：。且另一方面，由矩法我们可以得到的另一个无偏估计，且由此，当n1时，比有效。()1nnExn1()1ˆnnxn22221()211ˆVar()Var()(1)(2)(2)nnnnxnnnnnn2ˆ2x22244ˆVar()4Var()Var()123xXnnn1ˆ2ˆPage22Chapter6参数估计极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。思想（idea）在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个作为真的估计ˆ6.3极（最）大似然估计MaximumlikelihoodEstimationPage23Chapter6参数估计最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。Page24Chapter6参数估计定义6.3.1设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,…,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,…,xn)表示，简记为L()，称为样本的似然函数。112()(;,,)(;)(;)(;)nnLLxxpxpxpx如果某统计量满足则称是的极(最)大似然估计，简记为MLE（MaximumLikelihoodEstimate）。1ˆˆ(,,)nxxˆ()max()LLˆPage25Chapter6参数估计求极大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数；（4）解似然方程；（5）判断最大值人们通常更习惯于由对数似然函数lnL()出发寻找的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。Page26Chapter6参数估计例6.3.6设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n)，则似然函数为其对数似然函数为22123,2(1),(1)ppp123212322222()()[2(1)][(1)]2(1)nnnnnnnnL12322ln()(2)ln(2)ln(1)ln2LnnnnnPage27Chapter6参数估计将之关于求导，并令其为0得到似然方程解之，得由于所以是极大值点。ˆ12322201nnnn121212322ˆ2()2nnnnnnnn21232222ln()220(1)LnnnnPage28Chapter6参数估计例6.3.7对正态总体N(,2)，θ=(,2)是二维参数，设有样本x1,x2,…,xn，则似然函数及其对数分别为22212/222122221()1(,)exp221(2)exp()21ln(,)()lnln(2)222niinniiniixLxnnLxPage29Chapter6参数估计将lnL(,2)分别关于两个分量求偏导并令其为0,即得到似然方程组(6.3.9)(6.3.10)221ln(,)1()0niiLx222421ln(,)1()022niiLnxPage30Chapter6参数估计解此方程组，由(6.3.9)可得的极大似然估