概率论与数理统计教程(茆诗松)第6章厦大版

所谓参数是指由模型所决定，且能够刻划模型的某种统计性质的量。通常有三种类型： 1.在已知总体分布结构时，总体分布中的未知参数； 2.在已知总体分布结构时，总体分布中未知参数的函数； 3.总体数字特征(均值、中位数、众数、方差、绝对差)。在统计中通常用希腊字母μ，θ，σ，…来表示参数。第6章参数估计统计推断(statisticalinference)是一个从样本值推断未知总体的过程。依据推断形式不同，统计推断可分为两大类：估计问题和假设检验问题。本章将介绍参数估计的基本思想和方法。参数估计的形式有两种：点估计和区间估计；本章从点估计开始。本章引言()()是相应的样本值。的一个样本，是设 n n x x X X X LL 1 1 的真值。来估计未知参数，然后用它的观察值同取值范围的统计量维数和相有相同，我们构造一个与为了估计未知参数qqq ) , , ( ) , , ( 1 1 n n x x h X X h LL点估计问题的一般提法是事先知道的。它的参数空间是未知的，但尽管的取值范围，称为示表，这里，一维或多维是待估的未知参数设 )QqqQQÎqq ( 参数空间。通常记为的为我们称q ) , , ( 1 n X X h L估计量(estimator) ) , , ( ˆ 1 n X X Lq ) , , ( ˆ 1 n x x Lq通常记为的为我们称q ) , , ( 1 n x x h L估计值点估计问题的一般提法(续) 估计量和估计值统称为点估计(point estimate)，简称为估计，并简记为。q ˆ 在点估计中，对如何构造估计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题： 1.构造点估计量的方法 2.点估计量的评价本章的内容是这样安排的，我们先介绍一些估计方法，再讨论估计的评价标准和几个专题，最后讲述区间估计。本章目录§6.1点估计的几种方法§6.2点估计的评价标准§6.3最小方差无偏估计§6.4贝叶斯估计§6.5区间估计§6.1点估计的几种方法6.1.1替换原理和矩法估计6.1.2最大似然估计矩法估计的理论依据:矩法估计是一种基于简单的“替换”思想建立起来的估计方法。统计中常用的替换原理有：矩法估计是英国统计学家K.皮尔逊最早提出的。格里纹科定理6.1.1替换原理和矩法估计1.矩法估计的基本思想用样本矩替换相应的总体矩；用样本矩的涵数替换相应的总体矩的涵数；用样本 p 分位数替换相应的总体 p 分位数。用频率替换概率； Karl Pearson (1857～1936)例如，若记矩法估计的基本思想(续)用矩替换原理确定的估计量称为矩法估计量，相应的估计值称为矩法估计值，矩法估计量与矩法估计值统称为矩法估计，简记为MME ，或MM 估计。() k k X E=m()() k k X E X E-=nå== n i k i k X n a 1 1()å=-= n i k i k X X n b 1 1 k k a=m ˆ k k b=n ˆ解：例6.1.1 DX EX=s=m 2 ,()å=-==s==m ni i MM MM X X n 1 2 2 1 ˆ ˆ DX EX ^ ^ X 与故()是一个样本；未知，又设，但都存在，且，方差的均值设总体 n X X X , , , 0 1 2 2 2 Lsmssm 2 ,sm求：的矩法估计。 2sm与分别为的MM估计。概率涵数已知时未知参数的矩法估计 k i i i , , 1 ) ( L=qm=m或者在总体分布类型已知时，设总体的概率涵数为()QÎqq , ; x f 此时，按矩法估计的基本思想，求矩法估计的一般步骤为：() l j j j , , 2 L=qn=n(1)依据待估参数的维数，计算相关的总体矩；概率涵数已知时未知参数的矩法估计(续)() b a , , , , , , ˆ LLLL j i g=q()îíìqn=qm= j j i i b a ) ( (2)利用ai,bj分别代替(1)中相应的总体矩mi,nj，得到矩方程(组)：(3)解矩议程(组)，得参数q的MM估计：例6.1.2设总体服从指数分布，其密度涵数为求未知参数l的矩法估计。() 0 , ;l=ll- x e x p x例6.1.3设X1,…,Xni.i.d.~ ，其中0≤a b为未知参数，试求参数a和b的MM估计。() b a U ,矩法估计的优缺点矩法估计的优点是简单易行，并不需要事先知道总体是什么类型的分布。只需计算与待估总体参数有关的总体矩。然后用样本矩代替相应总体矩，建立矩法方程(组)。缺点是，当总体分布结构已知时，没有充分利用分布提供的信息。且当总体分布的一阶矩不存在时，无法使用矩法估计，如对柯西(Cauchy)分布。而且矩法估计量可能不具有唯一性。其主要原因在于建立矩法方程(组)时，选取那些总体矩用相应样本矩代替带有一定的随意性。最大似然估计是在总体分布结构已知条件下使用的一种估计总体分布中未知参数的方法.它首先是由德国数学家高斯在1821年提出的, Gauss Fisher 然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.6.1.2最大似然估计先看一个简单的例子：一只野兔从前方窜过. 是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，为什么?只听一声枪响，野兔应声倒下.最大似然估计的基本思想在已经得到样本值(x1,…,xn)的情况下，我们应该寻找使这个样本值出现的可能性最大的那个分布所对应的θ作为真θ的估计.你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.这个例子所做的推断已经体现了最大似然估计的基本思想.最大似然估计的基本思想(续)()ÎL设为来总样类参数1nX，,X，X的分布型已知，但θ未知，且θΘ.自体X的本的形式已知为属离散型，其概率分布若总体 X()的联合概率分布为：则样本 n X X , ,1 L{}Õ=q=== ni i n n x p x X x X P 1 1 1 ) ; ( , , L()()的概率；取固定时，上式表示在 n n x x X X , , , , 1 1 LLq()，并称记为的函数，给定时，它可看作反之，当样本值 ) L(qq n x x , ,1 L离散型总体的似然函数(likelihood function) ) ; ( } {q== x p x X PQÎqQÎqÕ=q=q ni i x p L 1 ) ; ( ) (QÎq为似然函数。似然函数的大小表示该样本值出现的可能性大小。使该样本值出现的可能性最大的分布所对应的θ就是使似然函数L(θ)达到最大的那个θ.函数的形式已知为属连续型，其概率密度若总体 X()：的联合概率密度函数为则样本 n X X , ,1 LQÎqqÕ=， n i i x p 1 ) ; ( LLLL时处邻内1n1n1n1n在θ固定，它是(X,,X)在(x,,x)的密度，它的大小与(X,,X)落在(x,,x)域的概率成正比。连续型总体的似然函数(likelihood function)QÎqq), ; (x p() 1 ,, L() n xxqqL反之，当样本值给定时，它可看作的函数，我们仍把它记为，并称为似然函数(likelihood function) 。()QÎqq=qÕ=， n i i x p L 1 ) ; (连续型总体的似然函数(续) 因此，似然函数的大小与该样本值出现的可能性大小成正比。使该样本值出现的可能性最大的分布所对应的θ就是使似然函数L(θ)达到最大的那个θ. LL数邻内1n1n由于似然函的大小与(X,,X)落在(x,,x)域的概率成正比。最大似然估计量(maximumlikelihoodestimator)() 1 * 1 ,, =(,,) n n xx xxqqLL*若对任意给定的样本值，存在使 * ()max() LLqqqÎQ= * 1 * 1 (,,) (X,,X) ML(MLE) n n xxqqqqqLL极大似然估计值极大似然估计量极大似然估计则称为的，称相应的统计量为的，它们统称为的，可估计或简记为。 (最大似然估计)() 1 ,,() () n xxL LqqqqqL在有了样本值后，似然函数反映了的各个不同值导出这个样本值的可能性大小，我们选择使达到最大的那个作为真的估计，这种求点估计的方法就叫做极大似然法。称为最大似然估计法(或极大似然估计法)。最大似然估计与充分统计量的关系定理6.1.1 设T为任一充分统计量，则ML估计一定可表示为T的函数。对数似然函数称似然函数的对数为对数似然函数。 ) ( log ) (q=q L l 显然 ) ( max arg ) ( max argq=q L l() ; , 0 ) ( 2 从中解得驻点令=q¶q¶l ML 当似然函数关于未知参数可微时，一般可通过求导数得到估计，其主要步骤是：似然方程(组)及其数值解法() () 3判断驻点为最大值点当驻点唯一时，此步可省略；() ML. 4求得各参数的估计 ) ( | ) ; ( log ) ( ) ( ) ( k n n k k x f S gq=qq¶q¶ºq=()() ) ( ; log 2 ) ( k T n k fq=qq¶q¶q¶=q= | x ) H( H n k k k k g ­1 k H ­ ) ( ) 1 (q=q+牛顿-拉弗森(Newton-Raphson)算法(N-R算法)似然方程(组)()()()；和对数似然函数写出似然函数qq l L 1例6.1.6 设一个试验有三种可能结果，其发生概率分别为： 2 1q= p ) 1 ( 2 2qq-= p 2 3 ) 1 (q-= p ) ( , , 3 2 1 3 2 1 n n n n n n n=++现做了n次试验，观测到三种结果发生的次数分别为：求q的ML估计。()() 22 2 11 2 ~(,); , , 0  X,,XX ,, , ML. nn XN xxmsmsmsms¥+¥LL设总体为未知参数，-，为来自的样本，为样本值。求的估计例6.1.7例6.1.8设X1,…,Xni.i.d.~ ，其中θ0为未知参数，试求参数θ的ML估计。()q , 0 U最大似然估计的不变性如果是q的最大似然估计，=g(q)是q的涵数且存在单值反涵数q=h()。那么g()是g(q)的ML估计。这种性质叫做最大似然估计的不变性。llq ˆq ˆ例6.1.9设是来自正态总体的样本，则m和s 2 的极大似然估计为， n x x x , , , 2 1 L ) , ( 2sm N 2 2 ˆ , ˆ*== s xsm*= ss ˆ÷øöçèæ-F* s x 3 于是由不变性可得如下参数的极大似然估计，它们是:标准差s的MLE是:÷øöçèæ-F=sm 3 ) 3 (X P 概率的MLE是:总体0.90分位数的MLE是 90 . 0 90 . 0 u xsm+= 90 . 0 u s x×+*其中u 0.90 为标准正态分布的0.90分位数。§6.2点估计的评价标准6.2.1相合性6.2.2无偏性6.2.3有效性6.2.4均方误差评价估计量的标准从点估计的定义可以看出，点估计的概念是相当宽松的，一个未知的参数的估计量是不唯一的。原则上任何值域为参数空间的统计量都可以作为未知参数的估计量。为从众多的估计量中选用一个好的估计量，必须给出评价估计量好坏的标准。评价一个估计量的好坏，不能仅仅依据一次使用的结果，而必须综合多次重复使用的结果来衡量。这是因为估计量是随机变量。对不同的样本值，就会得出不同的估计值。因此一个好的估计量，应在多次重复使用中体现出优良性。评价估计量的标准(续) 下面简单介绍四条最基本的标准：相合性(一致性) 、无偏性、有效性及均方误差。在统计中存在众多评价估计量好坏的标准，对同一估计量，使用不同的评价标准可能会得到完全不同的结论，因此，在评价一个估计量好坏时，首先是说明使用