第一节 参数估计的意义

参数估计第一节参数估计的意义一、参数估计的意义参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者总体的某些数字特征.参数估计的两个研究方向：1.在已知总体分布类型的前提下，由样本信息估计出总体未知参数的近似值，从而近似估计总体分布.22222(,)(,).XNXN例如，测量误差，其中和未知，可利用样本信息估计出和的近似值和，于是近似服从一、参数估计的意义2.有时关心的不是总体服从具体分布，而是关注总体的某些数字特征（如均值、方差等）例如，灯泡厂生产过程中受到随机因素干扰，灯泡寿命不尽相同.为评价产品质量，自然提出如何估计这批灯泡的平均寿命（总体均值），以及寿命长短相差（总体方差）等问题.有时还希望通过数据分析，以一定的可靠性来估计灯泡平均寿命介于某个范围或者不低于某个数值.12121212(,),,,(,,,).,,,(,,,).nnnnXFxXXXXXXxxxxxx设总体的分布函数为，其中为未知参数，为来自总体的样本，由样本构造一个统计量若以这个样本函数去估计估参数，则称为参数的；若是样本的计量一组观察值，则称为参数的义：估计值定由于样本来自总体，它必然在一定程度上反映总体，因而在参数估计问题中，经常要用到样本的某个适当的函数来估计总体的参数.二、参数估计的概念二、参数估计的概念参数估计问题：知道随机变量（总体）的分布类型，但确切的形式不知道，根据样本来估计总体的参数，这类问题称为参数估计(ParamentricEstimation).参数估计点估计区间估计二、参数估计的概念（假定身高服从正态分布）设这5个数是:1.651.671.681.781.69这是区间估计.估计在区间[1.57,1.84]内，例如我们要估计某队男生的平均身高.现从该总体中选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计，而全部信息就由这5个数组成.估计为1.68，这是点估计.参数估计第二节参数的点估计一、引言12(,,,).nXXX所谓参数的点估计，就是寻找一个样本函数作为未知参数的估计量1.顺序统计量估计法2.矩估计法3.极大似然估计4.最小二乘法点估计常用方法：二、矩估计法矩估计法是英国统计学家K.皮尔逊最早提出来的.由辛钦大数定律,若总体的数学期望有限,则有二、矩估计法这表明，当样本容量很大时，在统计上，可以用样本矩去估计总体矩.这一事实导出矩估计法.定义用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为矩估计法.理论依据:大数定律二、矩估计法222nXμσXSμσ由大定律知道，若总体的期望和方差存在，则样本均值和样本方差分别依概率收敛于和，即样本的一阶原点矩或二阶中心矩能很好地反映相应的总体矩，因此122211==1=()niinniiμXXnσSXXn二、矩估计法例122(,),XN设钉子长度其中未知，已知.52.3,2.2,1.8,1.7,2.现任取只，测其长度分别为：.试用矩法估计总体均值解：由矩估计法可知51111()5niiiiXXXn矩估计量51151=2.32.21.81.722()5iixx（）矩估计值二、矩估计法例21(,),,,nXBmpXX设随机变量为样本(1).mppp若已知，未知，求的矩法估计量解：XEXmp对于总体：，根据矩估计11niiEXmpXXn111()niipXXmmn估计量二、矩估计法(2),.mpmpmp若，均未知，求的矩法估计量和解：121(1)niinEXmpXXnDXmppS22221nnnSXSpXXXmXS例21(,),,,nXBmpXX设随机变量为样本二、矩估计法31,0()0,1.3,0.6,1.7,2.2,0.3,1.1Xxfx例设总体的分布密度为其他是来自总体的一组样本值，试用矩估计法估计总体的均值、方差及参数.解：总体均值的估计值为6111(1.30.61.72.20.31.1)1.266iixx二、矩估计法总体方差的估计值为62211()0.4076niisxx为估计参数，先找总体均值与的关系，0()2xxfxdxdxx而，于是=2x2=21.2=2.4x二、矩估计法例4设总体X具有分布列123(01).121.xxx其中为未知参数已知取得样本值，，，试求的矩估计值解：总体均值为22122(1)3(1)32样本均值为14(121)33x,x由43-2,3即5.6解得的矩估计值为解:由矩估计法,从中解得,112ˆXX的矩估计.即为例5设总体X的概率密度为(1),01()0,xxfx其它是未知参数,其中X1,X2,…,Xn是取自X的样本,求参数的矩估计.三、矩估计法练习1设总体X在[a,b]上服从均匀分布,a,b未知.是来自X的样本,试求a,b的矩估计量.练习练习2设总体X的概率密度为是未知参数,其中X1,X2,…,Xn是取自X的样本，求参数的矩估计.1,01()0,xxfx其他212131.3=(),33()nniinniiaXSXXXnbXSXXXn练习22.1XX四、极大似然估计极大似然估计法是在总体类型已知条件下使用的一种参数估计方法.它首先是由德国数学家高斯在1821年提出的.GaussFisher然而，这个方法常归功于英国统计学家费歇.费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.四、极大似然估计例子：1.老猎人和小猎人捕猎，各自向野兔射击一发子弹，兔子身上只有一个弹孔，一般情况下，我们总会认为，这是由老猎人射中的.2.机器发生故障时，总是从易损部位开始检查；医院就医时，医生总是先检查病例，从曾经的患处入手诊断.3.两个箱子各100个球，甲箱中99个白球1个红球，乙箱中1个白球99个红球，现任取一箱再任取一个球，发现是红球，一般估计此球来自乙箱.四、极大似然估计极大似然估计法的思想极大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法.最大似然原理的直观想法是：在试验中概率最大的事件最有可能出现.因此，一个试验如有若干个可能的结果A,B,C,…,若在一次试验中，结果A出现，则一般认为A出现的概率最大.在已得试验结果的条件下，应该寻找使得该结果出现可能性最大的那个参数值作为真正参数的估计.四、极大似然估计极大似然估计定义：当给定样本X1,X2,…Xn时，定义似然函数为：)(Lf(x1,x2,…,xn;)这里x1,x2,…,xn是样本的观察值.设X1,X2,…Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合分布律(离散型)为121(,,,;)(;)nniifxxxfx四、极大似然估计似然函数：)(Lf(x1,x2,…,xn;)看作参数的函数，它可作为将以多大可能产生样本值x1,x2,…,xn的一种度量.)(L极大似然估计法就是用使达到最大值的去估计.即ˆ)(L称为的极大似然估计值.而相应的统计量称为的极大似然估计量.1(,,)nθXXθˆ四、极大似然估计求极大似然估计量的一般步骤为：（1）求似然函数1(;)niiLfx（2）一般地，求出及似然方程lnLˆln0dLd（3）解似然方程得到极大似然估计值12ˆˆ,,...,nxxx（4）最后得到极大似然估计量12ˆˆ,,...,nXXX四、极大似然估计1.X为离散型(;).XPXx设总体是离散型随机变量，其概率分布为其中为未知参数1212,,,,,,nnXXXXxxx若为来自总体的样本，其观察值为，则该观察值出现的概率为11221()(,,,;)(;)nnniiLPXxXxXxPXx12(0),,,,,.nXXXXX设服从参数为的泊松分布是来自的一个样本求的极大似然估计量解：的分布律为因为X),,2,1,0(,e!}{nxxxXPxniixxLi1e!)(,!e11niixnxnii的似然函数为所以例1四、极大似然估计11ln()lnln!,nniiiiLnxx,0)(lndd1niixnL令解得的极大似然估计值11,niixxn的极大似然估计量为.1ˆ1XXnnii这一估计量与矩估计量是相同的.四、极大似然估计四、极大似然估计例2设总体X具有分布列(01).1212233.其中为未知参数已知取得样本值，，，，，，，试求的极大似然估计值解：1237()(1,2,1,,3)LPXXXX232(1)(2)(3)PXPXPX22223()[(1)][2(1)]778(1)四、极大似然估计77()8(1)Lln()ln87ln7ln(1)L取对数ln()7701dLd令12解得的极大似然估计值为.,,,,),,1(~21的最大似然估计量求个样本的一是来自设pXXXXpBXn,,,,,,,2121一个样本值的为相应于样本设nnXXXxxx解1,0,)1(}{1xppxXPXxx的分布律为似然函数iixnixpppL11)1()(,)1(11niiniixnxpp练习四、极大似然估计),1ln(ln)(ln11pxnpxpLniinii,01)(lndd11pxnpxpLpniinii令的最大似然估计值解得p11ˆniipxxn的最大似然估计量为p.1ˆ1XXnpnii四、极大似然估计11()(1),nniiiixnxLppp四、极大似然估计2.X为连续型(;)Xfx设总体是连续型随机变量，概率密度为，其中为未知参数，相应的似然函数为1()(;)niiLfx.再按上述方法求参数的极大似然估计即可四、极大似然估计例3设总体X服从指数分布，其分布密度为12,0(;)0,0,,,..xnexfxxXXXX其中为未知参数.为总体的样本求参数的极大似然估计量解：1()inxiLe1niixne似然函数为0(1,2,,)ixin当时，四、极大似然估计1()niixnLe取对数1ln()lnniiLnx似然方程为1ln()0niidLnxd11niinxx解得的极大似然估计值为1.X于是，的极大似然估计量为四、极大似然估计1()(1)niiLx解：例4设连续型总体X的概率密度为(1),01()0,xxfx其它121,,,.nXXX其中为未知参数，为一组样本，求未知参数的极大似然估计量1(1)()nniix似然函数为01(1,2,,)ixin当样本值时，四、极大似然估计1()(1)()nniiLx1ln()ln(1)ln()nniiLx1ln()ln01niidLnxd令11()lnniinx解得估计值11()lnniinX估计量取对数1ln(1)ln()niinx解：似然函数为11)(niinx)10(ix对数似然函数为ni1练习设X1,X2,…Xn是取自总体X的一个样本求的