矩估计和极大似然估计

1点估计问题：构造一个适当的统计量用它的观察值来估计未知参数θ.称为θ的估计量，为θ的估计值.参数估计：点估计:估计θ的具体数值;区间估计:估计θ的所在范围.2第七章第一节矩法估计二、常用分布参数的矩法估计一、矩法估计3矩估计步骤：连续型离散型4所以参数p的矩估计量为例：总体X的分布列为：是来自总体X的样本，解：由于总体X的分布为二项分布，5设某炸药厂一天中发生着火现象的次数X未知，有以下样本值；的泊松分布，参数为250126225490756543210knkk次着火天数发生着火的次数niiXXnAEX1111解：,X令22.1)16901750(2501ˆx则。估计值所以22.1ˆ,X例1服从（用矩法）。试估计参数6下面我们通过几个例子说明利用矩估计法求未知参数的过程。二、常用分布常数的矩法估计7是一个样本；未知，又设，但都存在，且，方差的均值设总体nXXX,,,0122的矩估计量。求：2,,1EX,,2211AA令,,2221AA即,ˆ1XA所以2221ˆAA未知；特别，若22,),,N(~XniiXXnX122)(1ˆ,ˆ则例222222()()EXDXEX解2211niiXXn211()niiXXn8注:总体均值方差的矩估计量与总体分布无关。做矩估计时,也可用中心矩建立关于未知参数的方程组，因而矩估计不唯一。λ未知，求参数λ的矩估计。例3解：9解.,0,1次取到合格品第次取到不合格品；第iiXi不合格品率p的矩法估计分析设总体X为抽的不合格产品数，相当于抽取了一组样本X1，X2，…，Xn,且因p=EX,故p的矩估计量为设某车间生产一批产品，为估计该批产品不合格品niniAfXnXp1)(1ˆ(即出现不合格产品的频率).例41,2,,.in率，抽取了n件产品进行检查.10是一个样本；未知；设总体nXXbabaUX,,,],,[~1的矩估计量。求：ba,,21baEXniiXnAba1112令niiXnAbaab1222214)(12)(22222()()()()124baabEXDXEX例5解)(12,22121AAabAba即niiXXnXAAAa122122)(3)(3ˆ解得：11niiXXnXAAAa122122)(3)(3ˆ解得：niiXXnXAAAb122121)(3)(3ˆniiXnAba1112令niiXnAbaab1222214)(12)()(12,22121AAabAba即121111.0,;,)()(xxxxpθ是未知参数，X1，X2，…,Xn，是X的一组样本，1)1(dxxxEX解,11dxx设总体X的概率密度为,1ˆˆx解得.1ˆxx例6求θ的矩估计量.,11niixnEX13.0,;,θ1)()/(xxexpx其中θ＞0，μ与θ是未知参数，X1，X2，…,Xn，是X的一组样本，求μ与θ的矩估计量.dxeEXxxθθ解,0θ1θ)(dyeyy例7.设总体X的概率密度为,xy令14令.θ,μθ22MX注意到DX=E(X2)－(EX)2=θ2μθμθ2e)(2dxXExx022θ2θ12θ2)(dyeyy=θ2+(θ+μ)2,)(ˆ1212niinXXM.MXμˆ2EX15第七章第二节极大似然估计极大似然估计16极大似然估计法:设是的一个样本值事件发生的概率为为的函数，形式已知(如离散型)X的分布列为的联合分布列为：为样本的似然函数。定义7.117即取使得：与有关,记为称为参数θ的极大似然估计值。称为参数θ的极大似然估计量。达到最大的参数作为θ的估计值。现从中挑选使概率样本的似然函数18若总体X属连续型,其概率密度的形式已知，θ为待估参数；则的联合密度：一般，关于θ可微，故θ可由下式求得：因此的极大似然估计θ也可从下式解得：在同一点处取极值。19()ln()ln()0.LLdLd与处计从：又因在同一取到极值，因此的极大似然估也可下述方程解得个参数，若母体的分布中包含多.,,1,0kiLi即可令的极大似然估计值。个方程组求得解kk,,1.,,1,0lnkiLi或20故似然函数为例1设是来自总体X的一个样本，试求参数p的极大似然估计值.解：设是一个样本值。X的分布列为：而令21它与矩估计量是相同的。解得p的极大似然估计值p的极大似然估计量令解得22设总体X的分布列为：是来自总体X的样本，求p的极大解：似然函数为似然估计值。例223令即所以参数的极大似然估计量为24解例3设X1,X2,…,Xn是取自总体X的一个样本,，求参数λ的极大似然估计值。似然函数为:25例4设未知，是一个样本值求的极大似然估计量.解设的概率密度为：似然函数为26等价于因为对于满足的任意有即时,取最大值在似然函数为27故的极大似然估计值为:故的极大似然估计量为:即时,取最大值在似然函数为281,0:(;)(0)0,xexXpxother今取得一组样本Xk数据如下，问如何估计θ？162950681001301402702803404104505206201902108001100某电子管的使用寿命X（单位：小时)服从指数分布例5指数分布的点估计分析可用两种方法：矩法估计和极大似然估计.291）矩法估计01xEXxedxˆ.XX则计为：令可得的矩法估量数计为：代入具体值可得的估值).(318572318111小时niixn1,0:(;)(0)0,xexXpxother302）极大似然估计1.构造似然函数当xi0,（i=1,2,…,n)时，似然函数为1111()niiinxxniLeeniixnL11lnln2.取对数3.建立似然方程.01ln12niixndLd1,0:(;)(0)0,xexXpxother315.得极大似然估计量：,1ˆ1XXnnii的估计值为：代入具体数值可得4.求解得极大似然估计值,1ˆ1xxnnii).(318572318111小时niixn.01ln12niixndLdniiixnxnineexxL11111);,...,(niixnL11lnln32似然函数为：例6设为未知参数，是来自X的一个样本值，求的极大似然估计值。解：X的概率密度为：33解得：令即：它们与相应的矩估计量相同.34注：lnx是x的严格单增函数，lnL与L有相同的极大值，一般只需求lnL的极大值.求极大似然估计的一般步骤：1.写出似然函数nimin),...,,;x(p);x,...,x,x(L12121nimi),...,,;x(plnLln1212.对似然函数取对数ln0,(1,2,...,)iLim3.对i(i=1,…,m)分别求偏导,建立似然方程(组)mˆ,...,ˆ1解得分别为的极大估计值.m,...,135例7矩估计与似然估计不等的例子设总体概率密度为(1),01;(,)0,.xxpx其他求参数θ的极大似然估计,并用矩法估计θ.解1)极大似然估计法1.构造似然函数01)0nniiinxxLxx11(1),;(,...,;,其它niixnL1ln)1ln(ln2.取对数：当0xi1,(i=1,2,…,n)时36niixnL1ln)1ln(ln2.取对数：当0xi1,(i=1,2,…,n)时3.建立似然方程,0ln1ln1niixndLd4.求解得极大似然估计值为1ˆ1,lnniinx5.极大似然估计量为1ˆ1.lnniinX(1),01;(,)0,.xxpx其他37,21)1(2)1(10210xdxxxEX2)矩估计法1,2X计为令可得的矩法估量121ˆ2.11XXX381.矩法估计量与极大似然估计量不一定相同；2.用矩法估计参数比较简单,但有信息量损失；3.极大似然估计法精度较高,但运算较复杂；4.不是所有极大似然估计法都需要建立似然方程小结求解.39解.,0,1次取到合格品第次取到不合格品；第iiXi例6.不合格品率的矩法估计分析设总体X即抽一件产品的不合格产品数，相当于抽取了一组样本X1，X2，…，Xn,且因p=EX,故p的矩估计量为设某车间生产一批产品，为估计该批产品不合格品率，抽取了n件产品进行检查.niniAfXnXp1)(1ˆ(即出现不合格产品的频率).40不合格品率p的估计设总体X是抽一件产品的不合格品数，记p=P{X=1}=P{产品不合格}则X的分布列可表示为.其它0,0,1;,)(1);(1xpppxPxx现得到X的一组样本X1，X2，…,Xn的实际观察值为x1,x2,…,xn,则事件{X1=x1，X2=x2，…,Xn=xn}例7出现的可能性应最大,其概率为41},...,,{);,...,,(221121nxXxXxXPpxxxLnn应选取使L(p)达到最大的值作为参数p的估计.nixpixpnixiXPii111-)-(1}{1)0,1;0(,1)-(11pixniixnpniixp.其它0,0,1;,)(1);(1xpppxPxx42,niniiipxnpxpL11))ln(1(ln)(ln,01)(ln11pxnpxdppLdniinii令解得.ˆ11nmxxpniin（频率值）,ˆˆ)(lnmax)(ln)(max)(1010pLpLpLpLpp注意到43xexpxx()/1,;()θ0,.其中θ＞0，μ与θ是未知参数，X1，X2，…,Xn，dxeEXxxθθ解,θ)(0θ1dyeyy设总体X的概率密度为是X的一组样本，求μ与θ的矩估计量.,xy例844令.θ,μθ22MX注意到DX=E(X2)－[E(X)]2=θ2μθμθ2e)(2dxXExx022θ2θ12θ2)(dyeyy=θ2+(θ+μ)2,)(ˆ1212niinXXM.MXμˆ245例9均匀分布的极大似然估计设样本X1，X2，…，Xn来自在区间[0,]上均匀分布的总体X,求的极大似然估计.解设x1,x2,…,xn是X1,X2,…,Xn的样本值，总体的概率密度为1,0()0,xpxelse似然函数为46.}{maxθˆ1iniX#else,0;θ}{max},{min0,θ1L11iniininxx如图所示，似然函数L在}{maxθ1inix取到最大值，故θ的极大似然估计量为47else,0);1,2,(,0,θ1);,...,(1nixxxLinn注意：该似然函数不能通过求导构造似然方程.尝试用其他方法求解！分析θ的估计应