概率论参数估计

参数估计问题的提出:点估计区间估计参数估计总体X的分布形式已知，未知的只是分布中的参数，要估计的只是参数或参数的某一函数。总体X的估计有两类：一、参数估计二、非参数估计总体X的分布形式未知，要估计的是总体的分布形式。从总体X中抽取样本(X1,X2,…,Xn)构造合适的统计量=T(X1,X2,…,Xn)参数的估计量将样本观察值(x1,x2,…,xn)代入估计量计算出估计量的观察值=T(x1,x2,…,xn)参数的估计值或构造1=T1(X1,X2,…,Xn)和2=T2(X1,X2,…,Xn)(12)用区间(1,2)作为可能取值范围的估计设总体X的分布函数为F(x,),未知，的取值范围称为参数空间。记作。现估计。步骤如下：构造点估计的估计量的具体方法有多种，在此，介绍两种方法。一、矩估计法矩估计法的思想是：用样本的各阶矩去估计总体相应的各阶矩，而总体各阶矩都是总体分布中未知参数的函数，从而，通过估计总体矩来达到估计总体分布中未知参数的目的。设总体分布为F(x,1,2……,k),i未知，样本(X1,X2,…,Xn)来自总体X，计算mEXnimimXnA11令XEX22AEXkkAEX解未知量1,2……,k称为参数1,2……,k的矩估计量。5.1参数的点估计222AXˆˆˆ例2：设样本(X1,X2,…,Xn)来自总体X~N(,2)，求与2的矩估计量。解：XXniin11ˆ2222222BXXXXXA)(11ˆ11niiniinn例1：设样本(X1,X2,…,Xn)来自总体X，且总体的均值未知，求的矩估计量。解：XXniin11ˆ2222)EX(DXEXEXniinX,EX11X2AX2EXEX总体X的均值矩估计量为一阶样本原点矩XEX令例3：设样本(X1,X2,…,Xn)来自总体X~P()，求的矩估计量。解：XXniin11ˆ另一方面：EX2=DX+(EX)2=+2，所以：2212122211BXXXXXA)(ˆnininn此例说明：矩估计可以不唯一。此时，一般取低阶矩得到的那一个。ninˆˆ121X2一阶样本原点矩作为的矩估计量XEX令niinX,EX11XninEX1221X例4：设样本(X1,X2,…,Xn)来自总体X，X服从[1,2]上的均匀分布，求1和2的矩估计量。另见书例5.10、5.1121221)(121),(21DXEX因由222121221)]ˆˆ(21[)ˆˆ(121)ˆˆ(21AX解得1222ˆ-3Aˆ3AXX2AX2EXEXEX2=DX+(EX)2解：这是两个参数的矩估计问题。思想：进行一次具体的抽样之后，(X1,X2,…,Xn)得到一组观察值(x1,x2,…,xn)。设总体分布(以离散型为例)为P(X=x)=F(x,1,2……,k),（1,2……,k)∈Θ未知，样本(X1,X2,…,Xn)来自总体X，则样本(X1,X2,…,Xn)的概率分布函数为：nikiniiikn),,,x(F)xX(P),,,,x,,x,x(L12112121nikikn),,,x(F),,,,x,,x,x(L1212121为（1,2……,k)∈Θ的函数。因为(x1,x2,…,xn)在一次观察中就出现了，应出现在概率最大的地方。即求函数nikik),,,x(F),,,(L12121取得最大值的最大值点，以此作为（1,2……,k)的估计。二、极大似然估计发生的概率为：事件},,{11nnxxXX使得：的估计值，即取，作为达到最大的参数挑选使概率固定ˆˆ);,,(,,,11nnxxxxL);,,(max)ˆ;,,(11nnxxxxLL。极大似然估计值。极大似然法。极大似然估计量的方法称为这种求未知参数);,,(ˆ,,ˆ11nnxxxx有关，记为与的称其为参数的称为参数),,(ˆ1nXX极大似然估计基本思想：找出使样本观察值出现的概率为最大的参数值，将它作为未知参数的估计值。1、极大似然估计（离散型总体）属离散型，其分布列为若总体X),,,),,,,;x(p}x{kk2121(XP。空间为待估参数，属于参数的形式为已知，211的极大似然估计量。求来自总体),,,(,,kn,的样本)是(设XXX),,,(k21L建立似然函数)(1niki),,,;x(p121;),,,,x(Plnln)(niki1212L取对数：;ln)(031L令;ln02L;lnk0L的极大似然估计值。解方程组求得k,,)(14未知参数的样本，是来自设)p(p),,();p,n(~m101XXXBX试求参数p的极大似然估计量：解xnxxn)p(pC}x{1XP故似然函数为mixnxxniii)p(pC)p(11L)(lnpL而例1：,)p(p)C(miimiiixnmxmixn1111).pln()xnm(pln)x()Cln(miimiimixni1111的分布律为：X,0)(lnpdpdL令.pxnmpxmiimii0111即的极大似然估计值解得pnxxnmpˆmii11的极大似然估计量为pnXXnmpˆmii11的极大似然估计。求参数的样本，是来自设XXXPX),,();(~n1：解e!x}x{xXP故似然函数为e!x)(niixi1L)(lnL而例2：niixnniie)!x(111ln)x(n)!xln(niinii111的分布律为：X,)(lndd0L令.nxnii01即的极大似然估计值解得xxnˆnii11的极大似然估计量为XXnpˆnii11为待估参数。的形式已知，属连续型，其概率密度若总体),,,(),,,(),,,,;x(fkkk212121X2、极大似然估计（连续型总体）211的极大似然估计量。求来自总体),,,(,,kn,的样本)是(设XXX建立似然函数)(1),,,(k21Lniki),,,;x(f121;),,,,x(flnln)(niki1212L取对数：;ln)(031L令;ln02L;lnk0L的极大似然估计值。解方程组求得k,,)(14的样本，是来自为未知参数，；设XNX)X,,X,X(,),(~n2122：解222221)x(e),;x(f似然函数为：ni)x(ie),(1222221L例3：Lln)ln(22nniix122)(21)2ln(2n2122)(22)2(niixne的概率密度为：X的极大似然估计量。求2,0ln0ln2LL令即：0)(112niix0)(212-2142niixn,1ˆ1xxnnii解得：niixxn122)(1ˆ2122111B)(nˆnˆniiniiXXXX:似然函数为niixne12221222的一个样本值，是来自为未知参数，已知，；设XNXnxx,,),(~122的极大似然估计量。求2：解nixie12)(22221),(LLln)ln(22nniix122)(21)2ln(2n222221);(）（xexf的概率密度为：X例4：niixndd12422212lnL，令：0ln2ddL02121242niixn得似然方程niixn1221ˆ解此方程，得niiXnˆ12221的极大似然估计量为因此似然函数为的密度函数为设总体X解：,11niinxLniixnL1ln1lnln其它。,0,10,1xxxf例5：021的极大似然估计。抽取的一个样本。试求是从该总体，未知，其中)...,,,(nXXX，令：0lndLd得似然方程为,0ln1niixn解得,lnˆ1niixn的极大似然估计量为因此.lnˆ1niiXn似然函数为的密度函数为设总体X解：niixneL1niixlnnLln1其它。,,x,exfx00例6：021的极大似然估计。抽取的一个样本。试求是从该总体，未知，其中)...,,,(nXXX，令：0dLlnd得似然方程为01niixn解得xxnˆnii11的极大似然估计量为因此XXnˆnii11极大似然法求估计量的步骤：(一般情况下):)()1L构造似然函数,(),x()(nii1离散型）PLnii;(),x(f)(1连续型）L);(ln)2L取对数：;0ln)3ddL令。的极大似然估计量解似然方程得ˆ)4说明：若似然方程（组）无解，或似然函数不可导，此法失效，改用其它方法。。能地使用极大似然估计应用中，我们应当尽可计优于矩估计，因而在一般来讲，极大似然估似然函数为上的均匀分布，，服从设总体][21X解：n)(,L12211例7：,212121的极大似然估计。抽取的一个样本。试求是从该总体未知，其中)...,,,(,nXXX因此极大似然估计量为12lnnLln01dLlnd令：02dLlnd012)(n012)(n方程组无解1x2xixnx12211x221x21nx)x,x,xmin(ˆn211)x,x,xmax(ˆn212)X,X,Xmin(ˆn211)X,X,Xmax(ˆn2125.2点估计的优良性准则我们知道，一个未知参数的估计量可能不止一个。究竟采用哪个为好呢？这就涉及到用什么标准来评价估计量的问题。我们介绍三个常用的标准：1）无偏性；2）有效性；3）一致性。一、无偏性根据样本推得的估计值与真值可能不同，然而，如果有一系列抽样构成各个估计，很合理地会要求这些估计的期望值与未知参数的真值相等，它的直观意义是样本估计量的数值在参数的真值周围摆动，而无误差，这就是估计量的无偏性。定义5.2：如果对一切，有ˆE简称无偏估计。的无偏估计量为参数则称成立，，ˆ例：设总体X有期望EX=，样本(X1,X2,…,Xn)来自X，试证样本均值X是的无偏估计。这个结论与总体的分布类型没有关系。只要总体期望存在，样本均值总是它的无偏估计。XE证：的估计量为参数ˆ例：设总体X有期望EX=与方差DX=2，与2都未知。样本(X1,X2,…,Xn)来自X，试证：(1)样本方差S2是2的无偏估计；(2)样本标准差S不是标准差的无偏估计；(3)B2不是2的无偏估计。证：(1)由定理知：ES2=2(2)DS=ES2-(ES)2=2-(ES)2DSES22222SXXXXBnnnnnnniinii1)(111)