概率论与数理统计第18讲918

1概率论与数理统计第18讲（夜大）第五章参数估计第一节点估计参数估计问题是利用对总体的抽样得到的信息来估计总体的某些参数或者参数的某个函数，如师大学生的身高问题，可以认为服从正态分布，通过参数估计，可以得到均值和方差。在参数估计问题中，我们总是假定总体具有已知的分布形式，未知的仅仅是一个或几个参数。而总体的真分布完全由这些参数所决定，因此通过估计参数就可以估计总体的真分布。点估计问题的一般提法如下：设总体X的分布函数,xF的形式为已知，是待估计参数。nXX,,1是X的一个样本，nxx,,1是相应的一个样本值。点估计问题就是要构造一个适当的统计量nXX,,ˆ1，用它的观察值nxx,,ˆ1作为未知参数的近似值。我们称nXX,,ˆ1为的估计量，nxx,,ˆ1为的估计值。在不致混淆的情况下统称估计量和估计值为估计。并都简记为ˆ。由于估计量是样本的函数，因此对于不同的样本值，的估计值一般是不相同的。下面介绍两种常用的构造估计量的方法：矩估计法和最大似然估计法。一、矩估计法设X为连续型随机变量，其概率密度为kxf,,;1，或X为离散型随机变量，其分布律为kxpxXP,,;1，其中k,,1为待估参数，nXX,,1是来自X的样本。假设总体X的前k阶矩dxxfxEXklll,,;1；xRxklllxpxEX,,;1kl,,1存在。一般来说，它们是k,,1的函数。基于样本矩nililXnA11依概率收敛于相应的总体矩kll,,1，样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就可以利用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。这种估计方法称为矩估计法。其做法如下：设kkkk,,,,1111这是一个包含k个未知参数k,,1的联立方程组。一般来说，可以从中解出2k,,1，得到kkkk,,,,1111以iA分别代替上式中的i，ki,,1，就以kiiAA,,ˆ1ki,,1分别作为i，ki,,1的估计量，这种估计量称为矩估计量。矩估计量的观察值称为矩估计值。例1设总体X的均值，方差02都存在且未知，nXX,,1是来自X的一个样本，试求，2的矩估计量。解：222221EXDXEXEX解得21221分别以21,AA代替21,，得到，2的矩估计量分别为XA1ˆ，niiniiXXnXXnAA12212212211ˆ结果表明，总体均值与方差的矩估计量的表达式不因不同的总体分布而不同。二、最大似然估计法若总体X属于离散型，其分布律,;xpxXP的形式已知，为待估参数，是可能的取值范围。设nXX,,1是来自X的样本，则nXX,,1的联合分布律为：niixp1;。又设nxx,,1是相应于nXX,,1的一个样本值。容易知道样本nXX,,1取到观察值nxx,,1的概率，即事件nnxXxX,,11发生的概率为,;,,,11niinxpxxLL这一概率随的取值而变化，它是的函数，L称为样本的似然函数（注意这里nxx,,1是已知的样本值，它们都是常数）。关于最大似然估计法，我们有以下想法：现在已经取到样本值nxx,,1了，这表明取到这一样本值的概率L比较大。我们当然不会考虑那些不能使样本nxx,,1出现的作为的估计值，再者，如果已知当0时使L取很大值，而中其它的值使L取很小值，我们自然认为取0作为参数的估计值，较为合理。由费舍引进的3最大似然估计法，就是固定样本观察值nxx,,1，在取值范围内挑选使似然函数L达到最大的参数值ˆ，作为的估计值，即取ˆ使：,,,maxˆ,,,11nnxxLxxL这样得到的ˆ与样本值nxx,,1有关，常记为nxx,,ˆ1，称为参数的最大似然估计值，而相应的统计量nXX,,ˆ1称为参数的最大似然估计量。若总体X为连续型，概率密度为;xf的形式已知，为待估参数，是的取值范围。设nXX,,1是来自X的样本，则nXX,,1的联合概率密度为：niixf1;又设nxx,,1是相应于nXX,,1的一个样本值。则随机点（nXX,,1）落在（nxx,,1）的邻域（边长分别为ndxdx,,1的n维立方体）内的概率近似为：iniidxxf1;。其值随的取值而变化。与离散型情况一样，我们取的估计值ˆ使概率取到最大值，但考虑到niidx1不随而变，故只需要考虑函数：niinxfxxLL11;,,,，的最大值。这里L称为样本的似然函数。若：,,,maxˆ,,,11nnxxLxxL，则称nxx,,ˆ1为参数的最大似然估计值，而相应的统计量nXX,,ˆ1为参数的最大似然估计量。这样，确定最大似然估计量的问题就归结为求最大值的问题了。在很多情况下，;xp和;xf关于可微，这时常可从方程0Ldd解得。由因为L与Lln在同一处取到极值，因此，的最大似然估计ˆ也可以从方程0lnLdd求得，而后一方程求解往往比较方便。这个方程称为对数似然方程。最大似然估计法也适用于分布含有多个未知参数k,,1的情况。这时，似然函数L是这些未知参数的函数。分别令kiLddi,,1,0ln，解方程组就可以得到各个未知参数的最大似然估计值。这样的方程称为对数似然方程组。例3为了估计湖中有多少条鱼，特从湖中捕出1000条鱼，标上记号后又放回湖中，然后在捕150条鱼，发现其中有10条鱼带有记号，在湖中有多少条鱼，才能使150条鱼中出现10条带有记号的鱼的概率最大？4第二节估计量的评选标准从前面的分析可以看出，对于同一参数，用不同的估计方法求出的估计量可能不相同，此外，原则上任何统计量都可以作为未知参数的估计量。这就产生了问题，采用什么标准来评价估计量的问题。（1）无偏性设nXX,,1是总体X的一个样本。是包含在总体X的分布中的待估计参数。定义：无偏性。若估计量nXX,,ˆ1的数学期望ˆE存在，且对于任意，有ˆE，则称ˆ是的无偏估计量。在科学技术中，ˆE称为以ˆ作为的估计的系统误差。无偏估计的实际意义就是无系统误差。如设总体X的均值为，方差02均未知，由前面分析可以知道XE；22ES也就是说不论总体服从什么分布，样本均值X是总体均值的无偏估计；样本方差是总体方差的无偏估计。而估计量211niiXXn却不是2的无偏估计，因此我们一般取2S作为2的估计量。（2）有效性现在来比较参数的两个无偏估计量21ˆ,ˆ，如果在样本容量相同的情况下，1ˆ的观察值较2ˆ更密集在真值的附近，我们就认为1ˆ较2ˆ为理想。由于方差是随机变量取值与其数学期望（这里21ˆˆEE）的偏离程度的度量，所以无偏估计以方差小者为好。这就引出了估计量有效性这一概念。定义：有效性。设nXX,,ˆˆ111与nXX,,ˆˆ122都是的无偏估计量，若对于任意，有)ˆ()ˆ(21DD，且至少对于某一个上式中的不等号成立，则称1ˆ较2ˆ有效。例3（续例2）试证当1n时，的无偏估计量X较nZ有效。证明：由于2DX，故有nXD2，再者，由于22nDZ，故有2)(nZD。当1n时XDnZD)(，故X较nZ有效。5（3）相合性无偏性和有效性都是在样本容量n固定的前提下提出的。我们自然希望随着样本容量的增大，一个估计量的值稳定于待故参数的真值。这样，对估计量又有下述相合性的要求。定义：相合性。设nXX,,ˆ1为参数的估计量，若对于任意，当n时，nXX,,ˆ1依概率收敛于，则称ˆ为的相合估计量。即，若对于任意都满足：对于任意0，有1ˆlimPn，则称ˆ为的相合估计量。相合性是对一个估计量的基本要求，若估计量不具有相合性，那么不论样本容量取多么大，都不能将估计得足够准确，这样的估计量是不可取的。第四节区间估计对于一个未知量，人们在测量或计算时，常常不以得到近似值为满足，还需要估计误差，即要求知道近似值的精确程度。类似地，对未知参数，除了求出它的点估计ˆ外，我们还希望估计出一个范围，并希望知道这个范围包含参数真值的可信程度。这样的范围通常以区间的形式给出，同时还给出此区间包含真值的可信程度。这种形式的估计称为区间估计，这样的区间称为置信区间。置信区间：设总体X的分布函数为,xF，，为待估参数，是可能的取值范围。对于给定值10，若由样本nXX,,1确定的两个统计量nXX,,1和,,,1nXX，对于任意，满足1,,,,11nnXXXXP则称随机区间,是的置信水平为1的置信区间，和分别称为置信水平为1的双侧置信区间的置信下限和置信上限，1称为置信水平。当X是连续型随机变量时，对于给定的，我们总是按要求1P求出置信区间。而当X是离散型随机变量时，对于给定的，我们常常找不到区间,使得P恰好等于1。此时我们就去找区间,，使得P至少为1，且尽可能接近1。上面的概率表达式含义如下：若反复抽样多次（各次得到的样本容量都相等）。每个样本值确定一个区间,，每个这样的区间要么包含的真值，要么不包含的真值，按照贝努力大数定律，在这样多的区间中，包含真值的约占100（1）%，不包含真值的约占%100。例如：若01.0，反复抽样1000次，则得到1000个区间中不包含真值的约仅为10个。入图所示6例1设总体,,~2NX为未知参数，2为已知，nXX,,1是来自X的样本，求参数的置信水平为1的置信区间。解：已知X是的无偏估计，且有1,0~NnX，可以看出nX所服从的分布1,0N不依赖于任何未知参数。按标准正态分布的上分位点的定义，有12znXP即122znXznXP这样我们就得到了的一个置信水平为1的置信区间22,znXznX，这样的置信区间常常写成2znX。例2从正态总体36,6.3N中抽取容量为n的样本，如果要求其样本均值位于区间4.5,4.1内的概率不小于95.0，问样本容量n至少应取多大？解：因为nXX,,1独立同正态分布36,6.3N，所以样本均值nNX36,4.3~，则1,0~64.3NnX，从而有95.013295.04.54.1nXP，所以有6.3496.13975.03nn，所以至少取35n。作业：设总体,1,~NX为未知参数，由一个样本值算得样本均值的观察值2.5x，16n求参数的置信水平为95.01的置信区间。解：的一个置信水平为1的置信区间，2znX。且96.1025.02zz。于是得到一个置信水平为95.0的置信区间69.5,71.449.02.5