充分统计量与完备统计量.

§1.2充分统计量与完备统计量一充分统计量在数理统计中，由样本来推断总体的前提是：样本包含了总体分布的信息。样本中包含的关于总体分布的信息可分为：1、关于总体结构的信息，即反映总体分布的类型。如总体服从正态分布，则来自该总体的样本相互独立并均服从该正态分布，即样本包含了总体分布为正态分布的信息。2、关于总体未知参数的信息，这是由于样本的分布中包含了总体分布中的未知参数。为了推断总体分布的未知参数，需要把样本中关于未知参数的信息“提炼“出来，即构造合适的统计量——样本的函数f(X1,X2,…,Xn)例为研究某个运动员的打靶命中率，我们对该运动员进行测试，观测其10次，发现除第三、六次未命中外，其余8次都命中。这样的观测结果包含了两种信息：(1)打靶10次命中8次；(2)2次不命中分别出现在第3次和第6次打靶上。第二种信息对了解该运动员的命中率是没有什么帮助的。一般地，设我们对该运动员进行n次观测，得到x1,x2,…,xn，每个xj取值非0即1，命中1，不命中为0。令T=x1+…+xn，T为观测到的命中次数。在这种场合仅仅记录使用T不会丢失任何与命中率有关的信息。显然，一个“好”的统计量应该能够将样本中所包含的关于未知参数的信息全部提炼出来，而不没有任何有用信息损失，这就是英国著名统计学家Fisher于1922年提出的一个重要的概念-----充分统计量。样本X1,X2,…,Xn有一个样本分布F(x)，这个分布包含了样本中一切有关的信息。统计量T=T(X1,X2,…,Xn)也有一个抽样分布FT(t)。当我们期望用统计量T代替原始样本并且不损失任何有关的信息时，也就是期望抽样分布FT(t)像F(x)一样概括了有关的一切信息。这即是说在统计量T的取值为t的情况下样本x的条件分布F(x|T=t)已不含的信息，这正是统计量具有充分性的含义。例.设总体X服从两点分布(1,)Bp,即P(X=x)=1(1)xxpp,x=0,1,其中0p1,（nXXX,,,21）为来自总体X一个样本,研究统计量11niiXXn。因为iX(1,)Bp,所以1(,)niinXXBnp,即有()(1),0,1,,.kknknPnXkCppkn设nxxx,,,21,为样本观测值，其中0,1.ix如果已知nkX则样本nXXX,,,21的条件概率11221122(,,,)(,,,,)()nnnnkPXxXxXxXnkPXxXxXxXnkPXn112211(,,,),()0,nnniiniiPXxXxXxxkPnXkxk如果，如果，112211(,,,),()0,nnniiniiPXxXxXxxkPnXkxk如果，如果，1111(1),(1)0,nniiiixnxnikknkinniippxkCppxk如果，如果，111,0,nikinniixkCxk如果，如果，与p无关，所以X为p的充分统计量.定义设nXXX,,,21为来自总体X的样本，X的分布函数为;xF，T=T(nXXX,,,21)为一个统计量，当给定T=t时，如果样本（nXXX,,,21）的条件分布（离散总体时为条件概率，连续总体时为条件密度）与参数无关，则称T为参数的充分统计量。对统计量T，如果已知它的值以后，样本的条件分布与无关，就意味着样本的剩余部分中已不再包含关于的信息，也就是在T中已包含有关的全部信息。因此，对的统计推断只需要从T出发即可，不再需要样本数据。二、因子分解定理根据充分统计量的含义，在对总体未知参数进行推断时，应在可能的情况下尽量找出关于未知参数的充分统计量。但从定义出发来判别一个统计量是否是充分统计量是很麻烦的。为此，需要一个简单的判别准则。下面给出一个定理——因子分解定理，运用这个定理，判别甚至寻找一个充分统计量有时会很方便。定理1.3（因子分解定理）（1）连续型情况：设总体X具有分布密度),,,(),;(21nXXXxf是一样本，),,,(21nXXXT是一个统计量，则T为的充分统计量的充要条件是：样本的联合分布密度函数可以分解为ninnixxxTgxxxhxfL12121));,,,((),,,();()(,(1.3)其中h是nxxx,,,21的非负函数且无关，g仅通过T依赖于nxxx,,,21。2）离散型情况：设总体X的分布律为iPXxi12np(x;)(i1,2,),T(X,X,,X)一个统计量，则T是的充分统计量的充要条件是：样本的联合分布律可表示为niinnxXPxXxXxXP12211,,,));,,,((),,,(2121nnxxxTgxxxh（1.4）其中h是nxxx,,,21的非负函数且与无关，g仅通过T依赖于nxxx,,,21。例1.4根据因子分解定理证明例1.3。证明样本的联合分布律为niiNIixnxnnppxXxXxXP11)1(,,,2211niixnppp1)1()1(若取niinxnxxxT1211),,,(1),,,(21nxxxhnTnnppppxxxTg)1()1());,,,((21则有nnxXxXxXP,,,2211));,,,((),,,(2121pxxxTgxxxhnn由因子分解定理知，niinXXnXXXT1211),,,(是p的充分统计量。111221,,,!niixnnnniiPXxXxXxex若取niinxnxxxT1211),,,(niinxxxxh121!1),,,(nnTnexxxTg));,,,((21则nnxXxXxXP,,,2211));,,,((),,,(2121nnxxxTgxxxh由因子分解定理知，XXXXTn),,,(21是的充分统计量。例1.5设nXXX,,,21是来自泊松分布)(P的一个样本，试证明样本均值X是的充分统计量。证明样本),,,(21nXXX的联合分布律为例1.7设nXXX,,,21是来自正态总体),(2N的一个样本，试证),(),,,(1221niinXXXXXT是关于),(2的联合充分统计量。证明样本的联合分布密度为niinxL122)(21exp)2(1)(niinnxnx122222221exp)2(1));,,,((),,,(2121nnxxxTgxxxh，其中1),,,(21nxxxh，而));,,,((21nxxxTg显然是),(12niixxT和),(2的函数。故由因子分解定理知),(12niixXT是),(2的一个联合充分统计量。此时，显然不能说niix12是2的充分统计量。定理1.4设),,,(21nXXXTT是的一个充分统计量，)(tf是单值可逆函数，则)(Tf也是的充分统计量。三、完备统计量为了介绍完备统计量的概念，首先需要引入完备分布函数族的概念。定义1.5设总体X的分布函数族为),;(xF，若对任意一个满足0)(XgE，对一切（1.5）的随机变量)(Xg，总有10)(XgP，对一切，（1.6）则称),;(xF为完备的分布函数族。定义1.6设),,,(21nXXX为来自总体))(;(xF的一个样本，若统计量),,,(21nXXXTT的分布函数族),;(xFT是完备的分布函数族，则称),,,(21nXXXTT为完备统计量。完备统计量的含义不如充分统计量那么明确，但由定义可见它有如下特征：1)()(21TgTgP，)()(21TgETgE，。（1.7）1)()(21TgTgP，)()(21TgETgE，，但反之不成立，若T是完备统计量，即T的分布函数族是完备分布函数族，则有由定义1.5知，对于0)()(21TgTgE，，总有10)()(21TgTgP，，即式（1.7）成立。对于一般的统计),,,(21nXXXTT，总有例1.8设nXXX,,,21是来自两点分布),1(pB的样本。由例1.3知niiXnX11是的p充分统计量。下面验证X也是完备统计量。由于nii1nXX服从二项分布),(pnB，故X的分布律为knkknppCnkXP)1(，.10;,,2,1,0pnk设)(Xg使得nkknkknpppCnkgXgE00)1()(，对一切10p，即01)1(0kknnknppCnkgp，对一切10p或010kknnkppCnkg，对一切10p。上式是关于pp1的多项式，对一切10p要使多项式值为零，只能是它的每项系数为零，即),,2,1,0(0nknkg。所以X是完备统计量。如果一个统计量既是充分的，又是完备的，则称为充分完备统计量。在寻求总体分布中未知参数的优良估计中，充分完备统计量扮演着重要的角色。四、指数型分布族要判断一个统计量),,,(21nXXXTT是否为参数的充分统计量和完备统计量，一般是很复杂的。现介绍一类有很好的统计和数学性质，因而得到广泛应用的分布族——指数型分布族。它包含了一些常用分布，如泊松分布、正态分布、指数分布、二项分布和分布等，对这类分布族，寻找参数的充分完备统计量是方便的。定理1.5设总体X的分布密度);(xf为指数型分布族，即样本的联合分布密度具有如下形式：2.9),,,,(),,,()(exp)();(211121nnimjnjjxxxhxxxTbCxf其中),,,(21m，。如果中包含有一个m维矩形，而且))(,),(),((21mbbbB的值域包含一个m维开集，则)),,,(),,,,(),,,,((21212211nmnnXXXTXXXTXXXTT是参数),,,(21m的充分完备统计量。例1.9设总体X服从泊松分布nXXXP,,,),(21为其样本，样本的联合分布律为111221,,,!niixnnnniiPXxXxXxexniiniinxnxne11!1ln1exp。与式（1.9）比较有neC)(，niinxxxxh121!1),,,(，niinxxnxxxT1211),,,(，ln)(nb。因此，样本均值XXXXTn),,,(21是参数的充分完备统计量。例1.10设总体X服从正态分布),,(),,(22NnXXX,,,21为其样本，它的联合分布密度为niniinixxf1122)(21exp)2(1),(xnxnneniinn212222/2)1(2exp)2(122，与式（1.9）比较，有2222/2)2(1)(nneC，)1,(),(1221niixnxTTT，)2,(),(2221nnbbB1),,,(21nxxxh因此，)1,(12niiXnX是),(2的充分完备统计量，),(2nSX也是),(2的充分完备统计量。