第3.1节_统计决策的基本概念

第三章统计决策与贝叶斯估计第3.1节统计决策的基本概念第3.2节贝叶斯估计第3.3节minimax估计第3.4节经验贝叶斯估计前言20世纪40年代，Wald提出了把统计推断问题看成是人与自然的一种博弈过程，由此建立了统计决策理论.贝叶斯估计是贝叶斯统计的主要部分，它是利用决策理论研究参数估计问题.本章将主要讨论贝叶斯方法在参数估计中的应用问题.第3.1节统计决策的基本概念一、统计决策问题的三个要素二、统计决策函数及其风险函数一、统计决策问题的三个要素12(,,,)(,),TnXXXFx设样本来自总体在前几章讲的统计问题，都可以归结为一个统计决策问题，也就是建立所谓的统计决策函数.统计决策问题由三个因素组成，首先来看第一个因素：1、样本空间和分布族样本空间,.未知，则样本所有可能值组成的集合称为样本空间，记为分布族12(,,,)(,),TnXXXFx设样本来自总体121,(,,,,)(,)nniiFxxxFx未知，其联合分布为112**{(,),},(,,,)niiTnFFxFXXX若记则称为样本的概率分布族，简称分布族.例1(p79例3.1)设总体X服从两点分布B(1,p),p为1201,(,,,)TnpXXXX未知参数，是取自总体.的样本，试求其样本空间以及分布族解由于是两点分布，因而样本的取值只有0,1,则样本空间为120112{(,,,):,,,,,}nixxxxin分布族为111101201*{),,,,,,,}nnxiiiixniFppxinp（2、决策空间(或称判决空间)决策对每个统计问题的具体回答，就称为一个决策.例如，参数的点估计，每一个估计值就是一个决策.决策空间一个统计问题中，可能选取得全部决策组成的集合为决策空间，记为R.例如，2(,),N设总体分布服从对未知参数进行(,)(,).估计，由于在中取值，因而其决策空间为3、损失函数例2(p80例3.2)某厂打算根据各年度市场的销售来决定下一年度应该扩大生产还是缩减生产，或者维持原状，这样其决策空间为{}扩大生产，缩减生产，维持原状通常情况下，做任何决策以后，总会有某种后果，由此可以带来某种收益和损失.为了以数量化的方式描述这种收益和损失，为此需要引入损失函数.例3(p80例3.3)1(,),XN设总体服从正态分布为未知(,)参数，参数空间为，决策空间可以设(,),为=此决策问题的损失函数可以为：21()(,)()dLdd设为的点估计值，损失函数可以设为12122112122011[]()[,](,)(),[](,)(),[]ddddLdddddLdIdd设为的区间估计值，损失函数可以设为也可以设为常见的损失函数(1)线性损失函数01(),,(,)(),,kddLdkdd0101,kkkk其中为常数，它们可以反映大于或小于参数时带来不同的损失.当时(,)|-|.Ldd（）此损失函数为绝对损失函数(2)平方损失函数2(,)()Ldd(3)凸损失函数(,)()(||)LdWd0000()()().WttW其中是的已知函数，且有限，是上的单调非降函数且(4)多元二次损失函数当参数以及决策的d为多维向量时，二次损失为(,)()()TLddAd12121(,,,),(,,,),.TTppddddApppA其中为阶正定矩阵，为大于的自然数当为对角矩阵时，12(,,,),pAdiagp即则元损失函数为21(,)()piiiiLdd注由于在统计问题中，进行的统计推断总是有误差，因而损失一定存在，因而一般都会假设损失函数为非负的.二次损失为参数点估计常用的损失函数.二、统计决策函数及其风险函数1.统计决策函数给定统计决策问题的三要素后，在损失小的前提下，选择一个好决策函数就成为核心问题.定义3.1()dx定义在样本空间上，取值于决策空间内的函数，称为统计决策函数，简称为决策函数.注决策函数其实就是决策问题的一个“行动方案.对于统计问题而言，决策函数为统计量.例4(p82)22(,),XN设总体服从正态分布为已知,12(,,,.TnXXXX)取自的样本，试求参数点估计和区间估计的决策函数解根据上一章的结论，参数点估计的决策函数为11()niidxxxn参数区间估计的决策函数为22()[,]dxxuxunn2.风险函数由于损失函数L与决策函数d(x)有关,而决策函数是随机变量，因而损失函数也为随机变量。这样损失函数与样本X的取值有关，因而需要构造一个更好的指标来衡量决策函数的好坏.这就是风险函数.定义3.2*,F设样本空间和分布族分别为和决,(,)(),LddX策空间为损失函数为，决策函数为()(,)dXRd则参数的决策函数引起的风险函数为定义为12(,)((,())((,(,,,))nRdELdXELdXXX注由定义可以看到，风险函数是决策d的平均损失.从定义可以看到，风险越小，决策越好,由此可以给出判断决策函数优良性准则.定义3.312()()dXdX设和为统计决策问题的两个决策函数，若其风险函数满足不等式12(,)(,),RdRd121212(,)(,)(,)(,),.RdRdddRdRd且存在一些使得不等式严格成立，即，则称决策函数一致优于，如果等式成立即＝，则二者等价定义3.4{()}DdX设是一切定义在样本空间**()(()),(),dXdXDdXD上取值于决策空间上的决策函数的全体，若存在一个决策函数使得对任意一个都有*(,)(,),RdRd*()dX则称决策函数为一致最小风险决策函数，或称为一致最有决策函数.注从上述定义可以看到，决策函数的优良性与损失函数有关，因而优良性会因损失函数而变化.例5(p83例3.4)1(,),XN设总体服从正态分布为未知12(,)(,,,TnXXXX参数，参数空间为，)取自的样本，若选取损失函数为平方损失2(,)()Ldd()?dX试求参数任一估计的风险函数解根据风险函数的定义可知2(,)((,())()RdELdXEd(()),EdX若则其风险函数为2(,)(())(())RdEdEdDdX1(),(,)(),dXXRdDXn若则111(),(,)(),dXXRdDX若则11.nXX显然，当时，后者的风险大于前者的风险，因而在平方损失的条件下优于例6(p84例3.5)12,xx设和是从下列分布中获得两个观察值1105{}{}.,PXPXR12(,)(,,,TnXXXX决策空间为，)取自的样本，若选取损失函数为110,,(,)(),,dLdIdd12121121231121221,-,,?-,xxddxxxxxdxxx试求参数的估计的风险函数解根据风险函数的定义可知1111111(,)(()){}(()){}RdIdPdIdPd22111105(,){}{}.RdPdPx33121111025(,){}{}.RdPdPxxx或312ddd显然，一致优于和，这个优良性依赖于损失函数以及决策函数的范围.11121105{}{}{}.PdPdPxx再见