第6章统计决策与贝叶斯推断

统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于1939年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。统计决策的显著特点是：统计决策建立在统计分析和统计预测的基础上，是一种定量决策。统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种概率决策。6.1统计决策决策问题的三个基本要素状态集行动集行动空间损失函数依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题的分类无数据（无样本信息）决策问题统计决策问题贝叶斯决策问题一、基本概念1、损失函数),(aLa描述当未知量处于状态而采取行动时所引起的损失，记为线性损失函数aaKaaKaL),(),(),(10的相对重要性。于状态和高低于状态的选取反映行动和常数aKK10aaKaaKaL),(),(),(10）（）（加权线性损失函数：aaL),(绝对损失函数：2),(）（平方损失函数：aaL2)(),(）（加权平方损失函数：aaL))C((),(aaL凸损失函数：.0)0(0)(0)(CxC凸函数且上的单调非降是定义在且有限，0,1,0),(10其中损失函数：aaaL一、基本概念2、决策函数)(xd由样本空间到行动空间的可测映射称为决策函数。3、风险函数)/())(,())](,([ˆ),(|xdFXdLXdLEdRXx)(d称为决策函数的风险函数。))(,(XdL设是一个决策函数，则损失函数关于样本分布的数学期望)(d)/(xF平均损失愈小，决策函数愈好。风险函数描述在未知量处于状态而采取决策时所蒙受的平均损失。),(dRd二、常用的决策准则1、一致最优决策准则*(,)(,),RdRd则称为决策函数类的一致最小风险决策函数，或称为一致最优决策函数。*()dD定义设表示定义在样本空间上取值于行动空间的某一决策函数类，若存在一个决策函数，使得对任意，都有{()}dHA*()d()dDDD2、最小最大（Minimax）决策准则则称为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。*d定义对于一个统计决策问题，设表示定义在样本空间上取值于行动空间的某一决策函数类。若有决策函数，使得{()}dHA*()dDD*sup(,)inf{sup(,)}dRdRdD3、贝叶斯决策准则先验信息与先验分布无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对作统计决策或者作统计推断，样本信息是必不可少的，因为它包含的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为是未知参数；贝叶斯学派认为是随机变量，应该用一个概率分布去描述的未知状况。这个概率分布在抽样之前就已存在，它是关于的先验信息的概率陈述。这个概率分布就称为先验分布，用来表示。()贝叶斯公式与后验分布()()()()()pxxpxd称为的后验分布。()x先验风险准则与后验风险准则定义1：在给定的统计决策问题中，设为决策函数的风险函数，为的先验分布，则平均风险(,)Rd()d()()[(,)](,)()BdERdRdd称为决策的贝叶斯风险。若在决策函数类中存在，使得()d*()dD*()inf()dBdBdD则称为决策函数类在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。*dD定义2：在给定的统计决策问题中，设为决策函数的损失函数，为的后验分布，则条件期望风险()dX(,())LdX()x()[(,())](,())()xRdxELdxLdxxd称为决策函数的贝叶斯后验风险。若在决策函数类中存在，使得D()d*()d则称为决策函数类在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。D*d*()inf(),dRdxRdxxDH例6.1一位收藏家拟收购一幅名画，这幅画标价为5000元。若这幅画是真品，则值10000元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表采取的行动画的状态买不买真品+5000-3000赝品-60000现在，这位收藏家需要决定是买还是不买这幅画？(1)如果收藏家有以下三种决策可供选择：：以概率0.5买下这幅画；：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；：肯定不买那么，什么是这位收藏家的最小最大决策？1d2d3d（2）如果根据卖画者以往的资料得知，发生的概率为0.75，发生的概率为0.25，那么这位收藏家是否应买下这幅画呢？12（3）在（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？这是一个决策问题，状态集，为真品，为赝品,行动集表示“买”，表示“不买”，损失函数用矩阵可表示为12{,}12121{,},aaa2a(,)La统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。(,)Qa(,)max(,)(,)aALaQaQa采用收益函数时，损失函数(,)(,)min(,)aALaWaWa(,)Wa时，损失函数采用支付函数21210600080000Laa解：（1）对，1d40005.080005.00,11dR30005.005.06000,12dR对，2d40005.0800095.00,21dR18007.003.06000,22dR对，3d80001800000,31dR01006000,32dR40003000,4000max,max1d18001800,400max,max2d80000,8000max,max3d18008000,1800,4000min),(supinfdRd21210600080000Laa计算结果表明，收藏家的最小最大决策为，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为1800元。2d根据先验分布，可分别算出行动，的平均损失，亦即，行动，的平均风险，因为这是无数据决策问题，所以1a2a1a2aaLaR,,150025.0600075.00,1aLE600025.0075.08000,2aLE对比上述结果可知，采取行动为上策，即，收藏家应该买下这幅画。1a（2）由题意知，的先验分布为：1275.025.0(3)引入随机变量由题意知：若鉴赏家识别为假画若鉴赏家识别为真画,0,1X95.0}1{1XP05.0}0{1XP3.0}1{2XP7.0}0{2XP()12()0.75,()0.25的先验分布为，由贝叶斯公式可得的后验分布9048.0}|1{)(}|1{)()1|(21111jjjXPXP0952.0}|1{)(}|1{)()1|(21222jjjXPXP8235.0}|0{)(}|0{)()0|(21222jjjXPXP1765.0}|0{)(}|0{)()0|(21111jjjXPXP12,11,0()axaxdx12,12,0()axaxdx31(),dxaxH42(),dxaxH这样样本空间，行动空间，所以决策函数只有以下4个1,0H12,Aaa这样本值时，这些决策函数的贝叶斯后验风险分别是：1x1111==0.90480+60000.952=571.2RdLd（）E（，（1））2211==80000.9048+00.952=7238.4RdLd（）E（，（1））3311==00.9048+60000.952=571.2RdLd（）E（，（1））4411==80000.9048+00.952=7238.4RdLd（）E（，（1））在时，这些决策函数的贝叶斯后风险分别是：1100==80000.1756+00.8235=1412RdLd（）E（，（0））2200==00.1756+60000.8235=4941RdLd（）E（，（0））3300==00.1756+60000.8235=4941RdLd（）E（，（0））4400==80000.1756+00.8235=1412RdLd（）E（，（0））0x可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。下面计算（3）中那些决策函数的贝叶斯风险，先算的边缘分布：1()dX7875.0}|1{)()1(21jjjXPm2125.0}|0{)()2(21jjjXPm2()6750.202Bd3()1499.782Bd4()6000.29Bd从而，87.7492125.014127875.02.571)]|([)(11XdREdBX由此可见，在贝叶斯风险准则下的最优决策函数仍是，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.1()d定理6.1.1对给定的统计决策问题（含给定的先验分布）和决策函数类，若贝叶斯风险满足条件D则贝叶斯决策函数与贝叶斯后验型决策函数等价。*()d**()dinf()dBdD6.2贝叶斯推断在经典统计学中，总体的分布函数用表示，X);(xF其中表示未知参数，表示参数空间。改写为);(xF)|(xF经典统计学并不产生任何实质上的影响，仅仅是记号的变更。Bayes统计中意义就不同了，其表示条件分布。定义6.1若函数和相比仅差一个常数因子，则称为的核，记为)(xh)(xg)(xh)(xg)()(xgxh例如xxN},2)(exp{),(222的核是正态分布bxabaU,1),(的核是均匀分布0,),(1xexx分布的核是）（）（）（）而言，有（的后验分布按照上述观点，对xpxx|||）表示样本分布。（xp|贝叶斯学派认为，的后验分布集先验信息和样本信息于一身，包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。）（x|样本分布其中为总体的条件概率密度。niixfxp1)|()|(）（|xfX一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）则称为的贝叶斯估计量*()dX*()inf()dBdBdD定义设总体的分布函数为，其中参数为具有先验分布的随机变量，又设为来自总体的样本。若在决策函数类中有一个，使得X()FxD()1(,,)TnXXX*()d定理若损失函数为，且，则的贝叶斯估计为2(,