统计决策论

Chapter5StatisticalDecisionTheroy2019/8/3101介绍02贝叶斯准则03极小化极大准则(Minimax)04Neyman-Pearson准则05复合假设检验06序列检测22019/8/31Review•贝叶斯判决准则)()()|()|(11011001000|1|0101CCPCCPHyfHyfHHHYHY100|1|1001)|()|(PPHyfHyfHHHYHY最小平均错误概率判决准则yHPyHPHH0110最大后验概率检测准则01100cc11001cc11010010cccc有时我们必须设计在整个先验概率上都能很好工作的分类器。也就是说，先验概率可能波动较大又或者先验概率在设计分类器时是未知的，那么我们要如何设定分类器的判决边界，使得无论先验概率以何种形式出现时，都可以将贝叶斯分类器的误差控制在一定范围，而不是大幅度的误差波动。2019/8/3103极小化极大准则2019/8/315.3极小化极大准则应用范围假设先验概率未知，判决代价因子给定目的尽可能避免产生过分大的代价，使极大可能代价最小化。52019/8/31在先验概率未知的情况下,最小平均代价是先验概率的函数.在先验概率未知的情况下,进行检测的方法是:先假设一个先验概率P1,然后按照贝叶斯准则进行检测为尽可能降低代价,需设计一种先验概率的假设方法，使由此得到的检测准则的代价值与先验概率无关.62019/8/31符号定义dyHyftrueHHdecidePHDPPZHYF)|()|(0|010110FDMPHDPPP1)|(100虚警概率漏警概率dyHyftrueHHdecidePHDPPZHYM)|()|(1|1010017dyHyftrueHHdecidePHDPPZHYD)|()|(1|111111检测概率2019/8/31平均代价（先验概率未知）])()()[()1()1()1()()()()(][001011010011110001110101010001,1110,1101,0010,000FMFFDFDFPCCPCCCCPPCPCPPCPPCPPCPPCHDPCHDPCHDPCHDPCCER给定P1，运用贝叶斯准则进行检验011101100101)())(1()(HHCCPCCPy82019/8/31P1是个变量，当它变化时可能会导致非最优决策，那么平均代价即风险也会随之变化，甚至会超出贝叶斯检验的代价。我们考虑两种极端：P1为0或者1P1为0：H0总是为真。)())(1()(110110010101CCPCCPyHH0)|(0|10dyHyfPZHYF1)|(1|01dyHyfPZHYM92019/8/3100000010110100111100000])()()[()1(CCPCCPCCCCPPCPCRFMFF01111010MDMFFPPPPPPP102019/8/31相似的，P1=1：H1为真：为非负)(0)())(1(1101101101yCCPCCPy100110PPPPMF11001000111000101101001111000)(0])()()[()1(CCCCCCPCCPCCCCPPCPCRFMFF112019/8/31•现在假设我们有这样几类概率：P(y|Hi)（先验分布）,P(Hi|y)（后验分布）,P(y),Λ(y)（似然函数）•它们之间的关系可以通过贝叶斯公式进行连接：后验分布=似然函数*先验分布/P(y)•共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样一方面符合人的直观（它们应该是相同形式的）另外一方面是可以形成一个先验链，即现在的后验分布可以作为下一次计算的先验分布，如果形式相同，就可以形成一个链条。2019/8/31共轭分布：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的•P1如果等于它的共轭，P1如图示•R是P1的线性函数，贝叶斯检验P1=P1*给出了Rmin•Rmin的正切是水平的，此时R*(P1)有最大代价•贝叶斯的曲线必须是凹下的，平均代价不会超过R*(P1*)2019/8/31•R对P1取导数•当C00=C11=0•进一步C01=C10=10)()()(001011010011FMPCCPCCCCFMPCPC1001MFPP2019/8/31此时,平均代价最小即转化为平均错误概率最小。C00=C11=0C01=C10=1MFPPPPHDPHDPPHDPCHDPCHDPCHDPCCER101010101,1110,1101,0010,000)|()|()()()()(][2019/8/31•利用极小化极大准则进行检测的基本步骤：步骤1：计算两个似然函数，构建似然比步骤2：假设判决门限为，构建贝叶斯检测基本表达式步骤3：化简成最简形式10HHyl步骤4：利用极小化极大准则，确定最终判决门限2019/8/31Example5.6•ConsidertheproblemofExample5.1.Calculatetheminimumprobabilityoferrorwhen:(a)P0=P1;(b)P0andP1areunknown2019/8/31•(a)P0=P1•P(ε)=P0PF+P1PM=1/2(PF+PM))(11)(2ln201mQPPQPmmyDMFHH2019/8/31•(b)P0andP1areunknown当PF=PM时，最优门限应该是γ*或者γ*=m/2P(ε)=P0PF+P1PM=PM(P0+P1)=Q(m/2δ))()(**mQQ2019/8/31例1：在闭启键控通信系统中，两个假设下的观察信号模型为：若两个假设的先验概率未知，且采用极小化极大准则,试确定检测门限和平均错误概率上述情况下,噪声n是均值为零,方差为的高斯噪声nAxHnxH::1001100cc11001cc22019/8/31由于n是高斯分布随机变量，因此在H0假设下，x服从高斯分布，且均值为零，方差为,在H1假设下，x服从均值为A，方差为的高斯分布。步骤1：计算两个似然函数，构建似然比222220|2exp210xHyfHY2221|2exp211AxHyfHY2019/8/31步骤2：假设门限，构建似然比检测基本表达式1001HHHyfHyf102222222exp212exp21HHxAx2019/8/31步骤三：化简102222expHHAxxln222210HHAxAdefHHAAx2ln210102222222exp212exp21HHxAx2019/8/31步骤4：计算判决门限化简defHHAAx2ln210QdxxHDPPdefF222012exp21AQdyeHDPPPAydefDM121111222)(11dueQu2221)(2019/8/31AQQ12A010101HDPHPHDPHPPeFFMPPHPPHP012AQ*1*1PPPPFM00011cc10110cc2019/8/315.4奈曼-皮尔逊准则应用范围假设的先验概率未知，判决代价未知(雷达信号检测)先验概率判决代价贝叶斯准则已知已知极小化极大准则未知已知奈曼-皮尔逊准则未知未知2019/8/3101HDP也随之增加。11HDP增加实际情况01HDP减小时，11HDP也相应减小；PF=α的约束条件下，使正确判决概率PD最大的准则等价于PF=α的约束条件下，使判决概率PM最小的准则01HDP尽可能小，11HDP尽可能大。目标2019/8/31利用拉格朗日乘子，构建目标函数0)(0110FMPPHDPHDPJ若,J达到最小时，也达到最小。01HDP10HDP2019/8/31奈曼-皮尔逊准则的推导有])|([)|(10010|1|0110dyHyfdyHyfHDPHDPJZHYZHY10ZZZdyHyfdyHyfdyHyfdyHyfdyHyfdyHyfHDPHDPJZHYZHYZHYZHYZHYZHY000100011001)|()|()1(])|(1[)|(])|([)|(0|1|0|1|0|1|01102019/8/31•把使被积函数取负值的观察值x值划分给Z0区域，而把其余的观察值x值划分给Z1，即可保证平均代价最小。判决条件：可以看出贝叶斯里面的η等价于上面的λ拉格朗日乘子，在PF固定为α的情况下。dyHyfdyHyfJZHYZHY0001)|()|()1(0|1|010|1|)|()|()(01HHHyfHyfyHYHY2019/8/31•如果我们定义Λ(给定H0为真前提下)的条件密度为：•约束条件PF=α写为：)|(0|0HfHdHyfdyHyfPHyZHYF]|)([)|(0)|(0|0102019/8/31求解步骤Step1计算似然函数、似然比,并写出判决表达式Step3根据统计量计算和Step4在约束下，计算判决门限Step2化简100|01ZHYdyHyfHDP0101)|()|()(0|1|HHHYHYHyfHyfy)|(1|1HyfHY)|(0|0HyfHY2019/8/31Example5.7Considerthebinaryhypothesisproblemwithreceivedconditionalprobabilities:ThehypothesesH0andH1areequallylikely.(a)Findthedicisionregionsforwhichtheprobabilityoferrorisminimum.(b)Calculatetheminimumprobabilityoferror.(c)FindthedecisionrulebasedontheN-Pcriterion,suchthattheprobabilityoffalsealarmisconstrainedtobePF=0.5.(d)CalculatetheprobabilityofdetectionforthegivenconstraintofPFin(b).)21(21)|(1)1(21)|(1|1|100rectHyfandyforeeyfHYyHHY2019/8/31(a)Findthedicisionregionsforwhichtheprobabilityoferrorisminimum.1)|()|()(01010|1|HHHYHYHyfHyfy2019/8/31(b)Calculatetheminimumprobabilityoferror.P(ε)=P0PF+P1PM2019/8/31(c)Findthedec