搜索
第十四章贝叶斯决策第一节贝叶斯决策定义第二节先验分布第三节Bayes定理与后验概率分布第四节后验决策及其优良性第五节最佳决策方案第六节最佳样本容量第一节贝叶斯决策定义一、什么是贝叶斯决策贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。其基本思想是：1、确定类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。3、根据后验概率大小进行决策分类。二、贝叶斯概率应用的一个例子HIV血检的例子：设想在广东省东莞市的一家医院，一个地产商接受了ＨＩＶ血液检验，结果是阳性。他非常的紧张，问医生“血检的灵敏度如何？”医生回答说“非常灵敏９５％，而且误诊率（就是假阳性）也很低，才5％。”听完这句话，病人当即晕倒。假如他懂一点Ｂａｙｅｓ理论的话，一定要先问“中国现在大约有百分之几的ＨＩＶ患者？＂医生可能说“计中国可能大约有千分之一ＨＩＶ或艾滋病患者。”假设东莞市有20万人检测了血样，那我门可以从下表中我们看出在10180个血检为阳性的人中只有1.9%的人真正患有HIV。HIV-HIV+合计血检阴性189810.010.0189820.0血检阳性9990.0190.010180.0合计199800.0200.0200000.01.9％就是后验概率，可以由以下Ｂａｙｅｓ公式直接算出，p(H+|T+)=p(H+)*p(T+|H+)/[p(T+|H+)*p(H+)+p(T+|H-)*p(H-)]=0.001*0.95/(0.001*0.95+0.05*0.999)=1.9%.三、贝叶斯决策应用的一个例子延续上面那个例子，有了对疾病的估计，接下来就要利用贝叶斯决策选择治疗方案。首先我们要定义一个效益函数u(d,θ)，什么是效益呢？在实际环境中，有太多的因素可以成为效益的组成部分，譬如延长多少年的寿命或者是减少疼痛的程度。[也可用损失函数来衡量，譬如吃药后的负作用等等]。假如对每一种治疗方案和疾病的状况我们都可以定义一个量化的效益或损失，那我们就可以得到每种治疗方案的期望效益或损失。对以上的例子，定义以下的效益函数•u(d=A,θ=0)=-100（给一个没病的人吃药，显然损失很大）•u(d=A,θ=1)=10000(给有病的人吃药，好处多多）•u(d=B,θ=0)=0（给没病的人不加治疗，没好处没坏处）•u(d=B,θ=1)=-10000（给有病的人不治疗，有一定的坏处）。•A表示给该血检人治疗；B表示不给血检人治疗。•θ=1表示该血检人为HIV阳性；θ=0表示该血检人为HIV阴性；•由上例子可以得出•p(θ=1|y)=98%•p(θ=0|y)=2%（1.9%四舍五入）•y表示确实为血检阳性；•θ=1表示HIV阳性•就可以算出期望的效益•E(d=A)=-100*98%+10000*2%=102•E(d=B)=0.0*98%+(-10000)*2%=-200•很明显他应该选择治疗。第二节先验分布作决策时，最先确定的各种自然状态的概率，一般称为先验概率分布，它是在做任何实验或调查以前就确定了的。若根据试验或调查所获得的情报，对先前确定的先验概率分布加以修正，而得到关于自然状态的新的概率分布，则称之为后验分布。客观的先验分布根据经验获得的某些客观的情报或证据，对自然状态的先验概率的估计或指定。例如，我们可以用某一段时间内每批产品所包含的不合格品的数目，来估计该产品不合格率的概率分布先验分布主观的先验分布如果缺乏有关自然状态的客观情报，决策者小心分析自然状态的各种情况，评估各种自然状态出现的可能性大小，然后主观地指定先验概率分布。例如判断利率的变化，可以根据过去观察到的经济状况与利率之间的关系，来推测利率上升、不变或下降的概率。第三节Bayes定理与后验概率分布一、补充信息：决策者通过调查而获得的信息。利用Bayes定理将补充信息和先验分布结合起来，便产生了一种综合信息，即后验分布。第三节Bayes定理与后验概率分布二、Bayes定理：设自然状态θ有k种，分别用θ1，θ2，···，θk表示，P（θi）表示自然状态θi发生的先验概率分布，用x表示调查结果，P（x|θi）表示在状态θi条件下，调查结果刚好为x的概率。通过调查得到结果x，这样的结果包含有关于自然状态θ的信息，利用这些信息可对自然状态θi（i=1，2，3，···，k）发生的概率重新认识，并加以修正。修正后的概率为：i=1，2，···，k这就是Bayes公式。一般来讲，这时对各种自然状态θ1，θ2，···，θk发生的概率作出的估计P（θ1|x），P（θ2|x），···，P（θk|x）比先验概率分布更为准确。我们称P（θi|x）为θi发生的后验概率。ikj1(|)()(|x)(|)()iijjpxpppxp三、例子例1某自动生产设备在生产过程中可能正常也可能不正常，正常时产品的合格率为80％，不正常时产品的合格率为30％。从某时刻生产的产品种抽取一件进行检验，要求我们根据这些产品的情况来判断设备是否正常。该问题的自然状态有两种，即设备正常和设备不正常，分别用θ1和θ2表示，假设我们对该设备以往的生产情况一无所知，那么判断设备是否正常的可能性相等，即先验概率为：P（θ1）＝0.5P（θ2）＝0.5由于两者的概率相等，实际上无法判断出设备究竟是否正常。但如果我们从某时刻的产品中抽取一件产品，若发现为合格品，即抽样的结果为x＝“合格品”，这就得到了一种补充的信息。容易算出：P（合格品|θ1）＝0.8P（合格品|θ2）＝0.3利用Bayes公式得：P（θ1|合格品）＝0.73P（θ2|合格品）＝0.27即抽得一件产品为合格品后算得设备为正常的概率是0.73，设备不正常的概率是0.27，故应判断此时设备正常，即θ＝θ1。若从某时刻生产的产品中抽取到的一件产品为不合格品，同样利用Bayes公式算得：P（θ1|不合格品）＝0.22P（θ2|不合格品）＝0.78故应判断此时设备不正常，即θ＝θ2四、例子的扩展如果从某时刻生产的产品种连续抽取两件产品，并检查它们是否合格，然后再判断设备此时是否正常。抽样结果，我们用x=“合·合”表示两件产品都合格；x=“合·不”表示第一件合格，第二件不合格；x=“不·合”表示第一件不合格，第二件合格；x=“不·不”表示两件都不合格。计算结果如下：P（θ1|合·合）＝0.877P（θ2|合·合）＝0.123P（θ1|合·不）＝0.432P（θ2|合·不）＝0.568P（θ1|不·不）＝0.075P（θ2|不·不）＝0.925P（θ1|不·合）＝0.432P（θ2|不·合）＝0.568根据这些后验概率，合理的判断应该是：若两件产品都合格，判断设备此时正常；若第一件合格，第二件不合格，应判断此时设备不正常；若两件产品都不合格，判断设备此时不正常；若第一件不合格，第二件合格，判断此时设备不正常。另外，全概率公式：1()(|)()KiiipxPxP第四节后验决策及其优良性一、概念先验决策：建立在先验概率分布的基础上而作出的决策。后验决策：利用后验概率分布作出的决策。理论证明，任何后验补充情报信息都不会给决策者带来坏处。由于后验概率分布是由先验分布经过补充一些情报后而产生的，所以基于后验概率分布而作出的后验决策总是优于先验决策。假定某一决策问题的自然状态θ为θ1，θ2，···，θn。他们的先验概率分布为：P（θ＝θ1），P（θ＝θ2），···，P（θ＝θn）。可以采取的行动α为α1，α2，···，αm。损失函数为R（θ，α）。令补充情报值为x，如在上节所述的例子中，我们通过抽出一件产品来补充情报信息，若抽出的产品为合格品，则x＝“合”；若抽出两件产品来补充情报信息，则x可能等于“合·合”，“不·不”，“合·不”，或“不·合”。根据情报值x，我们采取某个行动δ（x）,δ（x）可能为α1，α2，···，或αm，称δ（x）为一个决策方案。对某一决策方案δ（x），在任一状态θ＝θi下，当情报值x确定后，它所对应的行动δ（x）也就确定了，从而行动δ（x）的损失值R（θi，δ（x））也就随之确定了。对于一个好的决策方案，应要求R（θi，δ（x））较小。但是，评价一个决策方案的好坏，不能只看一次情报所取的值，而应当用各情报值下的平均效果来衡量。因此，在状态θi下，决策方案的好坏应以R（θi，δ（x））对情报值x的数学期望的大小为标准，即：P（θi，δ）＝Exθi[R（θi，δ（x））]称P（θi，δ）为在状态θi下，决策方案δ（x）的风险值。风险值表示在固定状态θi下，当出现各种不同情报值时按决策方案采取行动的平均损失。在不同状态下，同一决策方案的风险值不一样，一个决策方案的好坏，应综合反应其在各种不同状态下的风险值，即我们应当用来衡量一个决策方案的好坏。称B（δ）为决策方案δ（x）的贝叶斯风险，它反映这一决策方案的平均损失。1()[(,)](,)()niiiBEPPP二、例子例如，在上节所述的例子中，如果设备正常，而判断为不正常，会损失1500元；判断为正常，损失为0。若设备不正常，而判断为正常会损失2000元；判断为不正常则损失0，我们来求各种决策方案的风险值和贝叶斯风险。用α1表示“判断设备正常”，α2表示“判断设备不正常”，该决策问题的损失矩阵为：先研究抽取一件产品进行检验的情况。这时共有四个决策方案可供选择：θP（θ=θi）α1α2θ1½01500θ2½20000α1x=“合”α2x=“合”δ1（x）=δ2（x）=α2x=“不”α1x=“不”α1x=“合”α2x=“合”δ3（x）=δ4（x）=α1x=“不”α2x=“不”我们知道P（θ=θ1）=1/2P（θ=θ2）=1/2P（x=“合”|θ=θ1）=0.8P（x=“不”|θ=θ1）=0.2P（x=“合”|θ=θ2）=0.3P（x=“不”|θ=θ2）=0.7对于决策方案δ1（x）R（θ1，δ1（合））＝R（θ1，α1）＝0R（θ1，δ1（不））＝R（θ1，α2）＝1500R（θ2，δ1（合））＝R（θ2，α1）＝2000R（θ2，δ1（不））＝R（θ2，α2）＝0于是，δ1（x）的风险值为：P（θ1，δ1）＝Ex|θ=θ1[R（θ1，δ1（x））]＝R（θ1，δ1（合））P(x=“合”|θ=θ1)+R（θ1，δ1（不））P(x=“不”|θ=θ1)=0*0.8+1500*0.2=300（元）P（θ2，δ1）＝Ex|θ=θ2[R（θ2，δ1（x））]＝R（θ2，δ1（合））P(x=“合”|θ=θ2)+R（θ2，δ1（不））P(x=“不”|θ=θ2)=2000*0.3+0*0.7=600（元）所以决策方案δ1（x）的贝叶斯风险为：B（δ1）＝P（θ1，δ1）P（θ=θ1）＋P（θ2，δ1）P（θ=θ2）＝300*1/2+600*1/2=450（元）用同样的方法，我们可以求得决策方案δ2（x）的贝叶斯风险：B（δ2）＝1300（元）对于决策方案δ3（x）：R（θ1，δ3（合））＝R（θ1，α1）＝0R（θ1，δ3（不））＝R（θ1，α1）＝0R（θ2，δ3（合））＝R（θ2，α1）＝2000R（θ2，δ3（不））＝R（θ2，α1）＝2000于是δ3（x）的风险值为：P（θ1，δ3）＝Ex|θ=θ1[R（θ1，δ3（x））]=0*0.8+0*0.2=0（元）P（θ2，δ3）＝Ex|θ=θ2[R（θ2，δ3（x））]=2000*0.3+2000*0.7=2000（元）其贝叶斯风险为：B（δ3）＝P（θ1，δ3）P（θ=θ1）＋P（θ2，δ3）P（θ=θ2）＝0*1/2+2000*1/2=1000（元）用同样的方法可求得决策方案δ4（x）的贝叶斯风险为：B（δ4）＝750（元）因此，我们若用贝叶斯风险衡量，方案δ1（x）优于其他三种决策方案。三、例子的扩展如果抽取两件产品来补充情报信息，这时决策方案共有八个，分别记为δ1’，δ2’，δ3’，δ4’，δ5’，δ6’，δ7’，δ8’，各个决策方案的风险值和贝叶