贝叶斯决策理论及其应用

哈尔滨工业大学课程学习报告课程名称：概率论与数理统计授课教师：王力学生姓名：魏绍楼学号：1131900233院系：材料科学与工程学院，材料科学系电话：[phone]Email:[e-mail]哈尔滨工业大学课程学习报告概率论与数理统计2Bayes决策理论及其应用魏绍楼（哈尔滨工业大学材料科学与工程学院，哈尔滨150090）摘要：回顾Bayes决策理论的产生与发展历史，结合《概率论与数理统计》课程内容，深入分析了几类典型的决策模型。讨论了Bayes决策理论的应用领域及其与经典归纳理论的异同。关键词：Bayes决策理论；决策模型；决策规则；归纳理论引言Bayes决策理论是主观Bayes派归纳理论的重要组成部分，是指在不完全情报下，对部分未知的状态用主观概率估计，并使用Bayes公式对概率估计值进行修正，依据数学期望值和修正概率做出最优决策的科学。这种决策理论灵活性强，具有广泛的使用空间和发展前景，被广泛应用于实际生活中及各门学科之中，并被不断发展完善，形成了各具学科特色的Bayes决策理论。1Bayes决策理论的产生与发展Bayes统计学是现代统计学的一个重要分支，它起源于十八世纪英国学者Thomas·Bayes在其一篇名为《论有关机遇问题的求解》中所提出的著名的Bayes公式和一种推理方法[1]。其理论成果并没有引起同时代人们的重视，直到他的论文被后人公开发表，并经过Laplace等人的进一步发展，才逐渐形成了统计学中的Bayes学派。时至今日，Bayes统计学与古典统计学已并驾齐驱，成为统计学的两大主流学派。图1.Bayes与Bayes公式Bayes学派的基本观点是:任意未知参数都可视为随机变量，可用一个概率分布来描述，并称这个分布为先验分布，它代表人们在进行抽样调查前对事件的认识，即先验信息，而古典统计学派最初不承认先验信息，主张仅利用样本信息进行统计推断[2]。这是两大学派的根本区别所在。如何利用各种先验信息来合理的确定先验分布成为统计学派关注的焦点。Bayes决策理论是关于人在风险条件下或面临不确定性因素的情况下应该如何进行抉择的理论。Ramsey、Savage与Jeffrey对Bayes决策理论的建立作出了卓著的贡献。1921年英国经济学家Keynes出版《论概率》一书,建立了第一个概率逻辑体系,这标志着现代归纳逻辑的诞生[3]。Keynes试图借助于数理逻辑和概率论来刻画或然性推理的前提哈尔滨工业大学课程学习报告概率论与数理统计3与结论之间的逻辑联系,他认为,如果这些推理客观上是正确的,那么在推理的前提与结论之间存在着唯一的概率关系。Ramsey反对Keynes的逻辑概率概念，并于1926年发表《真理与概率》,文中提出主观概率的概念,并通过人的选择行为来确定概率和效用。他首先提出了“伦理中立的命题”这一概念：一个命题s对某个人而言是伦理中立的,是说有两个可能世界,这两个世界的差别仅仅在于s在一个世界中为真,在另一个世界中为假,而这两个世界对于这个人的价值是相同的。或者说,如果命题s的真假不会影响一个人对行动方案的选择,那么这个命题对于他是伦理中立的。比如某人在疗养院休假,清晨起来考虑今天是去登山,还是留下打保龄球。这时从一副扑克中抽出一张牌,命题“抽出的是一张桃”是真还是假不会影响他的选择,因而对他是伦理中立的。但是如果他不知道今天是否下雨,命题今天将有雨“对于他就不是伦理中立的”。Savage系统地研究了决策理论,他认为归纳推理的思想与人在面对不确定性的证据时的决策行为有关。他在1954年出版的《统计学基础》一书中“发展了,解释了,并辩护了一种关于高度理想化的人在不确定情况下的行为的抽象的理论”。从Ramsey到Savage之间,还有两项重要的工作:一项是DeFunès独立地提出并发展了主观概率的理论；另一项是1944年数学家VonNeumann与经济学家Morganstan合作出版了《对策论和经济行为》一书，建立了现代效用理论。Savage是在这两项工作的基础上开展研究的。Bayes决策理论是主观Bayes派归纳理论的有机组成部分。主观Bayes派是在同逻辑Bayes派的竞争中发展起来的。以Keynes、卡尔那普和欣迪卡为代表的逻辑Bayes派致力于用形式语义学的方法来刻画归纳推理前提与结论之间的逻辑联系，他们系统地发展了归纳确证的理论。以Ramsey、DeFunès、Savage和Jeffrey为代表的主观Bayes派致力于建立主观概率的理论,他们发展了效用理论，发展了决策理论。Bayes统计理论与最优决策理论结合所形成完备的决策理论，首先成功应用于商业和社会科学中。其次是在物理、化学、生物等学科领域得到了广泛的应用，如今其概念和方法在工程技术、管理科学、系统运筹、医疗诊断等领域都具良好的发展前景。2典型决策模型分析2.1基于最小错误率的Bayes决策在模式分类问题中，人们往往希望尽量减小分类的错误,从这样的要求出发，利用Bayes公式，就能得出使错误为最小的分类规则,称之为基于最小错误率的Bayes决策。决策规则(以两类为例):如果p(w1|x)p(w2|x)，则把x归为w1类。反之，p(w1|x)p(w2|x)，则把x归为w2类。在多类情况下的决策规则为：p(wi|x)=max{p(wj|x)},j=1,2,…,c,则x∈wi(2.1-1)2.2基于最小风险的Bayes决策在基于最小错误率的Bayes分类决策中，使错误率p(e)达到最小是重要的。但实际上有时需要考虑一个比错误率更为重要的广泛的概念——风险。风险和损失是紧密联系的。最小风险Bayes决策正是考虑各种错误造成损失不同而提出的一种决策规则。在此决策中利用了决策论的观点进行考虑。在已知先验概率p(wi)及类条件概率密度p(x|wi)i=1,2,…,c的条件下，在考虑错判所造成的损失时，由于引入“损失”的概念，而必须考虑所采取的决策是否使损失最小。对于给定的x，如果采取决策αi，损失函数λ(αi,wj)可以在c个λ(αi,wj)，j=1,2,…,c值中任取一个，其相应的概率为p(wj|x)。因此在采取决策αi情况下的条件风险R(αi|x)为：R(αi|x)=E[(αi,wj)]=λ(αi,wj)𝑐𝑗=1p(wj|x)i=1,2,…,α(2.2-1)条件风险反映了对某一个x取值采取决策αi所带来的风险。由于x是随机向量的观察哈尔滨工业大学课程学习报告概率论与数理统计4值，对于x的不同观察值，采取决策αi时，其条件风险的大小是不同的。所以将决策α可以看作随机向量x的函数，记为α(x)，所以我们定义期望风险为R=R(α(x)|x)p(x)dx。期望风险反映了对整个特征空间上所有x的值所采取相应的决策α(x)所带来的平均风险。最小风险Bayes决策规则为：R(αk|x)=min{R(αi|x)},α=αki=1,2,…,α(2.2-2)2.3限定一类错误率条件下使另一类错误率为最小的两类决策在两类别决策问题中，有出现两类错误的可能性，一种是在采取决策w1时其实际自然状态为w2;另一种是在采取决策w2时其实际自然状态为w1，这两种错误的概率分别是p(w2)p2(e)和p(w1)p1(e)，最小错误率Bayes决策是使这两种错误率之和p(e)为最小。由于先验概率对具体问题来说往往是确定的，所以一般称P1(e)，P2(e)为两类错误率。实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能的小。这样的决策可以看成在P2(e)=ε0条件下，求P1(e)极小值的条件极值问题。可以用条件极值的Lagrange乘子法，建立的数学模型为：γ=P1(e)+λ(P2(e)-ε0)（λ是Lagrange乘子）(2.3-1)3Bayes决策理论与归纳理论Bayes决策理论被大量使用与数学领域、工程领域和其他领域，例如Bayes决策理论对现代归纳逻辑的发展产生了深刻的影响。一般认为科学研究的目的是探索普遍性的规律，人们根据普遍规律解释各种现象并且预测未来，认为科学活动是寻求真理的过程或者逐渐接近真理的过程[4]。传统观点认为，归纳推理与发现一般规律，特别是发现因果规律有关。现代归纳逻辑摈弃了归纳的发现作用，但仍然强调归纳推理求真的作用，运用归纳推理虽不能从前提必然推出真的结论，但可以给予结论一定程度的支持，所谓的“程度”就是经典意义下的概率。因此归纳理论本质上是确证的理论，首先是归纳概率的理论。这种对归纳推理的认识属于追求真理的传统。参考文献[1]张湘平，张金槐，谢红卫.关于样本容量、验前信息与Bayes决策风险的若干讨论[J].电子学报,2003,31(4):1-3.[2]刘蓉，靳红梅，段福庆.基于Bayes决策的光谱分类[J].光谱学与光谱分析,2010,30(3):839-840.[3]游煦，苏欣，王若鹏.Bayes决策及其应用[J].北京石油化工学院学学报,2010,18(3):58-59.[4]王太忠.论归纳法与科学确证[J].文教资料,2013(13):62-63.