第十二章贝叶斯统计

第十二章贝叶斯统计1第十二章贝叶斯统计统计学中有两个主要学派：频率学派和贝叶斯学派。两者间有着长期的争论，这对统计学的发展起到了积极的促进作用。本章主要讨论贝叶斯统计的基本思想、理论进展及应用，以期对贝叶斯统计形成初步的认识。§12.1贝叶斯学派概述贝叶斯统计起源于英国学者贝叶斯的一篇论文“论有关机遇问题的求解”（1763年发表）。在这篇论文中，他提出了著名的贝叶斯公式。设参数已知时，样本X的分布密度为(),fx|的先验密度为()，则已知样本X后，参数的后验密度为()()()(12.1.1)()()fxhxfxd|||贝叶斯公式、参数的后验密度公式（12.1.1）及贝叶斯假设构成了贝叶斯统计的起点。频率学派进行统计推断时，依据两种信息：一是总体信息，即统计总体服从何种概率分布，例如总体服从正态分布。另一是样本信息，即从总体抽取的样本给我们提供的信息。贝叶斯学派则除以上两种信息之外，还必需利用先验信息，即在抽样（试验）之前有关总体分布的未知参数的信息。贝叶斯学派受到的批评集中于以下两点：⑴将参数看成是随机变量是否合适；⑵先验分布是否存在，如何确定。贝叶斯统计在参数的点估计、区间估计及假设检验方面形成了与频率统计相平行的理论方法，并赋予统计推断以新的解释，它在可靠性方面有着成功的应用。贝叶斯分析与统计决策论也是难以分开的，贝叶斯统计具有简洁实用的特点。贝叶斯方法的关键是先验分布的确定。由于现实世界中的事物的发生常不具备大量可重复性，事件发生的概率较难具有频率解释，而又面临解决问题，这就导致主观概率、先验分布的提出，试图通过科学的思维活动来弥补经验的不足，再利用样本X调整先验分布()为后验分布()hx|，完成对参数认识的再认识。例12.1.1一个人打靶，打了n次，命中了r次，估计此人打靶命中的概率。一般的估计方法是：ˆrn。当1nr时，ˆ1；当100nr时，仍有ˆ1。而实际上在这两种情况下，反映出的此人的射击水平是不一样的。依贝叶斯方法，n次独立射击，命中r次的概率为()(1),rnrnfrr|当对参数一无所知时，可设服从[0,1]上的均匀分布，由（12.1.1）得第十二章贝叶斯统计210(1)(),01.(1)rnrrnrhrd|取关于其后验分布的期望()Er|去估计，得的贝叶斯估计：ˆ(1)(2)rn。此时，当1nr时，2ˆ3；当100nr时，有101ˆ102。显然这个估计比rn要合理。§12.2先验分布的确定参数的无信息先验分布是指除参数的取值范围和在总体分布中的地位外，不再包含的任何信息的先验分布。下述12.2.1，12.2.2，12.2.3均为无信息先验分布的确定。12.2.1贝叶斯假设当对一无所知时，可认为的取值均匀地分布在其变化范围内，取(),;()0,;(12.2.1)cc为常数，称（12.2.1）式为贝叶斯假设，例(12.1.1)就是在贝叶斯假设下求出ˆ(1)(2)rn。然而还存在着这样的矛盾，定义一个变换2,在[0,1]上具有单调性，由贝叶斯假设，,都应是[0,1]上的均匀分布，实际上当服从[0,1]上的均匀分布时，可推出服从非均匀分布。12.2.2用Fisher信息阵确定无信息先验分布Jeffery提出的不变原理较好地解决了贝叶斯假设的上述矛盾。设的先验分布为(),()g具有单调性，()q为相应的反函数，的先验分布为()g，则应有()(())()(12.2.2)gqq选择()满足(12.2.2)，则由或()g导出的先验分布具有一致性。Jeffery以的Fisher信息阵()I的行列式的平方根作为的先验分布的核，即12()()(12.2.3)I则可证明(12.2.3)满足(12.2.2)确定的不变性。用Jeffery准则(12.2.3)式确定例12.1.1中的先验分布，可得1122()(1)即，()服从贝塔分布11(,)22，由此得的贝叶斯估计：ˆ(0.5)(1)rn。第十二章贝叶斯统计312.2.3最大熵原则信源是信息的来源。对离散信源，设信源符号iXx出现的概率为(1,2,,)ipin，定义信源的期望信息量为信源的信息熵()ln(),iiHXpp即熵是表征信源的不定程度的总体特性的。信息获得的可能性较小，则一旦获得信息，所得到的信息量也应是较大的。可证明对离散型随机变量，等概率状态相应的熵最大。对连续信源X，可定义信源的信息熵为()()ln(),HXpxpxdx可证明在[,]ab上的均匀分布是熵最大的分布。从而例12.1.1中的最大熵先验分布为[0,1]上的均匀分布。又设是(,)上的随机变量，假定它的一阶矩为，二阶中心矩为2，则可推得的最大熵分布为2(,)N。12.2.4共轭分布Raiffa和Schlaifer(1961)提出选择自然共轭分布作为先验分布。定义：设样本X的分布密度()fx|，若()决定的后验密度:()hx|与()是同一类型的，则称先验分布()为()fx|的共轭分布。再看例12.1.1若选取()为贝塔分布(,)ab，则可推出：()hr|仍服从贝塔分布(,)arnbr，故贝塔分布是二项分布的共轭分布。此时，的贝叶斯估计：ˆarabn。当1,1ab时，的先验分布(1,1)即为贝叶斯假设。共轭分布要求先验分布()与经样本X调整后的后验分布()hx|具有某种一致性，即要求具有对参数的基本认识条件下，通过样本调整，达到对参数认识的升华。12.2.5经验贝叶斯估计经验贝叶斯方法体现了频率统计和贝叶斯统计的某种融合，其特点是利用历史样本的信息。例12.2.1设1,,nXX是来自总体X服从2(,)N的样本，2已知，的先验分布选为2(,)N，则可推知：给定,Xx的后验分布()hx|服从2(,)N，其中，第十二章贝叶斯统计422222221,1111x即的先验分布2(,)N，为给定2下总体分布2(,)N的共轭分布（也是的二阶矩存在下的最大熵分布），在上式中参数2,是未知的。经验贝叶斯方法是通过样本1,,nXX去估计未知参数2,。在前述假设下，可推知总体X的边缘分布为22(,)N，进而可得2,的极大似然估计2221111ˆˆ()nniiiiXXXnn，由此确定出参数的先验分布2ˆˆ(,)N。§12.3贝叶斯统计的应用与发展贝叶斯方法在可靠性分析中有着重要的应用。数据少是可靠性分析的特点，由于可靠性分析的对象大多是精密、贵重的仪器设备，试验费用大，样本量小到甚至只有一、二次的试验结果，在这种情况下去分析设备的可靠性指标，须尽可能地搜集、综合各种验前经验，整理、推导出参数的先验分布。由前述看到，先验分布的确定不是凭空捏造的，而是通过正常的逻辑思维获得的。先验分布的使用，成为验后样本量不足的合理的补充。在决策分析中，考虑一种新产品的销路，分畅销、一般及滞销三种情形，不同的人因为各自经验等方面的原因，对此会作出不同的估计，形成新产品销路三种情形的主观概率。可见在人们现有知识、经验条件下，主观概率是人们带有主观成分的对事物尽可能的客观性判断，它不等同唯心论。量子力学里最根本的概念就是用波函数描述的概率幅，最基本的规律就是概率幅叠加的规则，所谓微观粒子的波粒二象性，就是由大量测量事件显示出来的一种按2的概率分布。在对物质世界的微观领域的探索中，物理参数呈现出一定的随机性，受科学实验的制约及实验对实验对象的影响，以及微观粒子的大量存在性，这为贝叶斯统计在物理参数估计等方面提供了应用空间。贝叶斯统计和频率统计都服从柯尔莫哥洛夫（1933）年提出的概率公理体系，运用概率论知识进行其理论推导。先验分布的确定体现了贝叶斯统计的特色，使贝叶斯统计成为处理实际问题的简明有效的方法。面向实际，突出实效也是贝叶斯统计生命力之所在。关于两学派间的争鸣，正如成平在对贝叶斯统计的几点看法中说到：“虽然两个学派在哲理和思想上有其对立的一面，但总的看应是一个互相补充和促进的关系，都是统计学这个百花园中的鲜花。”贝叶斯统计也在考虑借鉴其它统计学分支的研究手法，贝叶斯统计理论的深入发展似有赖现代概率论的应用。