浅谈贝叶斯方法

1浅谈贝叶斯方法随着MCMC（马尔可夫链蒙特卡尔理论MarkovchainMonteCarlo）的深入研究，贝叶斯（T.Bayes(1702~1761)）统计已成为当今国际统计科学研究的热点。翻阅近几年国内外统计学方面的杂志，特别是美国统计学会的JASA(JournaloftheAmericanStatisticalAssociation)、英国皇家学会的统计杂志JRSS（JournaloftheRoyalStatisticalSociety）[1]等，几乎每期都有“贝叶斯统计”的论文。贝叶斯统计的应用范围很广，如计算机科学中的“统计模式识别”、勘探专家所采用的概率推理、计量经济中的贝叶斯推断、经济理论中的贝叶斯模型等。托马斯·贝叶斯在18世纪上半叶群雄争霸的欧洲学术界可谓是个重要人物，他首先将归纳推理法应用于概率论，并创立了贝叶斯统计理论，对于统计决策函数、统计推理、统计估算等作出了贡献。贝叶斯所采用的许多概率术语被沿用至今。他的两篇遗作于逝世前4个月，寄给好友普莱斯（R.Price,1723~1791）分别于1764年、1765年刊于英国皇家学会的《哲学学报》。正是在第一篇题为“机会学说中的一个问题的解”（Anessaytowardssolvingaprobleminthedoctrineofchance）的论文中，贝叶斯创立了逆概率思想。统计学家巴纳德赞誉其为“科学史上最著名的论文之一”。一、第一部分中给出了7个定义。定义1给定事件组，若其中一个事件发生，而其他事件不发生，则称这些事件互不相容。定义2若两个事件不能同时发生，且每次试验必有一个发生，则称这些事件相互对立。定义3若某事件未发生，而其对立事件发生，则称该事件失败。2定义4若某事件发生或失败，则称该事件确定。定义5任何事件的概率等于其发生的期望价值与其发生所得到的价值之比。定义6机会与概率是同义词。定义7给定事件组，若当其中任何一个事件发生时，其余事件的概率不变，则称该事件组互相独立。贝叶斯所给出的互不相容、相互独立、对立事件的定义与现在的定义差别无几，他首次明确了机会与概率的等价性。同时贝叶斯也给出了一系列命题。二、贝叶斯统计的基本思想1.三种信息拉普拉斯（Laplace，Pierre-Simon(1749～1827)）发现了贝叶斯统计的核心——贝叶斯公式（又称为逆概公式），进行了更清晰的阐述，并用它来解决天体力学、医学统计以及法学问题。在介绍贝叶斯公式前，先简单介绍一下三种信息：总体信息、样本信息和先验信息。1.1总体信息：是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。例如：“总体属于正态分布”、“它的密度函数是钟型曲线”等等。1.2样本信息：是通过样本而给我们提供的有关信息。这类“信息”是最具价值和与实际联系最紧密的信息。人们总是希望这类信息越多越好。样本信息越多一般对总体推断越准确。基于以上两种信息所作出的统计推断被称为经典统计。其特征主要是：把样3本数据看成是来自具有一定概率分布的总体，所研究的对象是总体，而不是立足与数据本身。1.3先验信息，即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。先验信息在日常生活中和工作中也经常可见，不少人在自觉或不自觉的使用它，但经典统计忽视了，对于统计推断是一个损失。基于上述三种信息进行的推断被称为贝叶斯统计学。它与经典统计学的主要区别在于是否利用先验信息。在使用样本信息上也是有差异的。2.贝叶斯统计的基本思想国际数理统计主要有两大学派：贝叶斯学派和经典学派。他们之间既有共同点，又有不同点。贝叶斯统计与经典统计学的最主要差别在于是否利用先验信息，经典统计学是基于总体信息（即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息，主要来源于经验或历史资料)进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一，其基本思想是:假定对所研究的对象在抽样前己有一定的认识，常用先验（Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值X之前，往往对参数统计模型中的参数有某些先验知识，关于的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布，而在得到样本观测值12(,,,)TnXxxx后，由X与先验分布提供的信息，经过计算和处理，组成较完整的后验信息。这一4后验分布是贝叶斯统计推断的基础。贝叶斯定理既适用于离散型随机变量，也适用于连续型随机变量，它形成了贝叶斯统计的基本原理和统计思想。三、贝叶斯公式1．事件形式的贝叶斯公式若12,,BB为一列互不相容的事件，且11()0,1,2,iiBPBi则称任一事件A，只要()0PA，就有1-1+1()()()()=,1,2,()()()iiiijijPBPABPABPBAiPAPBPAB其中+1()=()(),jijPAPBPAB即全概率公式。特别有：设事件,AB为试验E的两事件，由于B和B是一个完备事件组，若()0()0()0PAPBPB，，，贝叶斯公式的一种常用简单形式为12()()()=()()+()()PBPABPBAPBPABPBPAB在使用贝叶斯公式时，先验信息以12()()PBPB，，这一概率分布的形式给出，即先验分布。这种概率叫做先验概率，他们的值是根据先前的知识和经验确定出的，既可以利用频率和概率的关系来确定，也可以是基于“主观概率[2]”来确定。公式中()iPBA是观察到事件A发生后iB的概率，称()iPBA为iB的后验(Posterior)概率。式（2-1）是离散型变量的贝叶斯公式。它实际上可以看作是从先验概率到后验概率的转换公式，即是一个“由果求因”公式。这与全概率公式不同，全概率公式是“由因求果”公式。由于贝叶斯统计集先验信息、样本5信息和总体信息于一身，更贴近实际问题，并且由于在处理小样本问题时有其独特的优点。事件形式的条件贝叶斯公式：在已有的贝叶斯公式的定义下，事件C条件下，113()()()()()iiijijPBCPABCPBACPBCPABC2.密度函数形式的贝叶斯公式依赖于参数的密度函数在经典统计中记为;px，它表示在参数空间{}中对应不同的分布。可在贝叶斯统计中记为|px，它表示在随机变量给定某个值时，总体指标X的分布.根据参数的先验信息确定先验分布。这样一来，样本x和参数的联合分布为,|hxpx这个联合分布把样本信息、总体信息和先验信息都综合进去了。我们的任务是要对未知数作出统计推断。在没有样本信息时，人们只能据先验分布对作出推断。在有样本观察值12,...,nxxxx,之后，我们应该依据,hx对作出推断。为此我们需把,hx作如下分解：,|hxxmx其中mx是x的边缘密度函数。它与无关，或者说，mx中不含的任何信息。因此能用来对作出推断的仅有条件分布|x。它的计算公式是21|,||pxhxxmxpxd这就是贝叶斯公式的密度函数形式。这个在样本x给定下，的条件分布被称为的后验分布。它是集中了总体、样本和先验等三种信息中有关的一切信息，而又是排出一切与无关的信息之后所得到的结果。故基于后验分布6|x对进行统计推断是更为有效，也是最合理的。前面提到根据参数的先验信息确定先验分布。那么到底如何确定先验分布呢？这是贝叶斯统计中最困难的，也是使用贝叶斯方法必须解决但又最易引起争议的问题。这个问题现代有很多研究成果，但还没有圆满的理论与普遍有效的方法。根据先验信息确定先验分布，先验分布分为无信息先验分布和有信息先验分布两大类。在没有先验信息的情况下确定的先验分布就叫做无信息先验分布。这是贝叶斯分析诞生之初就面临的问题，是贝叶斯学派近30多年来获得的重要成果之一。主要有贝叶斯假设位置参数的无信息先验分布，尺度参数的无信息先验分布和Jeffreys先验分布。共轭先验分布就是一种有信息先验分布，一般都含有超参数，而无信息先验分布一般不含超参数。从实用角度出发，应充分利用专家的经验或者对历史上积累的数据进行分析和拟合，以确定先验分布。在确定先验分布时，许多人利用协调性假说。协调性假说的定义：若总体指标X的分布密度（或概率函数）是;px，则的先验分布与由它和X的样本确定的后验分布应属于同一类型。这时先验分布叫做是;px共轭先验分布。共轭先验分布是对某一分布中的参数而言的，离开了指定的参数及其所在的分布去谈共扼先验分布是没有意义的。定义中未对“同一类型”四个字给出精确的定义，也很难给出恰当的定义。通常的理解是，将概率性质相识的所有分布算作同一类型。例如，所有正态分布构成一类；所有分布构成一类；所有分布构成一类。这个假说指示我们，先验分布应该取何种类型，然后再利用历史数据来确定先验分布中的未知部分。许多实践表明，这个假说是符合实际的。7共轭先验分布在许多场合被采用，它主要有两个优点：（1）因为先验分布和后验分布属于同一个分布族，计算方便。（2）后验分布使得一些参数可以得到很好的解释。常用的共轭先验分布总体分布参数共轭先验分布二项分布成功概率贝塔分布Be(,)泊松分布均值伽玛分布Ga(,)指数分布均值的倒数伽玛分布Ga(,)正态分布（方差已知）均值正态分布N(2,)正态分布（均值已知）方差倒伽玛分布IGa(,)