贝叶斯统计与决策讲座

STATISTICSPROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICSSTATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICSμ-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS贝叶斯统计与决策吴志雄统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。引言讲座内容1贝叶斯统计概述2先验分布的确定3贝叶斯统计推断4贝叶斯决策1贝叶斯统计概述1.1全概率公式与贝叶斯公式引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。(1)解：记Bi={球取自i号箱},i=1,2,3;A={取得红球}123ABABABAB1A,B2A,B3A两两互斥123P(A)P(BA)P(BA)P(BA)112233P(B)P(AB)P(B)P(AB)P(B)P(AB)将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的全概率公式。3iii1P(B)P(AB)1135依题意，P(A|B1)=1/5,P(A|B2)=2/5,P(A|B3)=3/312351333815(2)解：引例有三个箱子，分别编号为1,2,3。1号箱装有1个红球4个白球，2号箱装有2红3白球，3号箱装有3红球.某人从三箱中任取一箱，从中任意摸出一球，（1）求取得红球的概率。（2）已知取出的是红球，求此球来自1号箱的概率。1P(BA)11P(B)P(AB)P(A)113iii1P(B)P(AB)P(B)P(AB)1135815181P(BA)P(A)Bayes公式这类问题，是“已知结果求原因”是已知某结果发生条件下，求各原因发生可能性大小。设B1,B2,…,Bn是两两互斥的事件，且P(Bi)0，i=1,2,…,n,另有一事件A，它总是与B1,B2,…,Bn之一同时发生，则kP(BA)iP(BA)njjj1P(B)P(AB)iP(BA)P(A)iiP(B)P(AB)称P(Bi)为先验概率，它是由以往的经验得到的，它是事件A的原因。称为后验概率，它是得到了信息—A发生，再对导致A发生的原因Bi发生的可能性大小重新加以修正。iP(BA)后来的学者依据贝叶斯公式的思想发展了一整套统计推断方法，叫作“贝叶斯统计”。可见贝叶斯公式的影响。例1.1用Bayes公式分析伊索寓言《孩子与狼》中村民对小孩的信赖程度是如何下降的。解:A：小孩说谎；B：小孩可信；小孩第说一次谎后的可信度为：不妨设：P(B)=0.8；P(AB)0.1;P(AB)0.5;P(AB)P(BA)P(A)P(B)P(AB)P(B)P(AB)P(B)P(AB)0.80.10.80.10.20.50.444小孩第说二次谎后的可信度为：P(B)P(AB)P(BA)P(B)P(AB)P(B)P(AB)0.4440.10.4440.10.5560.50.1381.2贝叶斯统计贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后二年发表的一篇论文《论有关机遇问题的求解》中提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派—贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志《Biometrika》在1958年又全文刊登贝叶斯的这篇论文。1.总体信息：总体分布或所属分布族提供给我们的信息2.样本信息：从总体抽取的样本提供给我们的信息3.先验信息：在抽样之前有关统计推断的一些信息1.2.1统计推断中可用的三种信息1.2.2贝叶斯学派与频率学派之间存在重大差异1)频率统计学派与贝叶斯学派在进行统计推断时的依据不同；2)对概率的概念的理解不同；3)两个学派的具体统计推断理念之间存在根本差异。1)统计推断时的依据不同•频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统计学。2)对概率的概念的理解不同•频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；3)两个学派统计推断理念之间存在着根本差异•统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型、确定统计量和决定统计量的分布。根据费歇尔的观点，信息量包含在样本中，但样本为数众多，因此须用少数几个统计量把信息集中起来，而抽样分布则决定了统计量的全部性质；目前，频率统计学派基本上是按照这种思路来处理统计推断问题的。贝叶斯学派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。由此可以看出，频率学派统计推断是“从无到有”的过程——在试验前，关于位置参数的情况是一无所知，而试验后则有些了解，但了解多少？并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性；贝叶斯统计推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯——根据所获得的信息修正以前的看法，不一定从零开始，从本质上说，贝叶斯推断理论概括了多数成年人的学习过程。但是最主要的差别，也是贝叶斯理论的一个重要特征，在于只能基于后验分布，也就是说，在获得后验分布后，如果把样本、原来的统计模型都丢掉，一点也不会影响将来的推断，凡是符合这个准则的推断就是贝叶斯推断。据此，矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断，但最大似然估计则可视为均匀先验分布之下的贝叶斯推断，因此，作为频率学派中一个很重要的极大似然估计，其实，它只不过是在一种很特殊先验分布下的贝叶斯估计而已。1.3.1贝叶斯公式的三种形式1.贝叶斯公式的事件形式：假定是互不相容的事件，它们之和包含事件B，即，则有：kAA,,1kiiA1kiiAB11()(|)(|)()(|)iiikiiiPAPBAPABPAPBA1.3贝叶斯公式假设Ⅰ随机变量X有一个密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。2.贝叶斯公式的密度函数形式：在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设：假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1）先验分布定义1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参数θ的先验分布。（2）后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数：)(),,(),,,(11nnxxpxxh在这个联合密度函数中。当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：nXX,,1dxxpxxpxxmxxhxxnnnnn)(),,()(),,(),,(),,,(),,(11111这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。而：),,(1nxxdxxpxxmnn)(),,(),,(11是样本的边际分布，或称样本的无条件分布，它的积分区域就是参数θ的取值范围，随具体情况而定。nXX,,13.贝叶斯公式的离散形式：当是离散随机变量时，先验分布可用先验分布列π(θi)，这时后验分布也是离散形式：假如总体X也是离散的，则只须将p(x|θ)换成P(X=x|θ)即可。,2,1)()|()()|()|(ixpxpxjjjiii，前面的分析总结如下：人们根据先验信息对参数θ已有一个认识，这个认识就是先验分布π(θ)。通过试验，获得样本。从而对θ的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布。后验分布是三种信息的综合。获得后验分布使人们对θ的认识又前进一步，可看出，获得样本的的效果是把我们对θ的认识由π(θ)调整到。所以对θ的统计推断就应建立在后验分布的基础上。),,(1nxx),,(1nxx),,(1nxx1.3.2后验分布是三种信息的综合例1.2设事件A的概率为，即。为了估计而作n次独立观察，其中事件A出现次数为X，则有X服从二项分布即)(A),(nb.,,1,0,)1()(nxCxXPxnxxn解题步骤：1.作贝叶斯假设。如果此时我们对事件A的发生没有任何了解，对的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（0，1）上的均匀分布作为θ的先验分布。因为它在（0，1）上每一点都是机会均等的。因此：others,010,1)(2.计算样本X与参数的联合分布：),(xh10,,,1,0,)1(nxCxnxxn此式在定义域上与二项分布有区别。如何求出后验分布？nxnxnxCdxhxmxn,,1,0,)2()1()1(),()(1010,)1()1()1()2()(xnxxnxnx(1,1)Bexnx即：5.具体算例。拉普拉斯计算过这个概率,研究男婴的诞生比例是否大于0.5?如抽了251527个男婴,女婴241945个。他选用U(0，1)作为θ的先验分布，于是可得θ的后验分布Be(x+1,n-x+1),其中n=251527+241945=493472，x=251527。由此拉普拉斯计算了“θ≤0.5”的后验概率：故他断言男婴诞生的概率大于0.5。425.001015.1)1()1()1()2()/5.0(dxnxnxPxnx4.利用贝叶斯公式可得的后验分布：3.计算X的边际密度为:注：伽玛函数与贝塔分布简介：11()(;,)(1),01,0,0()()pqpqpxpqxxxpqpq101110(),0,(1)!(,)(1),0,0()()(,),0,0()sxpqsxedxsnnBpqxxdxpqpqBpqpqpq称为伽玛函数，定义：定义在[0，1]上，且用密度函数：表示的概率分布称为贝塔分布，记为Be(p,q)。2(),()()(1)ppqExVarxpqpqpq特例：当p=q=1时，Be(1,1)分布即为区间[0，1]上的均匀分布；当p=q=1/2，Be(1/2,1/2)分布