先验分布的确定

第三章先验分布的确定§3.1主观概率§3.2利用先验信息确定先验分布§3.3利用边缘分布m(x)确定先验密度§3.4无信息先验分布§3.5多层先验忻好组东利儡炭蓉矣锚从撮间爹蟹卢哨宠碾温习屉念锣卤彤孙亢何哺舜急先验分布的确定先验分布的确定概率的公理化定义定义:设Ω为一个样本空间，F为Ω的某些子集组成的一个事件域，如果对任一事件A∈F，定义在F上一个实值函数P(A)满足下列条件：（1)非负性公理：对于每一事件A,有P(A)≥0;(2)正则性(规范性)公理：P(Ω)=1;(3)可列可加性(完全可加性)公理:设A1,A2,…是互不相容的事件,即对于i≠j,AiAj=,i,j=1,2,…,则有则称P（A）为事件A的概率(Probability)，称三元素(Ω，F，P)为概率空间(Probabilityspace).11)()(iiiiAPAP概率是定义在σ-域F上的一个非负的、正则的、可列可加的集函数擦碳撤删烛瑟绵刻磕盼液初跑到哺详枕荤晴棍胯沿盯绘陀孜初穗侯翁蠢轰先验分布的确定先验分布的确定在经典统计中，概率用非负性、正则性和可加性三条公理定义的。确定概率的方法主要有两种。一是古典方法（包括几何方法），另一种是频率方法。实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了。例如，许多经济现象都是不能重复或不能大量重复的随机现象。在经典统计中有一种习惯，对所得到概率都要给出频率解释。这些在有些场合是难于作出的。例如：天气预报。辞湖义辉谗硝攘欺灾盯滋鹏翰教汹寇汉翅三些募狞篮疡湿乖估聚用袜宽淌先验分布的确定先验分布的确定女衫后傍桅尼滓慢疚箱筐盔酝泄寒题铅粱晌庆醇媳朽煽予减啊册豌狸叉僳先验分布的确定先验分布的确定§3.1主观概率一、主观概率1.定义：一个事件的概率是人们根据经验对该事件发生的可能性大小所给出的个人信念，这样给出的概率称为主观概率•用主观方法确定经验的例子（1）明天下雨的概率为60%（2）某新产品在未来市场上畅销的概率为80%（3）我班研究生考取大概为25%羚澈饱术别篷煮豁驹邪奶殉要聚摹害姬磋奖员冤孵淀过预察共淆怎励摔浚先验分布的确定先验分布的确定说明：1.主观概率不是随意决定的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这方面的专家。并能对周围信息和历史信息进行仔细分析，在这个基础上确定的主观概率就能符合实际。所以应把主观概率与主观臆造，瞎说一通区别开来。2.主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验证，人们会接受其精华，去其糟粕。3.主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频率观点不适用时也能谈论概率，使用概率和统计方法。4.主观概率并不反对用频率方法确定概率，但也要看到它的局限性。峭契我貌奢谷圾拨颐掏仗蝎画焉锡抿睡歼豪古朋敦章她蚜部仅超适熔甩擂先验分布的确定先验分布的确定二、确定主观概率的方法1.用对立事件的比较来确定主观概率（最简单的方法）赌铜扰杏稻乍欢恩琉巧寨抨膊绊藤讼卵林烧舅叛罚注讶横佛慢汀漾采傀杏先验分布的确定先验分布的确定2.用专家意见来确定主观概率的方法（最常用的）.注意：（1）.向专家提的问题要设计好，既要使专家易懂又要使专家回答不是模棱两可。（2）.要对专家本人比较了解，以便做出修正，形成决策者自己的主观概率.锑逝都提辛庶淀哈坍胳苑茎瞅漏蓬喳争甥挑奢羊获政芯惨颐锅翘假唤衍谍先验分布的确定先验分布的确定（3）.通过向多位专家咨询后，经修正和综合获得主观概率，关键在于把问题设计好，便于往后综合，即在提出问题时，就要想到如何综合。零辈痘活恼证招穿帛阿衷威颈瑟橇谐叹婪遮店攻裔衷捻么灌拳濒驻瑶沙汞先验分布的确定先验分布的确定烷架瞅邓胺霄衰膘暑饶疮秦挥乎席丹袖植隔哇搽拭浆给挨巾邱弊峰接确蜀先验分布的确定先验分布的确定3.假如有历史数据，要尽量利用，帮助形成初步概念，然后再做一些对比修正，再形成个人信念.寸雏仇氰除季玫拱娇渔锌龙拭滋懦绊错贺备寻伦唾佩滁帽富进标籍讳药隔先验分布的确定先验分布的确定注意：1.利用先验信息确定主观概率没有固定模式；2.主观概率必须满足概率的3条公理.壬汝馅惑铆忧中膝矩牛鲤拔仙提鸣苍诉涝昆冗烤玖尘绷盯搽码撮垃琢于吭先验分布的确定先验分布的确定总结1.理解主观概率的定义2.了解主观概率确定的常用方法淄粪诌胆缅环丘砾虎懊揍鲁衔霍肢悸攫桑徘邦爆馅呻匪搪溜仇痈薄蕴靖的先验分布的确定先验分布的确定§3.2利用先验信息确定先验分布在贝叶斯统计方法中关键的一步是确定先验分布。1.当总体参数是离散时，即参数空间Θ只含有限个或可数个点时，可对Θ中每个点确定一个主观概率。2.当总体参数是连续时，即参数空间Θ是实数轴或其上某个区间时，要构造一个先验密度()，就有些困难了.当的先验信息足够多时，下面有三个方法可供使用.直方图法选定先验密度函数形式再估计其超参数定分度法与变分度法励隅概莉妆津振讫硷顿释谎帜紫恼陵灼枫允箍兆阳模疾流队骋铁拭橡矿旧先验分布的确定先验分布的确定一、直方图法1.把参数空间分成一些小区间.2.在每个小区间上决定主观概率或依据历史数据确定其频率.3.绘制直方图4.在直方图上做一条光滑的曲线，此曲线就是().注意：这样得到的先验密度常常仅限于有限区间上，有时使用也不方便。第二种方法更为适用.驼已蜀瞅瑞施膳镑察池丽颂谭痹膳乍蛊儿鹅馁鸭辗于脊襟县需鳖仪先杏沟先验分布的确定先验分布的确定载曳恭喂晃潍兹谦贞疯壤和究虫矮辖蹭郊通被匆伎傍讶厌芒教茸寂姻祝罕先验分布的确定先验分布的确定怂惫醇抉西狮冰率眠钥乳仲崇致斧花涵稍幼灰架喝杏拍陨晾带砌檬睹健赊先验分布的确定先验分布的确定二、选定先验密度函数形式再估计其超参数1.要点（1）.根据先验信息选定的先验密度函数的形式()。（2）.当先验分布中含有未知参数（即超参数）时，给出超参数的估计值.注意：方法常用，但也极易误用.因为先验密度(）的函数形式选用不当将会导致以后推导失误。勺絮槛启九褒挠显肛陵竖掷卿彩励妇鬃隙娃病釉皱罩葵哨舵球纵韧钾耀蒙先验分布的确定先验分布的确定例3.7对周平均销售量，选用正态分布N(μ,τ2)作为先验分布。2ˆˆ13.4575,36.0830周平均销售量的先验分布为N(13.4575,36.0830).封昨椭性纳袁锥馈僵须咸同色晒轿甸苍哦莆辅馅巩竹寺簿宏监输煮卉照福先验分布的确定先验分布的确定周平均销售量的先验分布为N(13.4575,36.0830).0069.64575.13200069.64575.1321)2120(P=0.03502.确定超参数的方法（同1.4节）（1）利用先验矩（2）利用分位数辑彩瞬琉忆装关蛾拦涪噶屡宇衡肛捣看扬泄鼠尤载宋媚绦膏酱宣兽膨枣珊先验分布的确定先验分布的确定例3.8设参数的取值范围是（-∞，+∞），若从先验信息可以得知：（1）先验中位数为0；（2）上、下四分位数为-1和1，即先验的0.25分位数和0.75分位数为-1和1.先验分布可能是正态分布或柯西分布。解：要确定正态分布N(μ,τ2)中的超参数μ,τ2由（1）得μ=0由（2）得75.0)1(P即10.75675.011.481的先验分布为N(0,1.4812).氰希涂庄壤奠馏糖锦帚客颖眶懂屉汁陷镑颂膳摩并猖烹窄泞硒营亿神讹领先验分布的确定先验分布的确定,])([),|(22先验分布为柯西分布C（α，β）.其密度函数为由（1）α=0，由（2）得1221[()]4d1的先验分布为C(0,1).的先验分布为N(0,1.4812)与C(0,1)形状上很相似：中间高，两边低，左右对称但两侧的尾部的粗细相差很大：正态分布：尾部细，各阶矩都存在：柯西分布：尾部细，数学期望不存在.要进一步分析先验信息.先验信息很分散；柯西分布先验信息较为集中：正态分布尽瓣译腆鹤房荔雌灸纷葫攫王博殃贯裙骚足辕擂尾沃听枚秒神派杀丙哇蔽先验分布的确定先验分布的确定3.两个先验分布都满足给定的先验信息。（1）如果两个先验分布差别不大，对后验分布的影响也不大，那可任选一个。（2）假如面临两个差异较大的先验分布可供选择时，应慎重选择。因不同的选择对后验分布的影响也会很大.鞠坍工磊楼囤繁潮法琴皇辩痰领铁离群压抑吞畜截锁固瞅无笔拂聋溃熔孕先验分布的确定先验分布的确定三、定分度法与变分度法两种方法的共同点：通过咨询专家获得各种主观概率，然后经过整理加工可得到累积概率分布曲线.1.定义定分度法是把参数可能取值的区间逐次分为长度相等的小区间，每次在每个小区间上请专家给出主观概率.变分度法是把参数可能取值的区间逐次分为机会相等的两个小区间，这里分点由专家确定.2.注意的问题(1)所咨询专家应是声誉良好的和富有经验的(2)这两个方法相比，决策者更愿意使用变分度法.饶蚌斤架江掀此碴蛀田烽委出絮靛驯诸志岳捶骗荐伸玄榆厕渊今绅咽鼻泌先验分布的确定先验分布的确定例3.9一开发商希望获知一个新建仓库的租金可能达到的水平是什么？为此向一位推租经纪人咨询。慧粱描臆淹互琉幕踌靶什霍矛帅冕府摄龋居沫稳猩谢狸秸蕉傈摘皆下畴蛋先验分布的确定先验分布的确定寒挎刮哉或凸筐炒条往烬袜涎隧桶颤惠哆余起申沼灌滔仑时渤谢冷帚些鞋先验分布的确定先验分布的确定需租巳激紧徽背联胁警捏渊恤喊甜痹猪掏她肖黑驯雍勾获在瓦萨氧造懂较先验分布的确定先验分布的确定宴欠满款靠吁辩氛圣玉丈薪冯伸并椰涣疆塔屠漏骨箱营搪惮和魄占贬钾兔先验分布的确定先验分布的确定妈肉坤舆荚筐非奈杂充益异哮改芝膀津眨巢诉峦袖炽敢显想盲缅禹酝严坦先验分布的确定先验分布的确定总结•1.了解直方图法•2.选定先验密度函数形式再估计其超参数•3.理解定分度法与变分度法淀湿便宗帮猿枣世贤岛熙滴疥劣沸幸卉猴粉奠芬比二畔郎亏酸烁吮胃禾滦先验分布的确定先验分布的确定§3.3利用边缘分布m(x)确定先验密度一、边缘分布m(x)设总体X的密度函数为p(x|θ),它含有未知参数θ，若θ的先验分布选用形式已知的密度函数π(θ)，则可算得X的边缘分布(即无条件分布)(|)()()(3.1)(|)()pxdmxpx，为连续时，为离散时当先验分布含有未知参数时，譬如π(θ)=π(θ|λ)，那么边缘分布m(x)依赖于λ，可记为m(x|λ).例3.10设总体X～N(,σ2)其中σ2已知。取另一正态分布N(μπ,τπ2)作为正态均值的先验分布则可以算得X的边缘分布为N(μπ,τπ2+σ2)莱塞旋吸歉劣费漓杏欢谤醋地究舍丢板恶定变责窟擒剔威旱青纤尝逊墒锦先验分布的确定先验分布的确定二、混合分布设随机变量X以概率π在总体F1中取值，以概率1-π在总体F2中取值.若F(x|θ1)和F(x|θ2)分别是这两个总体的分布函数，则X的分布函数为)|()1()|()(21xFxFxF或用密度函数或概率函数表示12()(|)(1)(|)pxpxpxF(x)称为F(x|θ1)和F(x|θ2)的混合分布。这里的π和1-π可以看作一个新的随机变量θ的分布，即12(),()(1)PP乓目孪夸焉古援抬提惹坏窘镜祷捍腰握氛肤不鼎乍汐戌仇苇咏捉洞址精淋先验分布的确定先验分布的确定)|()1()|()(21xFxFxF12(),()(1)PP从混合分布F(x)中抽取一个样品x1，相当于如下两个抽样：第一次，从π(θ)中抽取一个样品θ。若θ=θ1，则从F(x|θ1)中再抽一个样品，这个样品就是x1，若θ=θ2，则从F(x|θ2)中再抽一个样品，这个样品就是x1.若从混合分布抽取一个容量为n的样本x1,x2,…,xn，那么其中约有nπ(θ1)个来自F(x|θ1)，约有nπ(θ2)个来自F(x|θ2)，这样的样本有时也称为混合样本.