09_08_Probability

第一部分：概率基础„对应教材Chp1-5„可能需要复习本科概率论的相应内容„课堂上讲述会较快，将知识点串起来，建议大家通读教材„时间：“十一”长假之前„主要内容：„概率、随机变量及其分布、常用分布、多元随机向量„随机变量的变换及其分布„独立、条件独立、贝叶斯公式„期望、方差„概率不等式及收敛性第一章：概率„概率：定量描述不确定性的数学语言„例：P(牙痛是由虫牙引起)=0.8„20%–所有其他可能„实际数值可能来源于统计数据、模型、启发规则或猜测„更精确的概率定义：代数、可测量、测度（参考[CB]Chp1）σ概率、样本空间和事件考虑一个事先不知道输入的试验：„试验的样本空间是所有可能输出的集合„事件A是样本空间的子集„对每个事件A，我们定义一个数字P(A)，称为A的概率。概率根据下述公理定义：Ω概率公理„事件A的概率是一个非负实数„P(A)≥0„合法命题的概率为1„P()=1„两两不相交（互斥）事件A1,A2,…„从上述三个公理，可推导出概率的所有的其他性质。Ω11()()iiiiAA∞∞==∪=∑PP公理的推论„不可满足命题的概率为0„P(∅)=0„P(A∩Ac)=0„对任意两个事件A、B„P(A∪B)=P(A)+P(B)–P(A∩B)„对事件A的补事件Ac„P(Ac)=1–P(A)„对任意事件A„0≤P(A)≤1概率的解释„概率的“真正意义”仍是一个非常有争议的论题„没有一种解释被一致接受„概率两种主要的解释：„频率解释„概率=一个事件的相对频率（大量试验情况下）„对应频率推断（点估计、置信区间）„可信度解释„概率=观测者对可能性的判断„“贝叶斯概率”„对应贝叶斯推断概率的频率解释„在相似试验条件下，进行多次重复试验，得到某个特定输入的相对频率（如掷骰子或抛硬币）„满足概率公理„只有试验才能确定概率„但是„试验次数多少次才足够多?„相似条件?(条件完全相同?)„P(正面朝上)?„P(你本门课程得90分以上)?„P(明天会下雨)?概率的可信度解释„亦称“贝叶斯概率”„概率表示观测者对可能性的判断„定量表示某人的信念强度„是基于个人的信念和信息„“主观概率”而不是“真正的概率”„并没有对世界客观的表述„主观判断完全一致没有矛盾?„不同人之间没有统一的客观基准„满足概率公理(在保持一致性的情况下)独立事件„当P(AB)=P(A)P(B)时，称两个事件A与B独立，记为„可推广到有限个事件系列„可通过两种方式确定事件之间的独立性„显式假设：如抛硬币试验中，假设每次抛掷都是独立的„数值推导：满足P(AB)=P(A)P(B)„如在一个公正的掷骰子的试验中，„则不相交独立≠ABC{}{}2,4,6,1,2,3,4AB=={}2,4AB=I()()()()()261223ABAB===×PPP独立总结独立总结1.若P(AB)=P(A)P(B)，则A和B独立。2.独立某些时候是假设的，某些时候推导得到的。3.有正概率的不相交事件不一定独立。条件概率„当P(B)>0时，给定B时A的条件概率为„给定任意B，若P(B)>0，则也是一个概率，即满足概率的三个概率公理„„„当不相交时，()()()|ABABB=。PPP()|B⋅P()|0AB≥P()|1BΩ=P12,,...AA()()11||iiiiABAB∞∞===UUPP条件概率„下列等式不一定成立„„()()||ABBA=PP()()()|||ABCABAC=+UPPP条件概率„例1.13：对疾病D的医学测试结果输出为+和-，其概率分别为：„假设某个测试的结果为+，则得病的概率为多少？DcD()()()()()().009|.9.009.001DDDDDD+++====++−+IIIIPPPPPP()()()()()().891|.9.099.891ccccccDDDDDD−−−===≈+++−IIIIPPPPPP检验相当正确()()()()()().009|.08.009.099cDDDDD+++===≈+++++IIIIPPPPPP不要相信直觉！得病概率很小.892.891.001-+1.0.990.010.108.099.009()()()|ABABB=PPP条件概率„例1.13（续）：„假设某个测试的结果为-，则得病的概率为多少？.892.891.001-+1.0.990.010.108.099.009DcD()()()()()()()()--.001-|.1-|++|=1.009.001DDDDDDDD====⎡⎤⎣⎦++−+IIIIPPPPPPPP()()()()()()()()++.099+|.1-|++|=1.099.891ccccccccDDDDDDDD⎡⎤===≈⎣⎦+++−IIIIPPPPPPPP()()()()()()--.001|-.001-.001.891--cDDDDD===≈++IIIIPPPPPP得病概率几乎为0独立与条件概率„若A与B独立事件，则„知道B不会改变A的概率„当A与B不独立时„Vs.A与B独立时：()()()()()()()|ABABABABB===PPPPPPP()()()()()||ABABBBAA==PPPPP()()()ABAB=PPP例：条件独立„赌徒的谬误：戴伦伯特系统„参与者赌红色或黑色，每赌失败一次就加大赌数，每赌赢一次就减少赌数。„如果小小的象牙球让他赢了，那么就会有某种原因“记住”它，不太可能让他在下一次再赢；如果小球使他输了，它将感到抱歉，很可能帮助他在下一次赢。„事实上：每一次旋转，轮盘都与以前旋转的结果无关。摘自《数学悖论奇景》条件概率总结„1.如果P(B)>0，则„2.对给定的B，P(.|B)满足概率公理。通常，对给定的A，P(A|.)不满足概率公理。„3.通常，P(A|B)≠P(B|A)。„4.当且仅当P(A|B)=P(A)时，A与B独立。()()()|ABABB=。PPP贝叶斯公式„全概率公式：令A1,…,Ak为的一个划分，则对任意事件B，有。„贝叶斯公式：令A1,…,Ak为的一个划分且对每个i，i=1,2,…,k。若，则对每个有()(|)()|(|)()iiijjjBAAABBAA=∑PPPPPΩΩ()0iA>P()0B>P()(|)()jjjBBAA=∑PPP后验概率先验概率例：邮件分类„例1.19：email可分为三类：A1=“垃圾,”A2=“低优先级”和A3=“高优先级”。根据先前的经验，我们发现„则：0.7+0.2+0.1=1。„令B表示email中包含单词“free”。根据先前的经验，„则如果收到一封带有单词“free”的邮件，该邮件为垃圾邮件的概率是多少？„根据贝叶斯公式：()10.90.7|0.995(0.90.7)(0.01.02)(0.010.1)AB×==×+×+×。P123()=0.7()=0.2()=0.1AAA，，，PPP()123(|)=0.9(|)=0.01(|)=0.010.9+0.01+0.011BABABA注意：≠，，PPP作业1„Chp1：第10、19、21、23题„请于9月24日前上课前交作业„非编程题可以用纸版„编程题请用email发至：„标题请注明学号、姓名和作业的序号（第几次作业）„姓名_学号_作业序号.zip/rar„如确有困难者，请务必找助教说明，可适当延迟第一次编程题的时间„请按时交作业编程环境„Matlab„提供很多基本基础函数和工具，对理解算法的基本思想很有帮助，编程快捷„VC„实际系统中的算法一般采用C/C++实现„你喜欢的任何编程语言下节课内容„随机变量及其分布„期望、方差„常用分布„多元随机向量及其分布（部分）