贝叶斯分类分类算法

实验3：贝叶斯分类分类算法实验3：贝叶斯分类分类算法•实验目的：•1.掌握贝叶斯分类算法•2.熟悉C++编程•3.数据集见下图：背景知识朴素贝叶斯分类•朴素贝叶斯分类的工作过程如下：•(1)每个数据样本用一个n维特征向量X={x1，x2，……，xn}表示，分别描述对n个属性A1，A2，……，An样本的n个度量。•(2)假定有m个类C1，C2，…，Cm，给定一个未知的数据样本X（即没有类标号），分类器将预测X属于具有最高后验概率（条件X下）的类。也就是说，朴素贝叶斯分类将未知的样本分配给类Ci（1≤i≤m）当且仅当P(Ci|X)P(Cj|X)，对任意的j=1，2，…，m，j≠i。这样，最大化P(Ci|X)。其P(Ci|X)最大的类Ci称为最大后验假定。根据贝叶斯定理)()()|()|(XPCPCXPXCPiii6朴素贝叶斯分类(续)•(3)由于P(X)对于所有类为常数，只需要P(X|Ci)*P(Ci)最大即可。如果Ci类的先验概率未知，则通常假定这些类是等概率的，即P(C1)=P(C2)=…=P(Cm)，因此问题就转换为对P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时数据X的似然度，而使P(X|Ci)最大的假设Ci称为最大似然假设）。•否则，需要最大化P(X|Ci)*P(Ci)。注意，类的先验概率可以用P(Ci)=si/s计算，其中si是类Ci中的训练样本数，而s是训练样本总数。7朴素贝叶斯分类(续)•(4)给定具有许多属性的数据集，计算P(X|Ci)的开销可能非常大。为降低计算P(X|Ci)的开销，可以做类条件独立的朴素假定。•给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。这样)|()|(1inkkiCxPCXP联合概率分布2020年2月21日星期五DMKDSidesByMAO8朴素贝叶斯分类(续)•(5)对未知样本X分类，也就是对每个类Ci，计算P(X|Ci)*P(Ci)。•样本X被指派到类Ci，当且仅当P(Ci|X)P(Cj|X)，1≤j≤m，j≠i，换言之，X被指派到其P(X|Ci)*P(Ci)最大的类。9贝叶斯分类BayesianClassifiers•Approach:–computetheposteriorprobabilityP(C|A1,A2,…,An)forallvaluesofCusingtheBayestheorem–ChoosevalueofCthatmaximizesP(C|A1,A2,…,An)–EquivalenttochoosingvalueofCthatmaximizesP(A1,A2,…,An|C)P(C)•HowtoestimateP(A1,A2,…,An|C)?)()()|()|(212121nnnAAAPCPCAAAPAAACPNaïveBayesClassifier•AssumeindependenceamongattributesAiwhenclassisgiven:–P(A1,A2,…,An|C)=P(A1|Cj)P(A2|Cj)…P(An|Cj)0–CanestimateP(Ai|Cj)forallAiandCj.–NewpointisclassifiedtoCjifP(Cj)P(Ai|Cj)ismaximal.对比决策树分类•整棵决策树就对应着一组析取表达式规则。知识回顾贝叶斯知识12001212,,,,,1,,1,2,,;2,,,,.nijnnEBBBEBBijnBBBBBB　定义设为试验的样本空间为的一组事件若　　　　　　则称为样本空间的一个划分1.样本空间的划分1B2B3BnB1nB二、全概率公式2.全概率公式全概率公式1211221,,,,,,()0(1,2,,),()(|)()(|)()(|)()()(|)ninnniiEAEBBBPBinPAPABPBPABPBPABPBPBPAB定义设为试验的样本空间为的事件为的一个划分且则图示A1B2B3B1nBnB证明12.nABABAB化整为零各个击破12()nAAABBB1122()()(|)()(|)()(|)nnPAPBPABPBPABPBPAB说明全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的可加性求出最终结果.A1B2B3B1nBnB例1有一批同一型号的产品,已知其中由一厂生产的占30%,二厂生产的占50%,三厂生产的占20%,又知这三个厂的产品次品率分别为2%,1%,1%,问从这批产品中任取一件是次品的概率是多少?设事件A为“任取一件为次品”,.3,2,1,iiBi厂的产品任取一件为为事件123,BBB解.3,2,1,,jiBBji由全概率公式得,2.0)(,5.0)(,3.0)(321BPBPBP112233()()()()()()().PAPBPABPBPABPBPAB.013.02.001.05.001.03.002.0,01.0)(,01.0)(,02.0)(321BAPBAPBAP112233()()()()()()()PAPBPABPBPABPBPAB故30%20%50%2%1%1%AB1B2B3称此为贝叶斯公式.3.贝叶斯公式121,,,,,,()0,()0(1,2,,),(/)()(|),1,2,,.(|)()niiiinjjjEAEBBBPAPBinPABPBPBAinPABPB定义设为试验的样本空间为的事件为的一个划分且则Bayes公式的意义•Bayes公式，其意义是：假设导致事件A发生的“原因”有Bi(i=1,2,…,n)个。它们互不相容。•现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.即可从结果分析原因.证明(|)()()()iiiPABPBPBAPA.,,2,1ni1()(|)()(|)iinjjjPBPABPBPAB条件概率的概念()0,()(|)().PBPABPABPBBAFFF件概率若（，，P）是一个概率空间，B，且对任意的A，称为在事件发生的条件下，事条件发生的()0,()()()()().PAPABPBAPAPABPB设则有乘法定理：;,)1(.,05.080.015.003.001.002.0321:.概率求它是次品的元件在仓库中随机地取一只无区别的标志且仓库中是均匀混合的设这三家工厂的产品在提供元件的份额次品率元件制造厂的数据根据以往的记录有以下件制造厂提供的的元件是由三家元某电子设备制造厂所用例2贝叶斯公式的应用.,,,)2(别是多少三家工厂生产的概率分求此次品出由为分析此次品出自何厂次品若已知取到的是元件在仓库中随机地取一只解,取到的是一只次品表示设A.家工厂提供的所取到的产品是由第表示i)3,2,1(iBi,,,的一个划分是样本空间则321BBB,05.0)(,80.0)(,15.0)(321BPBPBP且.03.0)(,01.0)(,02.0)(321BAPBAPBAP(1)由全概率公式得)()()()()()()(332211BPBAPBPBAPBPBAPAP.0125.0(2)由贝叶斯公式得)()()()(111APBPBAPABP0125.015.002.0.24.0,64.0)()()()(222APBPBAPABP.12.0)()()()(333APBPBAPABP.2家工厂的可能性最大故这只次品来自第由以往的数据分析得到的概率,叫做先验概率.而在得到信息之后再重新加以修正的概率0.97叫做后验概率.先验概率与后验概率