贝叶斯决策理论

第二章贝叶斯决策理论2.1最小错误率准则各种概率及其关系先验概率：后验概率：类条件概率：贝叶斯公式：iPiPxiPxiiiPPPPxxx两个类别，一维特征两类问题的错误率观察到特征x时作出判别的错误率：1221,,PPerrorPxxx判定判定两类问题最小错误率判别准则：121122,,PPPPxxxxxx如果如果多类问题最小错误率判别x属于ωi的错误率：1jijiPerrorPPxxx判别准则为：1argmax,jjciPxix则：贝叶斯最小错误率准则jjjpPPpxxxjjjgpPxx1argmaxjjcigxixBayes判别准则：，则贝叶斯分类器的错误率估计11iciiRPerrorpdxx1px2px例2.1对一大批人进行癌症普查，设ω1类代表患癌症，ω2类代表正常人。已知先验概率：120.005,0.995PP以一个化验结果作为特征x:{阳性，阴性}，患癌症的人和正常人化验结果为阳性的概率分别为：现有一人化验结果为阳性，问此人是否患癌症？120.95,0.01PxPx阳性阳性2.2最小平均风险准则贝叶斯分类器问题的提出有c个类别ω1,ω2,...,ωc,将ωi类的样本判别为ωj类的代价为λij。将未知模式x判别为ωj类的平均风险为：1cjijiiPxx最小平均风险判别准则利用Bayes公式，构造判别函数：jjgxx1cjijiiiPPxx贝叶斯分类器1gX2gXcgX1x2x3xdx例2.2对一大批人进行癌症普查，设ω1类代表患癌症，ω2类代表正常人。已知先验概率：120.005,0.995PP以一个化验结果作为特征x:{阳性，阴性}，患癌症的人和正常人化验结果为阳性的概率分别为：判别代价：λ11=0,λ22=0,λ12=100,λ21=25现有一人化验结果为阳性，问此人是否患癌症？120.95,0.01PxPx阳性阳性2.3贝叶斯分类器的其它版本先验概率P(ωi)未知：极小化极大准则；约束一定错误率（风险）：Neyman-Pearson准则；某些特征缺失的决策：连续出现的模式之间统计相关的决策：2.4正态分布的贝叶斯分类器单变量正态分布密度函数（高斯分布）：211exp22xpx112211exp22tiiiidipxxμΣxμΣ多元正态分布函数正态分布的判别函数贝叶斯判别函数可以写成对数形式：lnlniiigpPxx111ln2lnln222tiiiiiidgPxxμΣxμΣ类条件概率密度函数为正态分布时：情况一：21,iiPcΣI2tiiiigxxμxμxμ判别函数可以写成：此分类器称为距离分类器，判别函数可以用待识模式x与类别均值μi之间的距离表示：,iigdxxμ情况二：iΣΣ11ln2tiiiigPxxμΣxμ1101ln2tttiiiiiiigPwxμΣxμΣμwx判别函数可以写成：可以简化为：称为线性分类器线性分类器两类问题，1维特征，先验概率相同时：线性分类器两类问题，高维特征，先验概率相同时：线性分类器两类问题，1维特征，先验概率不同时：线性分类器两类问题，高维特征，先验概率不同时：情况三：任意111111lnln222tttiiiiiiiigPxxΣxμΣxμΣμΣiΣ判别函数可以写成：分类界面为2次曲线（面）二次分类曲线二次分类曲面