第2章_贝叶斯决策理论

模式识别–贝叶斯分类器第二章贝叶斯决策理论模式识别–贝叶斯分类器2.1最小错误率准则模式识别–贝叶斯分类器各种概率及其关系•先验概率：•后验概率：•类条件概率：•贝叶斯公式：iPiPxiPxiiiPPPPxxx模式识别–贝叶斯分类器两个类别，一维特征模式识别–贝叶斯分类器两类问题的错误率•观察到特征x时作出判别的错误率：1221,,PPerrorPxxx判定判定•两类问题最小错误率判别准则：121122,,PPPPxxxxxx如果如果模式识别–贝叶斯分类器多类问题最小错误率•判别x属于ωi的错误率：1jijiPerrorPPxxx•判别准则：1argmax,jjciPxix则：模式识别–贝叶斯分类器贝叶斯最小错误率准则jjjpPPpxxxjjjgpPxx1argmaxjjcigxixBayes判别准则：，则模式识别–贝叶斯分类器贝叶斯分类器的错误率估计11iciiRPerrorpdxx1px2px模式识别–贝叶斯分类器例2.1•对一大批人进行癌症普查，设ω1类代表患癌症，ω2类代表正常人。已知先验概率：120.005,0.995PP以一个化验结果作为特征x:{阳性，阴性}，患癌症的人和正常人化验结果为阳性的概率分别为：现有一人化验结果为阳性，问此人是否患癌症？120.95,0.01PxPx阳性阳性模式识别–贝叶斯分类器2.2最小平均风险准则贝叶斯分类器•问题的提出:有c个类别ω1,ω2,...,ωc,将ωi类的样本判别为ωj类的代价为λij。•将未知模式x判别为ωj类的平均风险：1cjijiiPxx模式识别–贝叶斯分类器最小平均风险判别准则•利用Bayes公式，构造判别函数：jjgxx1cjijiiiPPxx模式识别–贝叶斯分类器贝叶斯分类器行动（分类）1gX2gXcgX...1x2x3xdx...代价模式识别–贝叶斯分类器例2.2•对一大批人进行癌症普查，设ω1类代表患癌症，ω2类代表正常人。已知先验概率：120.005,0.995PP以一个化验结果作为特征x:{阳性，阴性}，患癌症的人和正常人化验结果为阳性的概率分别为：判别代价：λ11=0,λ22=0,λ12=100,λ21=25现有一人化验结果为阳性，问此人是否患癌症？120.95,0.01PxPx阳性阳性模式识别–贝叶斯分类器2.3贝叶斯分类器的其它版本•先验概率P(ωi)未知：极小化极大准则；•约束一定错误率（风险）：Neyman-Pearson准则；•某些特征缺失的决策：•连续出现的模式之间统计相关的决策：模式识别–贝叶斯分类器2.4正态分布的贝叶斯分类器•单变量正态分布密度函数（高斯分布）：211exp22xpx模式识别–贝叶斯分类器112211exp22tiiiidipxxμΣxμΣ多元正态分布函数模式识别–贝叶斯分类器正态分布的判别函数•贝叶斯判别函数可以写成对数形式：lnlniiigpPxx•类条件概率密度函数为正态分布时：111ln2lnln222tiiiiiidgPxxμΣxμΣ模式识别–贝叶斯分类器情况一：21,iiPcΣI2tiiiigxxμxμxμ•判别函数可以写成：•此分类器称为距离分类器，判别函数可以用待识模式x与类别均值μi之间的距离表示：,iigdxxμ模式识别–贝叶斯分类器情况二：iΣΣ11ln2tiiiigPxxμΣxμ1101ln2tttiiiiiiigPwxμΣxμΣμwx•判别函数可以写成：•可以简化为：称为线性分类器模式识别–贝叶斯分类器线性分类器•两类问题，1维特征，先验概率相同时：模式识别–贝叶斯分类器线性分类器•两类问题，高维特征，先验概率相同时：模式识别–贝叶斯分类器线性分类器•两类问题，1维特征，先验概率不同时：模式识别–贝叶斯分类器线性分类器•两类问题，高维特征，先验概率不同时：模式识别–贝叶斯分类器情况三：任意iΣ•判别函数可以写成：•判别函数为二次判别函数，分类界面为2次曲线（面）。111111lnln222tttiiiiiiiiigPxxΣxμΣxμΣμΣ模式识别–贝叶斯分类器二次分类曲线模式识别–贝叶斯分类器二次分类曲面