第2章 贝叶斯分类器

模式识别谭超电气与自动化工程学院[e-mail]2第二章贝叶斯分类器模式识别的分类问题就是根据待识客体的特征向量值及其它约束条件将其分到某个类别中去。贝叶斯决策理论是处理模式分类问题的基本理论之一。采用贝叶斯分类器必须满足下列两个先决条件：①要决策分类的类别数是一定的；②各类别总体的概率分布是已知的。2．1最小错误率贝叶斯决策12PPxxx1212xPage3贝叶斯公式：iiipPPpxxx1122pPpPppxxxx12x将不等式两边的分母消去：1122pPpPxx12xPage4推广到c类情况，最小错误率贝叶斯决策规则为：（1）后验概率形式ijPPxx1,2,3,,jjic;ix（2）类条件概率密度形式iijjpPpPxxixPage5例2.1有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到如下统计数字：①这批人中，每1000人有5个癌症病人；②这批人中，每100个正常人有1人对试验的反应为阳性；③这批人中，每100个癌症病人有95人对试验的反应为阳性。正常人用类表示，癌症病人用类表示。以试验结果作为特征，特征值为阳（+）或阴（-）。根据统计数字，得到如下概率：10.995P20.005P10.01p10.99p20.95p20.05p-12Page6王某试验结果为阳性（+），诊断结果是什么？111122220.010.9950.009950.950.0050.00475pPpPpPpPxx1122pPpPxx1x王某属正常人。应用贝叶斯决策规则对模式进行分类的分类器称为贝叶斯分类器。Page7对于c类分类问题，通常定义c个判别函数12,idxic，，，12iidPicxx，，，12iiidpPicxx，，，①②决策规则可写为：12ijddjcjixx，，，；ix决策域Ri与Rj是相邻的，则分割这两个决策域的决策边界方程应满足：ijddxxPage8一般的说，模式x为一维时，决策为一分界点；x为二维时决策边界为一曲线；x为三维时，决策边界为一曲面；为维n时（n3）时，决策边界为一超曲面。图2.1贝叶斯分类器的结构Page92．2最小风险贝叶斯决策11111220.010.99567.7%0.010.9950.950.005pPPpPpP该人属正常人的概率为67.7%，换句话说，他属癌症病人的概率为32.2%。风险是什么？条件风险定义为：将模式判属某类所造成的损失的条件数学期望。Page10仍以细胞识别为例。假定：模式x本属正常类而判属正常类所造成的损失为L11；模式x本属癌变类而判属正常类所造成的损失为L21；模式x本属正常类而判属癌变类所造成的损失为L12；模式x本属癌变类而判属癌变类所造成的损失为L22。根据条件风险的定义，将模式x判属正常类w1的条件风险为将模式x判属w1类所造成的损失的条件数学期望：1111212rLPLPxxx同理，将模式x判属癌变类w2的条件风险为：2121222rLPLPxxxPage11根据条件风险的大小来决策111212121222LPLPLPLPxxxx12x利用贝叶斯公式，上面的决策规则改写为：1122112211211222pPpPpPpPLLLLppppxxxxxxxx1111212212112222LpPLpPLpPLpPxxxx12xPage12将两类情况推广到c类情况：①后验概率形式②类条件概率密度形式决策规则为：1cikikkrLPxx1cikikkkrxLpxPijrrxx1,2,3,.........;jcjiixPage13例2.2在例2.1条件的基础上，令L11=0，L21=3，L12=1，L22=0按最小风险贝叶斯决策为王某诊断。计算条件风险：1111121222121122220.013250.00995rLpPLpPrLpPLpPxxxxxx12rrxx2x采用最小风险贝叶斯决策，各种损失的确定很关键。一定要客观地分析错判所造成的严重程度，确定恰当的损失值。Page14两种贝叶斯决策规则之间的关系，以两类问题为例加以分析。最小错误率贝叶斯决策规则可写为：1221pPpPxx12x其中，在统计学中称为似然比，不等号右边的值称为似然比阈值。12plpxxx假定错误决策总是比正确决策所造成的损失要大，即L12L11，L22L21，最小风险贝叶斯决策规则为：121222212111pLLPpLLPxx12xPage152．3贝叶斯分类器的错误率在分类器设计出来后，通常总是以错误率评价其性能。在模式识别的理论和实践中错误率是非常重要的参数。所谓错误率是指平均错误率，以P(e)来表示，其定义为:,PePedPePdxxxxx对于两类问题，整个模式空间划分为两个决策域R1和R2。假设我们采用最小错误率贝叶斯决策。21PPePxxx1221PPPPxxxx当Page161221RRPePpdPpdxxxxxx122211RRpPdpPdxxxx122211RRPpdPpdxxxx2211PPePPe这样就有图2.2贝叶斯分类器的错误率Page171．一种特殊情况下的错误率的理论计算假设为两类情况，模式服从正态分布，而且两类的协方差矩阵相等，即111112211exp22TnpCCxxmxm122212211exp22TnpCCxxmxm1221pPpPxx12x根据Page18两边取负对数，进一步改写为：1122lnlnlnPppPxx12x令,称负对数似然比，则决策规则简化为：12lnlnhppxxxhx12lnPtPhtx12x1222tRPepdphdhxx1112tRPepdphdhxxPage19H(x)可写为12lnlnhppxxx11111ln2ln222Tn-C-Cxmxm12211ln2ln222TnCCxmxm11121112212TTTCCCmmxmmmmH(x)服从一维正态分布，即1ph11N，2ph22N，Page20111112111122112121E()/212TTTThCCCCxmmmmmmmmmmm22121111212E2ThCxmmmm122121212TEhCxmmmm221222212122TEhCxmmmm1121212TCmmmm1令：得，Page212111212211exp2212exp2ttthPephdhdhd2221212211exp2212exp2ttthPephdhdhdPage22图2.3概率密度函数2.错误率的估计如果先验概率P(wi)未知，错误率的估计值等于被错分的样本数目与样本总数之比，即^NPage231NNPCln()01PN^N如果先验概率P(wi)已知2121211iiiiiNNiiiPPPC，^iiiN^2^^'11221iiiiPPPN总的错误率估计为Page242．4聂曼——皮尔逊决策条件：采用拉格朗日乘子法求解条件极值问题，按拉格朗日乘子法建立数学模型：20Pe120PePe211RPepdxx1220RPepdxx=21121-RRpdpdxxxx10211Rppdxxx根据：得：Page25由：决策规则可写为21ppxx12ppxx1x同理：20121Rppdxxx12ppxx12ppxx2x综合起来得到：12ppxx12xPage260x确定值:12ppxx例2.3一个两类问题，模式分布为二维正态，其分布参数，，。11,0Tm21,0Tm12CCI200.046Pe假定，求聂曼——皮尔逊决策阈值。11111exp22Tpxxxmm221211exp122xx22211exp22Tpxxxmm221211exp122xxPage27112exp2pxpxx故得决策边界为:1exp2x11ln2x图2.4决策边界将模式空间分割为两个决策域Page28122RPepdxx221ln1221211exp22xxdxdx21ln12111exp22xdx不同的值时，可求得的值2Pe表2－1Page292．5均值向量和协方差矩阵的估计均值向量定义xEpdmxxxx^11NjjNmx111212122212nnnnnnccccccCccc,TlkllkkllkklklkcExmxmxmxmpxxdxdx协方差矩阵为Page30协方差矩阵写成向量形式为EE2ETTTTTTCxmxmxxxmmmxxmm协方差矩阵的估计量为^11()NjjTTjCNxxmm向量和协方差矩阵的估计量的迭代