2贝叶斯决策理论(3学时)

哈尔滨工业大学主讲人：李君宝第2章贝叶斯决策理论概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结概率论基础知识【概率论基础知识】(1)离散随机变量(2)数学期望(3)二阶矩与方差(4)成对离散随机变量(5)统计独立性(6)条件概率(7)全概率(8)贝叶斯公式【概率论基础知识】(1)离散随机变量(2)数学期望12,...,nxxx101iirimiiiPPxPxxPP1miiiuExxP1miiiEfxfxP11221122EafxafxaEfxaEfx【概率论基础知识】(3)二阶矩与方差(4)成对离散随机变量221miiiExxP2222221,miiiExuxuPExEx1212,...,,,...,nnXxxxYyyy设x,y是离散随机变量11,,0,1.ijijrijmnijijijPPxyPxxyyPP11,,njjmiiPxPxyPyPxy【概率论基础知识】(5)统计独立性,xyPxyPxPy（6）两个随机变量函数的数学期望11,,,mnijijijEfxyfxyPxy11221122,,,,EafxyafxyaEfxyaEfxy11mnxiijijuExxP11mnyjijijuEyyP2211mnxxixijijExuxuP2211mnyyjyijijEyuyuP11mnxyxyixjyijijExuyuxuyuP【概率论基础知识】(7)条件概率(8)全概率,pxyPxypy1,miipypxy,|,|pxyPyxPxpyxPxyPy,,pxypyx11||||,||miimiiiPyxPxPxyPypyxpxPxypypyxpxpxypyxpxpyxpx|PxyPyxPx(9)贝叶斯公式概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结贝叶斯决策基础知识【贝叶斯决策基础知识】贝叶斯决策理论•先验概率：•后验概率：•类条件概率：•贝叶斯公式：iPiPxiPxiiiPPPPxxx概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结基于最小错误率的贝叶斯决策【基于最小错误率的贝叶斯决策】最小错误率的贝叶斯准则：概念：在模式分类问题中，人们往往希望尽量减少分类错误，使错误率最小的分类规则，称为基于最小错误率的贝叶斯决策。1,2(|)max(|)ijjPxPx（1）ix1,2(|)()max(|)()iijjjpxPpxPix（2）1221(|)()()(|)()pxPlxpxP1x1221(|)()()(|)()pxPlxpxP2x（3）21()()PP()lx为似然比，为似然比阈值。其中，【基于最小错误率的贝叶斯决策】1122()()ln()ln(|)ln(|)ln()PhxlxpxpxP1122()()ln()ln(|)ln(|)ln()PhxlxpxpxP（4）1x2x【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】错误率证明【基于最小错误率的贝叶斯决策】【基于最小错误率的贝叶斯决策】多类问题概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结基于最小风险的贝叶斯决策【基于最小风险的贝叶斯决策】概念决策决策空间前面所讲的错误率达到最小。在某些实际应用中，最小错误率的贝叶斯准则并不适合。以癌细胞识别为例，诊断中如果把正常细胞判为癌症细胞，固然会给病人精神造成伤害，但伤害有限；相反地，若把癌症细胞误判为正常细胞，将会使早期的癌症患者失去治疗的最佳时机，造成验证的后果。【基于最小风险的贝叶斯决策】数学描述【基于最小风险的贝叶斯决策】期望风险：条件期望损失：目的：期望风险最小化1(|)(,)(,)(|),1,2,...,ciijijjjRxEPxia(()|)()RRxxpxdx【基于最小风险的贝叶斯决策】最小风险贝叶斯决策规则:1,2,...,(|)min(|)kiiaRxRxka【基于最小风险的贝叶斯决策】算法步骤:【基于最小风险的贝叶斯决策】例题2:【基于最小风险的贝叶斯决策】【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】定理：0-1风险1,2,...,11(|)min(|)ccjjicjjjkjiPxPx1,2,...,1(|)min1(|)kiicPxPx1,2,...,(|)max(|)kiicPxPx证明：概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结贝叶斯分类器设计【贝叶斯分类器设计】贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。（1）判别函数：用于表达决策规则的某些函数称为判别函数；（2）决策面：对于c类分类问题，按照决策规则可以把d维特征空间分成c个决策域，将划分决策域的边界面称为决策面。概念【贝叶斯分类器设计】两类问题1.判别函数12()()()gxgxgx12()0,()0,gxxgxx决策为决策为12()(|)(|)gxPxPx（a）1122()(|)()(|)()gxpxPpxP（b）1122(|)()()lnln(|)()pxPgxpxP（c）基于最小错误率的判别函数：iiiPPPPxxx【贝叶斯分类器设计】2.决策面方程()0gx1122(|)()(|)()0pxPpxP1122()(|)()(|)()gxpxPpxP例如【贝叶斯分类器设计】3.分类器设计+1w1-1w2g阈值单元x1x2xc决策图2.7两类分类器的构成【贝叶斯分类器设计】多类问题1.判别函数【贝叶斯分类器设计】2.决策面方程【贝叶斯分类器设计】3.分类器设计g1g2gc最大值选择器x1x2xca(x)决策对于例1和例2分别写出判别函数和决策面方程。例3对于例1和例2分别写出判别函数和决策面方程。例3概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计正态分布时的统计决策小结复习一下概率论基础知识贝叶斯决策基础知识基于最小错误率的贝叶斯决策基于最小风险的贝叶斯决策贝叶斯分类器设计【贝叶斯决策基础知识】贝叶斯决策理论•先验概率：•后验概率：•类条件概率：•贝叶斯公式：iPiPxiPxiiiPPPPxxx【两种贝叶斯决策】最小错误率的贝叶斯准则：1,2(|)max(|)ijjPxPx（1）ix1,2(|)()max(|)()iijjjpxPpxPix（2）1221(|)()()(|)()pxPlxpxP1x1221(|)()()(|)()pxPlxpxP2x（3）21()()PP()lx为似然比，为似然比阈值。其中，最小风险贝叶斯决策规则:1,2,...,(|)min(|)kiiaRxRxka【贝叶斯分类器设计】两类问题1.判别函数12()()()gxgxgx12()0,()0,gxxgxx决策为决策为12()(|)(|)gxPxPx（a）1122()(|)()(|)()gxpxPpxP（b）1122(|)()()lnln(|)()pxPgxpxP（c）基于最小错误率的判别函数：【贝叶斯分类器设计】2.决策面方程()0gx1122(|)()(|)()0pxPpxP1122()(|)()(|)()gxpxPpxP例如正态分布时的统计决策【正态分布时的统计决策】为什么要用正态分布函数？1.物理上的合理性对于许多实际的数据集，正态性假设是一种合理的近似。2.数学上比较简便正态分布概率模型有很好的性质，有利于做数学分析。【正态分布时的统计决策】1.单变量正态分布单变量正态分布概率密度定义为211()exp22xpx()Exxpxdx22()()xpxdx图单变量正态分布()0(-)pxx()1pxdx概率密度函数应满足下列关系式【正态分布时的统计决策】1.单变量正态分布图单变量正态分布2.多元正态分布（1）多元正态分布的概率密度函数定义为112211()exp22Tdpxxx1.参数对分布的决定性2.不相关性等价于独立性3.边缘分布和条件分布的正态性4.线性变换的正态性5.线性组合的正态性（2）多元正态分布的概率密度函数性质多元正态分布111()()()ln2lnln()222TiiiiiidgxxxP判别函数:()()ijgxgx决策面方程:11()11[()()()()]lnln022()iTTiiiijjjjjPxxxxP即()ln(|)ln()iiigxpxP多类判别函数:112211()exp22Tdpxxx正态分布函数:多元正态概率型下的最小错误率贝叶斯判别函数和决策面第一种情况：2,1,2,,iIic2200i221()()(),1,,dTiiijijjxxxxic式中22()()1()ln2lnln()222TdiiiixxdgxP可得2di121iI由于从几何上看，各类样本落入以i为中心的同样大小的超球体内。分析：111()()()ln2lnln()222TiiiiiidgxxxP判别函数:021()(2)ln()2TTTiiiiiiigxxPwx21iiw02ln()2TiiiiP其中()max()kiigxgx22()()1()ln2lnln()222TdiiiixxdgxP分析2()()()ln()2TiiiixxgxP()()0ijgxgx0()0Twxx其中021()(2)ln()2TTTiiiiiiigxxPwx21iiw02ln()2TiiiiP其中•两类问题，1维特征，先验概率不同时：图一维情况0()0Twxx其中决策面：两类问题，高维特征，先验概