贝叶斯网络与朴素贝叶斯

贝叶斯网络与朴素贝叶斯张嶷2010-022020/11/141知识管理与数据分析实验室一、贝叶斯法则问题•如何判定一个人是好人还是坏人？2020/11/14知识管理与数据分析实验室2•总做一些好事?•……好人•总做一些坏事？•……坏人人的主观认识一、贝叶斯法则引言•当你无法准确的知悉一个事物的本质时，你可以依靠与事物特定本质相关的事件出现的次数来判断其本质属性的概率。–如果你看到一个人总是做一些好事，那这个人就越可能是一个好人。•数学语言表达就是：支持某项属性的事件发生得越多，则该属性成立的可能性就愈大–贝叶斯法则2020/11/14知识管理与数据分析实验室3一、贝叶斯法则起源•贝叶斯法则来源于英国数学家贝叶斯（ThomasBayes）在1763年发表的著作《论有关机遇问题的求解》。2020/11/14知识管理与数据分析实验室4贝叶斯法则最初是一种用于概率论基础理论的归纳推理方法，但随后被一些统计学学者发展为一种系统的统计推断方法，运用到统计决策、统计推断、统计估算等诸多领域。一、贝叶斯法则贝叶斯公式•贝叶斯公式–定义一假定某个过程有若干可能的前提条件，则表示人们事先对前提条件Xi出现的可能性大小的估计，即先验概率。–定义二假定某个过程得到了结果A，则表示在出现结果A的前提下，对前提条件Xi出现的可能性大小的估计，即后验概率。2020/11/14知识管理与数据分析实验室51,,nXXiPX|iPXA1|||iiinkkkPAXPXPXAPAXPX一、贝叶斯法则算例全垄断市场条件下，只有一家企业M提供产品和服务。企业K考虑是否进入该市场。同时，企业M为阻止K进入该市场采取了相应的投资行为，而K能否进入该市场完全取决于M为阻止其进入所花费的成本大小。假设K并不知道原垄断者M是属于高阻挠成本类型还是低阻挠成本类型，但能确定，如果M属于高阻挠成本类型，K进入市场时M进行阻挠的概率是20%；如果M属于低阻挠成本类型，K进入市场时M进行阻挠的概率是100%。现设K认为M属于高阻挠成本企业的概率为70%，而在K进入市场后，M确实进行了商业阻挠。试以企业K的角度，判断企业M为高阻挠成本类型的概率。2020/11/14知识管理与数据分析实验室6一、贝叶斯法则算例•利用贝叶斯公式建模：–前提条件：设M是高阻挠成本类型为X1,低阻挠成本类型为X2；–结果：M对K进行阻挠为A;–所求概率即为在已知结果A的情况下，推断条件为X1的后验概率;–已知为0.2，为1，P(X1)为0.7，P(X2)为0.3。2020/11/14知识管理与数据分析实验室71|PXA1|PAX2|PAX一、贝叶斯法则算例•即,根据实际市场的运作情况，企业K可判断企业M为高阻挠成本类型的概率为0.32，换句话说，企业M更可能属于低阻挠成本类型。2020/11/14知识管理与数据分析实验室81111122|0.20.7|0.32||0.20.710.3PAXPXPXAPAXPXPAXPX根据贝叶斯公式可计算：二、贝叶斯网络引言•贝叶斯网络又称为信度网络，是基于概率推理的图形化网络。它是贝叶斯法则的扩展，而贝叶斯公式则是这个概率网络的基础。•贝叶斯网络适用于表达和分析不确定性和概率性事件，应用于有条件地依赖多种控制因素的决策过程，可以从不完全、不精确或不确定的知识或信息中做出推理。2020/11/14知识管理与数据分析实验室9二、贝叶斯网络引言•贝叶斯网络由JudeaPearl于1988年提出，最初主要用于处理人工智能中的不确定信息。•随后，逐步成为处理不确定性信息技术的主流，并在文本分类、字母识别、经济预测、医疗诊断、工业控制等领域得到了广泛的应用。目前，贝叶斯网络是不确定知识表达和推理领域最有效的理论模型之一。2020/11/14知识管理与数据分析实验室10二、贝叶斯网络定义•符号B(D,G)表示一个贝叶斯网络，包括两个部分：–一个有向无环图（DirectedAcyclicGraph,DAG）。它由代表变量的节点及连接这些节点的有向边构成。其中，节点代表随机变量，可以是任何问题的抽象，如：测试值、观测现象、意见征询等；节点间的有向边代表了节点间的互相关系（由父节点指向其后代节点）。2020/11/14知识管理与数据分析实验室11ABC二、贝叶斯网络定义•一个节点与节点之间的条件概率表（ConditionalProbabilityTable,CPT）。如果节点没有任何父节点，则该节点概率为其先验概率。否则，该节点概率为其在父节点条件下的后验概率。2020/11/14知识管理与数据分析实验室12实际类型ABCDA0.80.10.050.05B0.20.650.10.05C0.250.10.600.05D0.050.10.150.7目标类型二、贝叶斯网络定义•数学定义：–贝叶斯网络B(D,P)，D表示一个有向无环图,是条件概率分布的集合，其中是D中节点Xi的父节点集合。在一个贝叶斯网络中，节点集合，则其联合概率分布P(X)是此贝叶斯网络中所有条件分布的乘积：2020/11/14知识管理与数据分析实验室1311|,...,|nnPPXPXi1,,nXXX1|niiiPXPX二、贝叶斯网络定义•这是一个最简单的包含3个节点的贝叶斯网络。其中，是节点A的概率分布(先验概率)，与为节点B，C的概率分布（后验概率）2020/11/14知识管理与数据分析实验室14ABC1P21|PX11|PX1P11|PX21|PX二、贝叶斯网络研究前景•贝叶斯网络的特性：–贝叶斯网络本身是一种不定性因果关联模型，它将多元知识图解可视化，贴切的蕴含了网络节点变量之间的因果关系及条件相关关系；–贝叶斯网络具有强大的不确定性问题的处理能力，它用条件概率表达各个信息要素之间的相关关系，能在有限的、不完整的、不确定的信息条件下进行知识学习和推理；–贝叶斯网络能有效的进行多源信息表达与融合，可将故障诊断与维修决策相关的各种信息纳入到网络结构中，并按节点的方式统一进行处理与信息融合。2020/11/14知识管理与数据分析实验室15二、贝叶斯网络研究前景•贝叶斯网络的缺陷–研究如何根据数据和专家知识高效、准确的建立贝叶斯网络，是十多年来研究的热点之一，也是贝叶斯网络更加广泛、有效地用于实际问题领域的关键和焦点之一。–目前对于这一类学习问题，主要有基于打分—搜索的学习方法和基于依赖分析的学习方法，但前者存在搜索空间巨大，可能收敛于局部最优解等问题，后者则存在节点之间的独立性或条件独立性判断困难，高阶条件独立性检验的结果不够可靠等问题。2020/11/14知识管理与数据分析实验室16二、贝叶斯网络研究前景•贝叶斯网络与马尔科夫链–马尔科夫链蒙特卡罗（MarkovChainMonteCarlo，MCMC）方法是源于统计物理学和生物学的一类重要的随机抽样方法，该方法广泛应用于机器学习、统计和决策分析等领域的高维问题的推理和求积运算。–MHS（Metropolis-HastingSampler）抽样算法作为MCMC方法中常用的抽样方法之一，通过构建一条马尔科夫链，模拟一个收敛于Boltzmann分布的系统。将MHS抽样算法引入贝叶斯网络，能够较好的解决进化学习方法中由于个体趋同而产生的早熟问题，保证算法的学习精度。2020/11/14知识管理与数据分析实验室17二、贝叶斯网络研究前景•贝叶斯网络与马尔科夫链•此外，针对其计算精度低、收敛速度较慢的不足，随机拟MCMC方法也具有一定的优越性。•不过，该算法存在的收敛速度慢和收敛性判断困难等问题仍未能得到有效解决。因此，如何更有效地将MCMC方法用于贝叶斯网络的结构学习与推理学习成为近年来重要的研究方向之一。2020/11/14知识管理与数据分析实验室18三、朴素贝叶斯引言•贝叶斯网络与朴素贝叶斯2020/11/14知识管理与数据分析实验室19贝叶斯法则数学基础贝叶斯网络模型朴素贝叶斯具体方法三、朴素贝叶斯贝叶斯分类器•贝叶斯分类器是用于分类的贝叶斯网络。该网络中通常包含类节点C，其取值来自类集合；还包含一组节点，表示用于进行分类的特征属性。对于贝叶斯网络分类器，若某一待分类的样本D，其分类特征值为，则样本D属于类别Ci的概率，应满足：2020/11/14知识管理与数据分析实验室2012,,,mCCC1,,nXXX1,,nxxx1||,...,|imPCcXxMaxPCcXxPCcXx三、朴素贝叶斯贝叶斯分类器•由贝叶斯公式可以得到：•其中，可由领域专家的经验获得，而和的计算较为困难。2020/11/14知识管理与数据分析实验室21||iiiPXxCcPCcPCcXxPXxiPCc|iPXxCcPXx三、朴素贝叶斯贝叶斯分类器•贝叶斯网络分类器进行分类的两个阶段2020/11/14知识管理与数据分析实验室22阶段一•贝叶斯网络分类器的学习•（结构学习和CPT学习）阶段二•贝叶斯网络分类器的推理•（计算类节点的条件概率，对数据进行分类）两个阶段的时间复杂度均取决于特征值间的依赖程度三、朴素贝叶斯贝叶斯分类器•根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，其中较典型、研究较深入的贝叶斯分类器主要有四种，分别是：–NB（NaïveBayes）–TAN（TreeAugmentedNaïve-Bayes）–BAN（BNAugmentedNaïve-Bayes）–GBN（GlobalBayesianNetworks）2020/11/14知识管理与数据分析实验室23三、朴素贝叶斯引入•朴素贝叶斯（NaïveBayes）算法是贝叶斯分类器中研究较多，使用较广的一种，在许多场合，朴素贝叶斯的分类算法可以与决策树和神经网络分类算法相媲美。•朴素贝叶斯分类器的基础：假设一个指定类别中各个属性的取值是相互独立的，即在给定目标值的情况下，观察到联合的的概率正好是对每个单独属性的概率乘积。2020/11/14知识管理与数据分析实验室241,...,nXxXx1,...,nniiPXxPXxXxPXx三、朴素贝叶斯方法2020/11/14知识管理与数据分析实验室25||iiiPXxCcPCcPCcXxPXx1|(|)niikikPCcXxaPCcPXxCc|iPCcXx考虑到是一个取大的过程，则对于结果不产生影响，故可以看作系数a。则，原公式可以简化。PXx1|(|)nikikPXxCcPXxCc贝叶斯分类器朴素贝叶斯简化三、朴素贝叶斯研究现状•朴素贝叶斯分类器由Duda和Hart于1937年提出，它是一个简单有效而且在实际使用中比较成功的分类器。现在，被广泛的运用在数据挖掘、模式识别、故障诊断等众多领域。•朴素贝叶斯算法有很多优点：–应用范围广泛；–可以很好的扩展到超大规模问题，并且不需要通过搜索来寻找最大后验概率的朴素贝叶斯假设；–可以轻松地应付有噪声的训练数据，并在适当的时候给出概率预测。2020/11/14知识管理与数据分析实验室26三、朴素贝叶斯研究现状•朴素贝叶斯分类器假设一个指定类别中各属性的取值是相互独立的。这一假设可以帮助有效减少在构造贝叶斯分类器时所需要进行的计算量。•不过，实际的应用领域中，各个属性相互独立的假设很难成立，这也从很大程度上影响了朴素贝叶斯分类器的分类能力。当前，半朴素贝叶斯分类器、相关属性删除、概率值条件、贝叶斯树以及懒惰贝叶斯规则方法，都是对朴素贝叶斯算法的改进与推广，并在不同的领域取得了显著的成果。2020/11/14知识管理与数据分析实验室27四、算例系统控制中的应用•在信息技术迅速发展及其在军事领域广泛应用的条件下，防空作战环境变得愈加复杂，也给现代防空作战中的空情探测带来