ch04决策支持系统(神经网络)

决策支持系统系统工程专业本科学员必修课第四章智能决策支持系统和智能技术的决策支持人工智能基本原理本章内容智能决策支持系统概述专家系统与智能决策支持系统神经网络的决策支持遗传算法的决策支持机器学习的决策支持4.4神经网络的决策支持4.4.1神经网络原理4.4.2感知机模型4.4.4神经网络专家系统及实例4.4.5神经网络的容错性4.4.3反向传播模型传统AI能解决的问题局限于人的逻辑思维所能解决的问题之内，完全是一种逻辑思维的模拟。而人脑除逻辑思维外，还有形象思维与逻辑表象等，因而单靠传统的AI不能很好地模拟智能。另外，对于无法形式化的问，难以用AI来求解。传统人工智能的局限性人工神经元网络具有自学习能力，将其与传统AI结合起来是模拟智能的很好的途径。ANN是一种模仿人脑行为及其活动过程的推理分析方法，它具有自学习能力，能从一系列的数据中综合出规律性的知识——较为有效地解决了专家系统知识获取困难。传统人工智能的局限性人类大脑大约包含有1.41011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。4.4.1神经网络原理神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。神经元组成:树突：神经纤维较短，是接收信息的。细胞核：对接收到的信息进行处理。轴突：较长的神经纤维，是发出信息的。突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。神经元具有如下性质：（1）多输入单输出；（2）突触具有加权的效果；（3）信息进行传递；（4）信息加工是非线性。人工神经元:人工神经元是组成人工神经网络的基本处理单元，简称为神经元。心理学家麦克洛奇(W．McCulloch)和数理逻辑学家皮兹(W.Pitts)于1943年首先提出了一个简化的神经元模型，称为M-P模型。1、神经元的数学模型图：其中：I1、I2、…In为输入；Oi为该神经元的输出；Wij为外面神经元与该神经元连接强度（即权），为阈值，f(X)为该神经元的作用函数。Oif（1nijjjWIi）树1nijjjWI突I1IjIn······Wi1WijWin细胞体轴突···Oi每个神经元的状态0i（i＝1,2,…n）只取0或1，分别代表抑制与兴奋。每个神经元的状态，由M-P方程决定：()1,2,,iijjijOfWIin其中：Wij是神经元之间的连接强度，Wij（i≠j）是可调实数，由学习过程来调整。i是阈值，f(x)是阶梯函数。MP（MccullochPitts）模型[0,1]阶梯函数fxxx()10000x+1○fxex()110.51fx0(0,1)S型函数：神经元作用函数[-1,1]阶梯函数(-1,1)S型函数：神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度(权值)的调整。ANN学习规则主要有四种，即联想式学习、误差传播学习、概率式学习和竞争式学习。2、神经网络的学习(1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家Hebb于1949年提出的学习行为的突触联系，称为Hebb学习规则。Hebb规则若i与j两种神经元之间同时处于兴奋状态，则它们间的连接应加强，即：△Wij＝SiSj(＞0)设α＝1，当Si＝Sj＝1时，△Wij＝1，在Si，Sj中有一个为0时，△Wij＝0；这一规则与“条件反射”学说一致，并得到神经细胞学说的证实。(2)误差传播学习：以1986年Rumelhart等人提出的δ规则(BP算法)为典型δ规则中，误差由输出层逐层反向传至输入层，由误差修改网络权值，直至得到网络权值适应学习样本。基本思想：3、神经网络的几何意义(1)神经元与超平面其中Wij为神经元j到神经元i的连接权值，i为神经元的阈值。神经元xj(j=1,2,…,n)相当于n维空间（x1,x2,…,xn）中一个结点的n维坐标（为了便于讨论，省略i下标记）。由n个神经元（j=1,2,…,n）对连接于神经元i的信息总输入Ii为：1niiijjjIwx它代表了n维空间中，以坐标xj为变量的一个超平面。其中Wj为坐标的系数，为常数项。令：当n=2时，“超平面”为平面（x1,x2）上的一条直线：Iwxwxwxjjj112212010njjjIwx当n=3时，“超平面”为空间（x1,x2,x3）上的一个平面：从几何角度看，一个神经元代表一个超平面。Iwxwxwxwxjjj112233130(2)超平面的作用n维空间（x1,x2,…,xn）上的超平面I=0，将空间划分为三部分。平面本身超平面上的任意结点满足于超平面方程，即：(0)0jjjwx超平面上部P超平面上部P的任意结点满足于不等式，即wxjpjj()0超平面上部P超平面上部P的任意结点满足于不等式，即超平面下部Q超平面下部Q的任意结点满足于不等式，即wxjpjj()0wxjqjj()0(3)作用函数的几何意义神经网络中使用的阶梯型作用函数f(x)把n维空间中超平面的作用和神经网络作用函数结合起来，即fIfwxwxwxjjjjjjjj()()1000它的含义为：超平面上部P的任意结点经过作用函数后转换成数值1；超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值0。通过以上分析可知，一个神经元将其它神经元对它的信息总输入I，作用以后（通过作用函数）的输出，相当于：该神经元所代表的超平面将n维空间（n个输入神经元构成的空间）中超平面上部结点P转换成1类，超平面及其下部结点转换成0类。结论：神经元起了一个分类作用。（4）线性样本与非线性样本定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性样本。若不能找到一个超平面将两者分开，则称该样本是非线性样本。（5）非线性样本变换成线性样本利用超平面分割空间原理，对一个非线性样本它是不能用一个超平面分割开。用多个超平面分割空间成若干区，使每个区中只含同类样本的结点。这种分割完成了一种变换，使原非线性样本变换成二进制值下的新线性样本。4.4.2感知机模型神经元i的输入为Ｉi＝∑ＷijＳjＳj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。神经元i的输出为：Ｏi＝ｆ(Ｉi)其中ｆ(ｘ)为神经元作用函数。(一般采用[0,1]阶梯函数)WijSji1…j…n1……设i神经元的期望输出为Ｄi，它与计算输出Ｏi之差为：δｉ＝Ｄi－Ｏi通过样本学习，应该让权重Ｗij使δi尽可能小。利用著名的德尔塔规则（deltarule）计算：△Ｗij＝αδiＳj（α为常数）δ规则:Ｗij(t+1)＝Ｗij(t)＋△Ｗij更新权重Ｗij。实例─两值逻辑加法输入X1X2输出ｄ（期望）００００１１１０１１１１该例子的感知机计算公式：┌Ｗ1┐(k)┌Ｗ1┐(k-1)┌ｘ1┐││＝││＋ｃ（ｄ－ｙ）││└Ｗ2┘└Ｗ2┘└ｘ2┘初值┌Ｗ1┐┌０┐ｃ＝１└Ｗ2┘└０┘其中ｄ为期望输出，ｙ为计算输出。yx1x2w1w2(0,1)(1,1)(1,0)(0,0)定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性可分样本。计算过程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０d=0┌Ｗ1┐(1)┌Ｗ1┐(0)┌０┐┌０┐┌０┐┌０┐││＝││＋（０－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└０┘└０┘└０┘Ｋ＝２，ｙ＝ｆ（０＋1）＝０d=1┌Ｗ1┐(2)┌Ｗ1┐(1)┌０┐┌０┐┌０┐┌０┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└０┘└１┘└１┘Ｋ＝３，ｙ＝ｆ（0＋０）＝０d=1┌Ｗ1┐(3)┌Ｗ1┐(2)┌１┐┌０┐┌１┐┌１┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└１┘└０┘└１┘Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１d=1┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌０┐┌１┐││＝││＋（１－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└０┘└１┘再循环一次，将会得到所有例子的（ｄ－ｙ）值均为零，即权值（Ｗ1＝１，Ｗ2＝１）满足所有实例要求。对ＸＯＲ异或问题：输入ｘ1ｘ2输出d００００１１１０１１１0样本是非线性样本，即找不到一个超平面，将两类样本分开。(0,1)(1,1)(1,0)(0,0)修改后的权值，又回到了初始状态，如果继续计算，将出现无限循环，永远不会收敛。该例充分说明感知机对非线性样本无效。感知机对ＸＯＲ问题的计算：同二值逻辑样本计算，Ｋ＝１，２，３的计算相同，Ｋ＝４时有：ｙ＝ｆ（１＋１）＝ｆ（２）＝１┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌－１┐┌０┐││＝││＋（０－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└－１┘└０┘4.4.3反向传播模型BP模型是1985年由Rumelhart等人提出的1.多层网络结构神经网络不仅有输入节点、输出节点，而且有一层或多层隐节点,如图：TliWijBP算法的学习过程：信息的正向传播，误差的反向传播。由正向传播和反向传播组成，在正向传播过程中，输入信息从输入层经过隐层，再传向输出层，每一层的神经元的状态值只影响下一层神经元的状态值；如果在输出层不能得到期望的输出值，则转入反向传播，将误差信号沿逆向通路修正各层神经元的权值，使得网络的总误差值收敛到极小。网络开始训练时选用较小的随机给定权值与内部阈值（θ），通过反复利用训练样本调整权值，直到误差函数下降到可以接受的允许值（如0.05）。BP神经网络对非线性数据分类是十分有效的。2.作用函数为(0,1)S型函数fxex()113.误差函数第p个样本误差计算公式可定义为：对于整个网络系统的总均方误差为：E＝1/p∑Ep，其中p为训练样本总数，tpiQpi分别为实际输出和计算输出。EtOppipii122()网络训练的目的是找到一组权值，使E极小化。LMS算法用梯度下降法，即权重的增量正比于误差的负导数：liliTETijijwEw'用误差去修正输出层和隐节点的权值，误差反向传播。误差反向传播示意图BP模型计算公式汇总1.输出结点输出Ol计算公式（1）输入结点的输入xj（2）隐结点的输出：yfWXiijjji()其中：Wij连接权值，结点阈值。i(3)输出结点输出：OfTylliiil()其中：Tij连接权值，结点阈值。l输出层（隐结点到输出结点间）的修正公式输出结点的期望输出：tl误差控制：所有样本误差：EekkP1其中一个样本误差：etOklklkln()()1其中，p为样本数，n为输出结点数。（3）误差公式：llllltOOO()()1（4）权值修正：TkTkylilili()()1其中k为迭代次数。（5）阈值修正：lllkk()()12、隐结点层（输入结点到隐结点间）的修正公式（1）误差公式：iiillliyyT'()1（2）权值修正：（3）阈值修正：WkWkxijijij()()''1iiikk()()''1··求l(2)i(1)Ol=f（－l）yi=f（－i）l(k+1)=l(k)+l(2)j·修正（Tli，l），（Wij，i）修正权l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋l(2)yii(1)=yi(1－yi)Wij(k+1)=Wij(k)＋i(1)xj输出节点lTli隐节点i修正权Wij输入节点xji(k+1)=i(k)+i(1)TyliilliT()2WxijjBP网络的学习过程⑴样本的正向传播过程(由输入计算到输出)⑵误差的逆向传播过程(由误差修改权值)⑶记忆训练过程：⑴、⑵的交替过程(反复修改权值)⑷学习的收敛过程：Em