第四章(2) 常见神经网络模型

1智能控制技术中国计量学院自动化教研室谢敏2智能控制技术第4章人工神经元网络模型4.1引言4.2常见神经网络模型34.2常见神经网络模型一、感知器感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：4.2常见神经网络模型4一、感知器4.2常见神经网络模型感知器的数学模型：其中：f[.]是阶跃函数或符号函数，并且有θ是阈值。)(1niiixwfy0001)(iiiixwuxwuuf0101)(iiiixwuxwuuf5感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。感知器的分类边界是：4.2常见神经网络模型一、感知器01niiixw类类BAy016在输入样本只有两个分量x1，x2时，则有分类边界条件：即w1x1+w2x2-θ=04.2常见神经网络模型一、感知器7感知器的学习算法：感知器的学习算法目的在于找寻恰当的权系数w＝(w1，w2，…，wn)，使系统对一个特定的样本x＝(x1，x2，…，xn)能产生期望输出y。当x分类为A类时，期望值y＝1；X为B类时，y=0。4.2常见神经网络模型一、感知器84.2常见神经网络模型一、感知器感知器的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：输入一样本x＝(x1，x2，…，xn)以及它的期望输出y*；3、计算实际输出：；4、计算误差：；5、修改权系数和阈值；6、转2，直到误差满足要求。)(1niiixwfyyye*iiixetwtw)()1(94.2常见神经网络模型一、感知器例：有一组训练向量，对单输出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，设初始权值为Wi（0）=[0.5，1，-1，0]T,η=0.3，期望输出为Y1=0，Y2=0，Y3=1，试训练感知器网络。104.2常见神经网络模型一、感知器从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。114.2常见神经网络模型一、感知器感知器实质是一个分类器，可以用于实现逻辑函数。其分类条件是样本是线性可分的。例：用感知器实现逻辑函数X1UX2的真值：X10011X20101X1UX20111124.2常见神经网络模型一、感知器以X1UX2＝1为A类，以X1UX2=0为B类，则有方程组：0110010100002121212121120=1，W2=2，则有：θ≤1取θ=0.5，则有：X1+X2-0.5=0134.2常见神经网络模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）逻辑与逻辑或逻辑异或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）14二、BP网络4.2常见神经网络模型1986年，Rumelhart提出了一种利用误差反向传播（BackPropagation）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：1、由输入层、隐含层、输出层组成；2、同层节点之间没有互连；3、每层节点的输出只影响下层节点；4、激励函数多为S型。15二、BP网络4.2常见神经网络模型BP网络的数学模型：设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为Uik，输出Xik；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为Wij，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：jkjijkikikiXWUUfX1)(16二、BP网络4.2常见神经网络模型BP网络的学习算法：反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。1．输入信号正向传播输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。2．误差信号反向传播在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。17二、BP网络4.2常见神经网络模型BP网络的学习算法：1、初始化：置权系数w为最小的随机数；2、训练：给出输入样本x=（x1，x2，…，xn）以及期望输出y=（y1，y2,…yn）；3、计算输出：按顺序计算隐含层、输出层各神经元输出；4、计算期望输出与实际输出的误差；5、修改输出层的权系数和阈值；6、修改隐含层的权系数和阈值；7、转3，直到误差满足要求。18二、BP网络4.2常见神经网络模型BP网络的学习算法：例：P.774-119二、BP网络4.2常见神经网络模型车牌数字识别神经网络对图形的旋转、平移敏感，车牌照数字的获取中不可避免的存在这一类问题，所以要首先对图形进行处理。分割后的数字图像：原始图像：20二、BP网络4.2常见神经网络模型车牌数字识别BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取0-9共十个数字作为待识别数字，每个数字取6个样本进行训练，共有60个训练样本，另取10个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于0.5，则认为系统无法识别。该网络采用BP算法，能正确识别车牌数字：7305121三、Hopfield网络4.2常见神经网络模型1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。22三、Hopfield网络4.2常见神经网络模型Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。离散Hopfield网络iiiiiiijiijjUYUYXYWU0123三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=[Y1(t),Y2(t),...,Yn(t)]T因为Yj(t)(j＝1……n)可以取值为1或0，故n维向量Y(t)有2n种状态，即是网络状态。24三、Hopfield网络4.2常见神经网络模型几个概念：1、DHNN的状态：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。2、稳定状态：神经网络从任一初态Y(0)开始运动，并存在某一有限时刻ts，从ts以后神经网络的状态不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。25三、Hopfield网络4.2常见神经网络模型状态转移：单个神经元：激活：0→1，1→0未激活：状态保持整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。26三、Hopfield网络4.2常见神经网络模型离散Hopfield网络对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生变化，也就是从立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。27三、Hopfield网络4.2常见神经网络模型状态转移举例：P.82例4-3问题：为什么各个状态的排列有层次呢？28三、Hopfield网络4.2常见神经网络模型能量函数：能量函数是一个Liapunov函数。定理4-1离散Hopfield神经网络的稳定状态与能量函数E在状态空间的局部极小状态是一一对应的。给定一个初始状态，则DHNN网络的状态总是沿着能量减小的方向变化，最终收敛到稳定状态。例：4-4计算网络中各状态的能量。29三、Hopfield网络4.2常见神经网络模型Hopfield网络的一个功能是可用于联想记忆，这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物，容易产生对过去情景的回味和思忆。DHNN网络的能量极小状态又称为能量井，为信息的存储记忆提供了基础。将要记忆的信息与能量井一一对应，则当输入某一模式时，神经网络就能通过状态转移实现联想记忆。30三、Hopfield网络4.2常见神经网络模型学习记忆阶段：对于Hopfield网络，用它作联想记忆时，首先通过一个学习训练过程确定网络中的权系数，使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。联想会议阶段：当网络的权系数确定之后，只要向网络给出输入向量，这个向量可能是局部数据，但是通过状态不断变化，最后状态会稳定下来，最终的状态是和给定向量最接近的样本向量。31三、Hopfield网络4.2常见神经网络模型举例：设计一个具有两个能量井[-1，1]和[1，-1]的Hopfield网络。32三、Hopfield网络4.2常见神经网络模型连续Hopfield网络的拓朴结构和离散Hopfield网络的结构相同。连续Hopfield网络和离散Hopfield网络不同的地方在于其激励函数不是阶跃函数，而是S形的连续函数。连续Hopfield网络33三、Hopfield网络4.2常见神经网络模型当Hopfield网络的神经元激励函数g是连续且有界的，例如Sigmoid函数，并且网络的权系数矩阵对称，则这个连续Hopfield网络是稳定的。在实际应用中，任何一个系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么，总可以用连续Hopfield网络对其进行求解。这样，大量的优化问题都可以用连续的Hopfield网来求解。