第一讲-神经网络基本原理

第一讲神经网络基本原理姓名：肖婷学号：11209050Email：[e-mail]主要内容人工神经网络的提出人工神经网络的研究发展人工神经网络基本要素神经元介绍神经元作用函数神经元之间的连接形式网络的学习(训练)感知器神经网络人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。20世纪80年代以来，人工神经网络（ANN，ArtificialNeuralNetwork）研究取得了突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。人工神经网络的提出目前，关于神经网络的定义尚不统一，按美国神经网络学家HechtNielsen的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。作为一门活跃的边缘性交叉学科，神经网络的研究与应用正成为人工智能、认识科学、神经生理学、非线性动力学等相关专业的热点。近十几年来，针对神经网络的学术研究大量涌现，它们当中提出上百种的神经网络模型，其应用涉及模式识别﹑联想记忆、信号处理、自动控制﹑组合优化﹑故障诊断及计算机视觉等众多方面，取得了引人注目的进展。人工神经网络的提出(1)第一次热潮(40-60年代未)1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机。(2)低潮(70-80年代初)：人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题。开始了神经网络发展史上长达10年的低潮期。(3)第二次热潮：1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质.1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。神经网络研究的发展人工神经网络基本要素人工神经网络(简称神经网络)是由人工神经元(简称神经元)互连组成的网络，它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权弧连接起来的有向图。在此有向图中，人工神经元就是对生物神经元的模拟，而有向弧则是轴突—突触—树突对的模拟。有向弧的权值表示相互连接的两个人工神经元间相互作用的强弱。每个小圆圈表示一个神经元。各个神经元之间的连接并不只是一个单纯的传送信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数起着生物神经系统中神经元的突触强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。这个加权系数通常称为权值。在神经网络中，连接权值并非固定不变，而是按照一定的规则和学习算法进行自动修改。这也体现出神经网络的“进化”行为。人工神经网络基本要素神经元模型、数量及互连模式确定了神经网络的结构，而神经网络结构和学习算法又决定了其信息处理的能力。最初的神经网络只由输入层和输出层组成。这种结构的神经网络信息处理能力极为有限，不能进行复杂的计算。后来在这种结构的基础上引入了隐含层，大大地提高了神经网络的计算能力。研究表明由具有Sigmoid型作用函数的隐含层和具有线性作用函数的输出层构成的三层神经网络，经过训练后，可以以任意精度逼近绝大多数的函数。在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元作用函数、神经元之间的连接形式和网络的学习(训练)。人工神经网络基本要素人工神经网络基本要素—神经元1、生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神经元，简称神经元。神经元由细胞体及其发出的许多突起构成。细胞体内有细胞核，突起的作用是传递信息。作为引入输入信号的若干个突起称为“树突”或“晶枝”，而作为输出端的突起只有一个称为“轴突”。一个神经元的轴突末梢经过多次分支，最后每一小支的末端膨大呈杯状或球状，叫做突触小体。这些突触小体可以与多个神经元的细胞体或树突相接触，形成突触。每个神经元的突触数目有所不同，而且各神经元之间的连接强度和极性有所不同，并且都可调整，基于这一特性，人脑具有存储信息的功能。图1.1生物神经元的结构•大脑Brain图1.1生物神经元结构神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。人工神经网络基本要素—神经元2、人工神经元结构神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的六个基本特性。1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。人工神经网络基本要素—神经元10/65单输入神经元对照生物神经元网络结构，可以得到一个单输入神经元如图所示。其权值w对应于突触的连接强度，细胞体对应于累加器和作用函数，神经元输出y即轴突的信号。u图中:是指神经元的输入；是指连接权值；是神经元的阈值；是神经元的净输入；是作用函数；是神经元的输出。wx)(xfy)(xfuwxy神经元的输出y=f(w*u+θ)人工神经网络基本要素—神经元可见，神经元的实际输出还取决于所选择的作用函数f(x)。神经元的阈值可以看作为一个输入值是常数1对应的连接权值。根据实际情况，也可以在神经元模型中忽略它。关于作用函数的选择将在后面详细讨论。在上述模型中，w和θ是神经元可调节的标量参数。设计者可以依据一定的学习规则来调整它。多输入神经元生物学研究结果表明一个神经元不止一个输入，每个神经元约与104~105个神经元通过突触连接。可见，神经元具有多输入特性。一般结构如右图1.2所示：人工神经网络基本要素—神经元)*(wyiiuf图1.2多输入神经元3、人工神经网络模型1943年由美国心理学家WarrenMcCulloch和数理逻辑学家WalterPitts首先提出了一个简单的多输入人工神经元模型，被称为MP的人工神经元模型。神经网络拉开了研究的序幕。1958年Rosenblatt在原有MP模型的基础上增加了学习机制。他提出的感知器模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。人工神经网络基本要素—神经元MP神经元的结构模型i)(ixf1uiw1ixiy2ujunuiw2jiwniw与第i个神经元连接的其它神经元的输出；是非线性函数，又称为作用函数。njuuuu,,,,,21)(ixf图中：yi是第i个神经元的输出，它可与其它多个神经元连接；nijiii分别是指其它神经元与第i个神经元连接权值：是第i个神经元的阈值；i是第i个神经元的净输入；ix分别是指这是一个多输入／单输出的非线性信息处理单元。其主要特点是把神经元输入信号的加权和与其阈值相比较，以确定神经元的输出。如果加权和小于阈值，则神经元输出为零；如果加权和大于阈值，则神经元输出为1。人工神经网络基本要素—神经元第i个神经元的输出为：设)(1ijnjjiiuwfyijnjjiiuwx1,则)(iixfyf(x)是作用函数，也称激发函数。MP神经元模型中作用函数为单位阶跃函数，见图1.2所示。)(xf10x图1.2人工神经网络基本要素—神经元人工神经元在输入信号作用下产生输出信号的规律由神经元功能函数f给出(也称激活函数或转移函数或作用函数)，这是神经元模型的外特性。它包含了从输入信号到净输入、再到激活值、最终产生输出信号的过程。综合了净输入、f函数的作用。f函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。在神经元模型中，作用函数除了单位阶跃函数之外，还有其它形式。常见的神经元功能函数有：非对称型Sigmoid函数xexf11)(非对称型Sigmoid函数如图1.3(a)所示，可以用下式表示神经元功能函数——非对称型Sigmoid函数0,11)(xexfSigmoid函数也称为S型作用函数，是可微分的。有时为了需要，也可表达为如下的形式：，见图1.3(b)。式中，。2)(xf10x)(xf10x12图1.3(b)图1.3(a)神经元功能函数——非对称型Sigmoid函数对称型Sigmoid函数对称型Sigmoid函数如图1.4，可以用式表示见图1.4(a)xxeexf11)(0,11)(xxeexf式中，β=2。见图1.4(b)一般形式：图1.4(a)图1.4(b)神经元功能函数——对称型Sigmoid函数对称型阶跃函数图所示的作用函数，为对称型阶跃函数，也称之为符号函数。如右图1.5可以表示为：0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元。如右图1.5图1.5神经元功能函数——对称型阶跃函数线性函数线性作用函数的输出等于输入，即：xxfy)(饱和线性作用函数：110010)(xxxxxfy对称饱和线性作用函数：各函数图见图1.6神经元功能函数——线性函数线性作用函数如图所示)(xf10x)(xf0x)(xf10x1线性饱和线性对称饱和线性图1.6神经元功能函数——线性函数高斯函数图所示的作用函数是高斯函数，可以表示为：式中的σ反映出高斯函数的宽度。)(22)(xexf0)(xfx神经元功能函数——高斯函数神经网络强大的计算功能是通过神经元的互连而达到的。它一个复杂的互连系统，单元之间的互连模式将对网络的性质和功能产生重要影响。互连模式也称为拓扑结构，它种类繁多，这里介绍一些典型的神经网络拓扑结构。根据神经元的拓扑结构形式不同，神经网络可分成以下两大类：前向网络(前馈网络)人工神经网络的拓扑结构网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i层的神经元只接受第(i-1)层神经元给出的信号，各神经元之间没有反馈。前馈型网络可用一有向无环路图表示，如图1.7所示：图1.7可以看出，输入节点并无计算功能，只是为了表征输入矢量各元素值。各层节点表示具有计算功能的神经元，称为计算单元。每个计算单元可以有任意个输入，但只有一个输出，它可送到多个节点作输入。称输入节点层为第零层。计算单元的各节点层从下至上依次称为第1至第N层，由此构成N层前向网络。第一节点层与输出节点统称为“可见层”，而其他中间层则称为隐含层，这些神经元称为隐节点。BP网络就是典型的前向网络。互连型神经网络图1.8(b)反馈网络典型的反馈型神经网络如图1.8(a)，每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。Hopfield网络即属此种类型。在某些反馈网络中，各神经元除接受外加输入与其它各节点反馈输入之外，还包括自身反馈。有时，反馈型神经网络也可表示为一张完全的无向图，如图1.8(b)。图中，每一个连接都是双向的。这里，第i个神经元对于第j个神经元的反馈与第j至i