搜索
1第1章绪论1.1从生物神经网络到人工神经网络在你阅读本书时,你就用到了一个复杂的生物神经网络,大约有1011个相互连接的神经元帮助你进行阅读、呼吸、思考、完成各种动作等,部分神经网络的结构和功能是与生具有的,比如支配呼吸、哭、吮吸等本能动作的功能;而大多数的功能需要通过后天的学习才能获得。虽然人们还并不完全清楚生物神经网络是如何进行工作的,但幻想构造一些“人工神经元”,进而将它们以某种方式连接起来,可以模拟“人脑”的某些功能。这就是本书所要讨论的“人工神经网络”。1.2人工神经网络的发展史人工神经网络(artificialneuralnetwork,ANN)的发展经历了大约半个世纪,从20世纪40年代初到80年代,神经网络的研究经历了低潮与高潮几起几落的发展过程。早在1943年,心理学家W.McCulloch和数学家W.Pitts合作,从数理逻辑的角度,提出了神经元和神经网络最早的数学模型(McCulloch-Pitts,MP模型),标志着神经网络研究的开始。1958年,F.Rosenblatt首次引进了模拟人脑感知和学习能力的感知器(perceptron)概念,引起了人们的极大兴趣。感知器由简单的阈值性神经元构成,初步具备了诸如学习、并行处理、分布存储等神经网络的一些基本特征,从而确立了从系统角度进行人工神经网络研究的基础。1960年,B.Widrow和M.Hoff提出了主要适用于自适应系统的自适应线性元件(ADAptiveLINearNEuron,ADALINE)网络,采用了比感知器更复杂的学习程序。Widrow-Hoff技术被称为最小均方误差(leastmeansquare,LMS)学习规则。从此神经网络的发展进人了第一个高潮期。1969年,美国麻省理工学院著名的人工智能专家M.Minsky和S.Papert出版了颇有影响的PercePtron一书,从数学上剖析了简单神经网络的功能和局限性,并且指出多层感知器还不能找到有效的计算方法,由于M.Minsky在学术界的地位和影响,其悲观的结论,被大多数人不做进一步分析而接受;加之当时以逻辑推理为研究基础的人工智能和数字计算机的辉煌成就,大大降低了人们对神经网络研究的热情,故使神经网络的研究在其后的若于年内处于低潮。1972年T.Kohonen和J.Anderson不约而同地提出具有联想记忆功能的新神经网络;1976年,S.Grossberg与G.A.Carpenter提出了自适应共振理论(adaptiveresonancetheory.ART),并在以后的若干年内发展了ART1,ART2,ART3这3种神经网络模型,从而为神经网络研究的发展奠定了理论基础。进人20世纪80年代,特别是80年代末期,对神经网络的研究从复兴很快转人了新的热潮。这主要是因为：一方面经过十几年迅速发展的以逻辑符号处理为主的人工智能理论和冯·诺依曼(vonNeumann)计算机在处理诸如视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折;另一方面,并行分布处理的神经网络本身的研究成果,使人们看到了新的希望。21982年美国加州工学院的物理学家J.Hoppfield提出了HNN(Hoppfieldneuralnetwork)模型,并首次引人了网络能量函数概念,使网络稳定性研究有了明确的判据,其电子电路实现为神经计算机的研究奠定了基础,同时开拓了神经网络用于联想记忆和优化计算的新途径。1983年K.Fukushima等提出了神经认知机网络理论;1985年D.H.Ackley、G.E.Hinton和T.J.Sejnowski将模拟退火概念移植到Boltzmann机模型的学习之中,以保证网络能收敛到全局最小值。1986年,D.Rumelhart和J.McCelland等提出的PDP(paralleldistributedprocessing)理论则致力于认知微观结构的探索,同时发展了多层网络的BP算法,使BP网络成为目前应用最广的网络。1987年,T.Kohonen提出了自组织映射(Selforganizingmap,SOM)。1987年,美国电气和电子工程师学会IEEE(instituteforelectricalandelectronicengineers)在圣地亚哥(SanDieg。)召开了盛大规模的神经网络国际学术会议,国际神经网络学会(internationalneuralnetworkssociety)也随之诞生。1988年,学会的正式杂志NeuralNetworks创刊;从1988年开始,国际神经网络学会和IEEE每年联合召开一次国际学术年会;1990年IEEE神经网络会刊问世,各种期刊的神经网络特刊层出不穷,神经网络的理论研究和实际应用进人了一个蓬勃发展的时期。1.3人工神经网络的应用人工神经网络的应用领域极其广泛,1988年《DARPA神经网络研究报告》列举了不同领域神经网络的应用实例。见表1.1。表1.1神经网络的应用实例应用领域应用实例航空航天业高性能飞机自动驾驶仪、飞行航线模拟、飞行器控制系统、自动驾驶仪增强器、飞机构件模拟、飞机构件故障检测等汽车业汽车自动驾驶系统、保单行为分析银行业支票和其他文档读取、信川卡申请书评估信用卡行为检查用于辨认与遗失的信用卡相关的不寻常的信用卜行为国防工业武器制导、目标跟踪与识别、脸部识别、新型传感器、声纳、雷达、图像处理与数据压缩、特征提取与噪声抑制、信号／图像识别电子业编码序列预测、集成电路芯片版图设计、过程控制芯片故障检测、机器人视觉、语音合成非线性建模娱乐业动画、特效、市场预测金融业房地产估价、贷款指锌、抵押审查、集团债务评估、信用曲线分析、有价证券交易程序、集团财政分析、货币价格预测等工业预测熔炉产生的气休和其他工业过程,以取代复杂而昂贵的仪器设备保险业政策应用评估,产出最优化3制造业制造业过程控制、产品设计与分析、过程与机器诊断、实时微粒识别、可视化质量检测系统、焊接质量分析、纸质预测、计算机芯片质量分析、化学产品设计分析、机器保养分析、工程投标、经营与管理、化学处理系统的动态建模等医药乳腺癌细胞分析,EFG和ECG分析,假休设计．移植时间最优化,降低医疗费用支出,提高医疗质量石油天然气勘探机器人技术行走路线控制、铲车机器人、操纵控制器、视觉系统等语音语音识别、语音压缩、元音分类、文本一语音合成等有价证券市场分析、自动债券评级、股票交易咨询系统等电信业图像与数据压缩、自动信息服务、实时语言翻译、用户付费处理系统等交通卡车刹车诊断系统、车辆调度、行程安排系统等神经网络比较善长的应用领域如下。(l)模式识别神经网络经过训练可有效地提取信号、语音、图像、雷达、声纳等感知模式的特征,并能解决现有启发式模式识别系统不能很好解决的不变量探测、自适应、抽象或概括等问题。这方面的主要应用有：图形、符号、手写体及语音识别,雷达及声纳等目标识别,药物构效关系等化学模式信息辨识,机器人视觉、听觉,各种最近相邻模式聚类及识别分类,遥感、沃学匡像分析,计算机视觉、计算机输入装置等。神经网络可应用于模式识别的各个环节：特征接取、聚类分析、边缘检测、信号增强、噪声抑制、数据压缩以及各种变换、分类判决等。(2)人工智能专家系统是人工智能领域研究时间最长,应用最成功的技术,但人们在应用专家系统解决诸如语音识别、图像处理和机器人控制等这类类似于人脑的形象思维的问题时,却遇到很大的困难。神经网络的问世为人工智能开辟了一条崭新的途径,成为人工智能研究领域中的后起之秀,它具有的自学习能力是传统专家系统望尘莫及的。神经网络技术能对不完整信息进行补全,根据已学会的知识和处理问题的经验对复杂问题作出合理的判断决策,给出较满意的解答,或对未来过程作出有效的预测和估计,从而使之在人工智能领域获得广泛的应用。这方面的主要应用有：自然语言处理、市场分析、预测估值、系统诊断、事故检查、密码破译、语言翻译、逻辑推理、知识表达、智能机器人、模糊评判等。(3)控制工程神经网络在诸如机器人运动控制、工业生产中的过程控制等复杂控制问题方面有独到之处。较之基于传统数字计算机的离散控制方式,神经网络更适宜于组成快速实时自适应控制系统。这方面的主要应用有：多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。(4)优化计算和联想记忆4由于并行、分布式的计算结构,神经网络在求解诸如组合优化(NP完备问题)、非线性优化等一系列问题上表现出高速的集体计算能力。在VLSI自动排版、高速通信开关控制、航班分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的计算等方面得到了成功应用。联想记忆的作用是用一个不完整或模糊的信息联想出存储在记忆中的某个完整、清晰的模式来。如何提高模式存储量和联想质量仍是神经网络的热点之一。目前在这方面的应用有内容寻址器、人脸识别器、知识数据库等。(5)信号处理神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具,主要用于解决信号处理中的自适应和非线性问题。包括自适应均衡、自适应滤波、回波抵消、自适应波束形成、自适应编码等自适应问题和各种非线性问题,如非线性区域的模式分类、系统辨识和高维非线性系统的检测、估计等问题,还可对病态问题进行求解。神经网络在弱信号检测、通信、自适应滤波等方面的应用尤其引人注目,并已在许多行业得到应用。1.4生物神经元人脑神经系统的基本单元是神经细胞,即生物神经元,人脑神经系统约由1011个神经元构成,每个神经元与约104其他神经元相连接。神经细胞与人体中其他细胞的关键区别在于,神经细胞具有产生、处理和传递信号的能力。一个神经元的构造主要包括细胞体、树突、轴突和突触。如图1-1所示。图1-1生物神经元示意图细胞体：由细胞核、细胞质、细胞膜等组成。树突：从细胞体延伸出像树枝一样向四处分散开来的许多突起,称之为树突,其作用是感受其他神经元的传递信号。轴突：一般每个神经元从细胞体伸出一根粗细均匀、表面光滑的突起,长度从儿微米到lm左右,称为轴突,它的功能是传出从细胞体来的神经信息。在高等动物的神经细胞中,除了特殊的无“轴突”神经元外都有轴突。5突触：轴突末端有许多细的分枝,称之为神经末梢,每一根神经末梢可以与其他神经元连接,其连接的末端称之为突触。神经元之间的连接是靠突触实现的,主要有：轴突与树突、轴突与细胞体、轴突与轴突、树突与树突等连接形式。神经细胞单元的信息是宽度和幅度都相同的脉冲串,若某个神经细胞兴奋,其轴突输出的脉冲串的频率就高;若某个神经细胞抑制,其轴突输出的脉冲串的频率就低,甚至无脉冲发出。根据突触对下一个神经细胞的功能活动的影响,突触又可分为兴奋性的和抑制性的两种。兴奋性的突触可能引起下一个神经细胞兴奋,抑制性的突触使下一个神经细胞抑制。神经细胞的细胞膜将细胞体内外分开,从而使细胞体内外有不同的电位,一般内部电位比外部低,其内外电位差称之为膜电位。突触使神经细胞的膜电位发生变化,且电位的变化是可以累加的,该神经细胞膜电位是它所有突触产生的电位总和．当该神经细胞的膜电位升高到超过一个阈值时,会产生一个脉冲,从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。突触传递信息需要一定的延迟,对温血动物,延迟时间为。0.3ms－1.0ms。一般每个神经细胞的轴突大约连接100-1000个其他神经细胞,神经细胞的信息就这样从一个神经细胞传到另一个神经细胞．且这种传播是正向的,不允许逆向传播。1.5人工神经元模型按照生物神经元的结构和工作原理,构造一个人工神经元如图1-2所示。图1-2人工神经元模型人工神经元是人工神经网络的基本单元,从图中可以看出,它相当于一个多输入单输出的非线性阈值器件。定义:12=[,,]TRpppp表示其它神经元的轴突输出,亦即该神经元的输入向量;12=[,,]R个突触的连接强度,亦即权值向量,其每个元素的值可正可负,分别表示为兴奋性突触和抑制性突触;为神经元的阈值,如果神经元输入向量的加权和1Riiiwp大于,则该神经元被