搜索
1人工神经网络（ArtificialNeuralNetworks,ANN）裴振奎peizhk@sina.com计算机与通信工程学院计算机科学系教材及参考书（1）人工神经网络原理及仿真实例(第2版)，高隽编著，机械工业出版社（2）人工神经网络教程，韩力群编著，北京邮电大学出版社（3）人工神经网络与模拟进化计算(第2版),阎平凡、张长水编著清华大学出版社（4）神经网络模型及MATLAB仿真程序设计,周开利编著,清华大学出版社（5）神经网络(英文影印版),SatishKumar著,清华大学出版社教材及参考书人工智能这个词看起来似乎一目了然，人制造的智能，但是要给人工智能这个科学名词下一个准确的定义却很困难。智能是个体有目的的行为、合理的思维以及有效的适应环境的综合性能力。通俗地讲，智能是个体认识客观事物和运用知识解决问题的能力。特别指出智能是相对的、发展的，如果离开特定时间说智能是困难的、没有意义的。人工智能简介人工智能是相对于人的自然智能而言，即通过人工的方法和技术，研制智能机器或智能系统来模仿、延伸和扩展人的智能，实现智能行为和“机器思维”活动，解决需要人类专家才能处理的问题。本质上讲，人工智能是研究怎样让计算机模仿人脑从事推理、规划、设计、思考和学习等思维活动，解决需要人类的智能才能处理的复杂问题。简单地讲，人工智能就是由计算机来表示和执行人类的智能活动。远期目标是建立信息处理的智能理论，制造智能机器。智能机器是指能够在各类环境中自主地或交互的执行各种拟人任务，与人的智力相当或相近的机器。具体地讲，这就要求使计算机能够理解人类语言，并能够进行学习和推理。近期目标是解决制造智能机器或智能系统相关原理和技术问题，以实现部分智能。人工智能的研究目标1.2人工智能的发展简史第一阶段——孕育期（1956年以前）第二阶段——人工智能基础技术的研究和形成（1956年—1970年）第三阶段——发展和实用化阶段（1971年—1980年）第四阶段——知识工程与专家系统（1980年至今）第一阶段——孕育期公元前，古希腊哲学家亚里士多德（Aristotle）创立了古典形式逻辑。17世纪，英国哲学家和自然科学家培根（F.Bacon）系统地提出了古典归纳推理。17世纪，德国数学家莱布尼茨（G.W.Leibniz）提出了数理逻辑的基本思想。1642年，法国物理学家和数学家帕斯卡（B.Pascal）发明了世界上第一台会演算的机械加法机。1673年，Leibniz在这台加法机的基础上发展并制成了可进行四则运算的计算器。1832年，英国数学家巴比奇（C.Babbage）制成可用来计算简单数学表的差分机，并提出分析机（能自动完成各种类型数字计算）的设计思想。19世纪中叶，英国数学家布尔（G.Boole）出了布尔代数，初步实现了Leibniz的数理逻辑思想。1879年，德国逻辑学家费雷治（G.Frege）提出用机械推理的符号表示系统，发明了谓词逻辑。1930年，奥地利数学家歌德尔（K.Godel）证明了一阶谓词的完备性定理。1936年，英国数学家Turing提出了一种理想计算机的数学模型（即图灵机）；在1950年，他还提出了著名的“图灵测验”，给智能的标准提供了明确的定义。1943年，美国神经生理学家麦卡洛（W.McCulloch）和数理逻辑学家匹茨（W.Pitts）提出了第一个神经元的数学模型（M-P模型），开创了神经科学研究的新时代。1945年，美籍匈牙利数学家冯·诺依曼（J.V.Neumann）提出了以二进制和程序存储控制为核心的通用电子数字计算机体系结构原理，奠定了现代电子计算机体系结构的基础。1946年，美国数学家莫克利（J.W.Mauchly）和埃克特（J.P.Eckert）研制成功了世界上第一台通用电子数字计算机ENIAC（ElectronicNumericalIntegratorAndCalculator）。1949年，加拿大心理学家赫布（D.O.Hebb）提出了关于神经元连接强度的Hebb规则。Hebb学习规则为神经网络学习算法的研究奠定了基础。第二阶段——人工智能基础技术的研究和形成1956年夏，美国的达特茅斯（Dartmouth）大学的麦卡锡（J.McCarthy）、哈佛大学的明斯基（M.Minsky）、IBM公司的罗彻斯特（N.Lochester）和贝尔实验室的香农（E.Shannon）四人共同发起，邀请IBM公司的摩尔（T.More）和塞缪尔（A.Samuel）、麻省理工学院的塞弗里奇（O.Selfridge）和门罗索夫（R.Solomonff）、卡内基-梅隆大学的西蒙（H.Simon）和纽厄尔（A.Newell）等人参加学术讨论班，在一起共同学习和探讨用机器模拟智能的各种问题。Minsky构建的第一个神经元网络模拟器SNARC（StochasticNeural-AnalogReinforcementComputer）、McCarthy的α-β搜索法、以及Simon和Newell的逻辑理论家程序（LogicTheorist）成为这次研讨会的三个亮点。经McCarthy提议，决定使用“人工智能”一词来概括这个研究方向。这次具有历史意义的会议标志着人工智能这个学科的正式诞生，McCarthy也由此被称为“人工智能之父”。1956年，Newell和Simon等人编写的程序LogicTheorist证明了《数学原理》中第二章的三十八条定理，又于1963年证明了该章中的全部五十二条定理。他们的成果使人工智能研究走上以计算机程序来模拟人类思维的道路，第一次把求解方法和问题的领域知识分离开。在相同的研究途径下，Selfridge编制了字符识别程序、Samuel研制了跳棋程序。Samuel的跳棋程序具有学习功能，在1959和1962年分别打败了Samuel本人和美国一个州的跳棋冠军。1957年，Simon、Newell和肖（J.C.Shaw）合作开发了表处理语言IPL（InformationProcessingLanguage。1957年，罗森勃拉特（F.Rosenblatt）提出著名的感知机（Perceptron）模型，该模型是第一个完整的人工神经网络。1958年，美籍逻辑学家王浩在自动定理证明中取得的重要进展。他的程序在IBM-704计算机上用不到5分钟的时间证明了《数学原理》中“命题演算”的全部220条定理。1959年，王浩的改进程序用8.4分钟证明了上述220条定理及谓词演算的绝大部分定理。1959年，Minsky和McCarthy在麻省理工学院创建世界上第一个人工智能实验室。1959年，McCarthy开发出了著名表处理语言LISP（ListProcessor）。IBM公司的格伦特尔（H.Gelernter）研制出平面几何证明程序。1960年，Simon、Newell和Shaw又一次合作开发了通用问题求解系统GPS（GeneralProblemSolver）。1962年，美国工程师威德罗（B.Windrow）和霍夫（E.Hoff）提出了自适应线性单元Adaline（Adaptivelinearelement）。人工神经网络研究的第一次高潮。1965年，罗伯特（L.G.Roberts）编制了可以分辨积木构造的程序，开创了计算机视觉的新领域。同年，美国数理逻辑学家鲁宾逊（J.A.Robinson）提出了与传统演绎法完全不同的消解法（也称归结原理），掀起了研究计算机定理证明的又一高潮。1968年，美国斯坦福大学教授费根鲍姆（E.Feigenbaum）主持开发出世界上第一个化学分析专家系统DENDRAL，开创以知识为基础的专家咨询系统研究领域。1968年，奎廉（J.R.Quillian）提出了语义网络的知识表示方法，试图解决记忆的心理学模型，后来Simon等人将语义网络应用于自然语言理解方面取得了很大的成效。1969年，Minsky出版了《感知机》一书，该书对感知机进行了深入分析，并且从数学上证明了感知机功能的局限性，即只能解决一阶谓词逻辑问题，不能解决高阶谓词问题。同时，还发现有许多模式不能用单层人工神经网络训练，而多层人工神经网络是否可行还很值得怀疑。因此，人工神经网络的研究由此进入低潮时期，而专家系统的研究进入高潮。第三阶段——发展和实用化阶段以Feigenbaum为首的一批年轻科学家改变了人工智能研究的战略思想，开展了以知识为基础的专家咨询系统研究与应用。在20世纪70年代有不少专家系统被研制开发，如麻省理工学院研制的符号数学专家系统MACSYMA和自然语言理解系统SHRDLU，诊断和治疗青光眼病的专家系统CASNET，诊断内科疾病的专家系统INTERNIST，肾脏病专家咨询系统PIP，DEC公司开发的诊断系统VAX，卡内基-梅隆大学开发的计算机配置专家系统XCON（RI）和XSEL。1972年，肖特利夫（E.H.Shortliffe）等人开发了医学诊断专家系统MYCIN，1972年，吴兹（W.Woods）研制成功了自然语言理解系统LUNAR。1973年，法国马赛大学教授考尔麦劳厄（A.Colmerauer）的研究小组实现逻辑式程序设计语言PROLOG（ProgramminginLogic）。1974年，沃博斯（P.J.Werbos）在其博士论文中提出在感知机的基础上加入隐含层的学习算法，有效解决了多层网络中隐含节点的学习问题。1975年，Minsky创立了框架理论（FrameTheory）1975，美国密执根大学教授霍兰德（J.H.Holland）提出了遗传算法。1976年7月，美国的阿佩尔（K.Appel）等用三台大型计算机，用1200小时的时间，证明了四色定理。1977年，Feigenbaum在第五届国际智能联合会议上提出“知识工程”的概念，人工智能的研究从以基于推理为主的模型转向以基于知识为主的模型。1977年，休维特（C.Hewitt）在研究ConcurrentActorModel时就首次提出了具有自组织性、反应机制和同步执行能力的软件模型，这就是最初的软件Agent思想。1977年，我国的吴文俊院士给出了一类平面几何问题的机械化证明理论，在计算机上证明了一大批平面几何定理。1979年，由鲍勃罗夫（D.G.Boborow）采用基于框架的设计，实现了KRL语言（KnowledgeRepresentationLanguage）。第四阶段——知识工程与专家系统20世纪80年代，人工智能发展达到了阶段性的顶峰。1982年日本开始了“第五代计算机研制计划”。美国物理学家霍普菲尔德（J.J.Hopfield）提出了一个新的人工神经网络模型——Hopfield网络模型。1984年，希尔顿（G.Hinton）等人将模拟退火算法引入到人工神经网络中，提出了波尔兹曼（Boltzmann）机网络模型。1986年，鲁姆尔哈特（D.E.Rumelhart）和麦克莱伦（J.LMcclelland）重新提出了多层网络的误差反向传播算法BP（Back-Propagation）。1987年6月，第一届国际人工神经网络会议在美国召开，宣告了这一新学科的诞生。1987年，美国神经计算机专家尼尔森（R.H.Nielsen）提出了对向传播神经网络（CPN，CounterPropagationNetwork）进入90年代，计算机发展趋势为小型化、并行化、网络化、智能化。人工智能技术逐渐与数据库、多媒体等主流技术相结合，并融合在主流技术之中，旨在使计算机更聪明、更有效、与人更接近。1992年，日本政府在第五代计算机研制计划宣布失败，但随后启动RWC计划（RealWorldComputingProject）。1993年，美国斯坦福教授肖汉姆（Y.Shoham）提出面向Agent的程序设计（AOP，Agent-OrientedProgramming）。1995年，瓦普尼克（V.Vapnik）提出支持向量机（SVM，SupportVectorMachine）理论。19