人工神经网络.01.绪论

武汉科技大学张凯副教授武汉科技大学计算机学院人工神经网络(ArtificalNeuralNetwork)2第一章神经网络概述1.人工智能与神经网络2.人工神经网络的基本概念3.人工神经网络研究的历史4.人工神经网络的应用领域人工智能人工智能（ArtificialIntelligence，简记为AI）最初在1956年被引入。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。智能的概念智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。智能是个体认识客观事物和运用知识解决问题的能力。人类个体的智能是一种综合能力。研究人工智能的目的模拟人的智能，将人类从复杂的脑力劳动中解脱出来4感觉器官神经系统认知效应器官外部世界决策神经系统思维器官典型的“智力生成过程”信息获取信息传递信息认知信息执行外部世界信息再生信息传递认识论信息知识智能策略狭义智能本体论信息认识论信息智能策略智能行为人类智力的信息本质人工智能71.感知与认识客观事物、客观世界和自我的能力2.通过学习取得经验与积累知识的能力3.理解知识，运用知识和经验分析、解决问题的能力4.联想、推理、判断、决策的能力5.运用语言进行抽象、概括的能力6.发现、发明、创造、创新的能力7.实时、迅速、合理地应付复杂环境的能力8.预测、洞察事物发展变化的能力人工神经网络的提出智能可以包含8个方面感知与认识客观事物、客观世界和自我的能力感知是智能的基础——最基本的能力通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力。理解知识，运用知识和经验分析、解决问题的能力这一能力可以算作是智能的高级形式。是人类对世界进行适当的改造，推动社会不断发展的基本能力。2020/5/149人工神经网络的提出联想、推理、判断、决策语言的能力这是智能的高级形式的又一方面。预测和认识“主动”和“被动”之分。联想、推理、判断、决策的能力是“主动”的基础。运用进行抽象、概括的能力上述这5种能力，被认为是人类智能最为基本的能力2020/5/1410人工神经网络的提出作为5种能力综合表现形式的3种能力发现、发明、创造、创新的能力实时、迅速、合理地应付复杂环境的能力预测、洞察事物发展、变化的能力人工神经网络从以下四个方面去模拟人的智能行为1.物理结构：人工神经元将模拟生物神经元的功能2.计算模拟：人脑的神经元有局部计算和存储的功能，通过连接构成一个系统。人工神经网络中也有大量有局部处理能力的神经元，也能够将信息进行大规模并行处理3.存储与操作：人脑和人工神经网络都是通过神经元的连接强度来实现记忆存储功能，同时为概括、类比、推广提供有力的支持4.训练：同人脑一样，人工神经网络将根据自己的结构特性，使用不同的训练、学习过程，自动从实践中获得相关知识人工智能生物神经元及其网络生物神经元及其网络生物神经元及其网络人工神经元及其网络人工神经元及其网络2020/5/1417人工神经网络的概念定义(1)Hecht—Nielsen（1988年）人工神经网络的概念人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。人工神经网络的概念处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。2020/5/1420人工神经网络的概念强调：①并行、分布处理结构；②一个处理单元的输出可以被任意分枝，且大小不变；③输出信号可以是任意的数学模型；④处理单元完全的局部操作人工神经网络的概念定义(2)Rumellhart，McClelland，Hinton人工神经网络的概念1）一组处理单元（PE或AN）；2）处理单元的激活状态（ai）；3）每个处理单元的输出函数（fi）；4）处理单元之间的联接模式；5）传递规则（∑wijoi）；6）把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；7）通过经验修改联接强度的学习规则；8）系统运行的环境（样本集合）。2020/5/1423人工神经网络的概念Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。什么是神经网络由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式是一种旨在模仿人脑结构及其功能的信息处理系统24神经网络的计算能力有以下优点：(1)大规模并行分布式结构(2)神经网络学习能力以及由此而来的泛化能力。泛化是指神经网络对不在训练（学习）集中的数据可以产生合理的输出25神经网络的优点非线性人工神经网络可以是线性的也可以是非线性的，一个由非线性神经元组成的神经网络自身是非线性的输入输出映射每个样本由一个惟一的输入信号和相应期望响应组成。从一个训练集中随机选取一个样本给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差。神经网络的性质和能力适应性神经网络具有调整自身突触权值以适应外界变化的能力。VLSI(超大规模集成)实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，适用于VLSI技术实现。神经生物类比神经网络是由对人脑的类比引发的，可以用神经生物学来作为解决复杂问题的新思路。神经网络的性质和能力神经网络的分类从结构分类前馈神经网络(FeedforwardNeuralNetwork)反馈神经网络(FeedbackNeuralNetwork)从学习方式分类有教师学习无教师学习28有教师学习事先有一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际响应输出与正确（期望的）输出相比较得到误差。根据误差的情况修正各连接权，使网络朝着正确响应的方向不断变化下去。直到实际响应的输出与期望的输出之差在允许范围之内，这种学习方法通称为误差修正算法。典型的有误差反向传播(BackPropagation,简写为BP)算法。29无教师学习自组织学习：使网络具有某种“记忆”能力，以至形成“条件反射”。当曾经学习过的或相似的刺激加入后，输出端便按权矩阵产生相应的输出。如自组织映射(SelfOrganizationMapping,简写为SOM)算法。无监督竞争学习：将处理单元划分为几个竞争块。在不同的块之间有刺激连接，而同一块的不同节点之间有抑制连接，从而当外界对不同块的一个单元施加刺激后，将激活不同块中互联最强的一组单元，得到对该刺激的一个整体回忆。神经网络发展的四个时期启蒙时期（1890～1969）低潮时期（1969～1982）复兴时期（1982～1986）高潮时期（1987～）31从19世纪末开始神经网络的发展历史，可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。人工神经网络的研究历史1890年，美国心理学家WilliamJames发表了第一部详细论述人脑结构及功能的专著《心理学原理》(PrinciplesofPsychology)，对相关学习、联想记忆的基本原理做了开创性研究。32启蒙时期33启蒙时期1943，心理学家麦克洛奇(McCulloch)和数理逻辑学家皮兹(Pitts)从信息处理的角度出发，提出了形似神经元的著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》，从此开创了神经科学理论的新时代。启蒙时期这种单个神经元模型功能较弱，但连接而成的网络可以实现逻辑运算，包括三种基本运算：逻辑乘法(又称“与”运算)、逻辑加法(又称“或”运算)和逻辑否定(又称“非”运算)。它开创了神经网络模型的理论研究，为各种神经元模型及网络模型的研究打下了基础。2020/5/143435启蒙时期1949年，心理学家赫布（Hebb）在《行为构成》（OrganizationofBehavior）一书中提出了连接权训练算法，即Hebb算法。启蒙时期Hebb提出神经元之间突触联系强度可变的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假说提出了改变神经元连接强度的Hebb规则。它对以后人工神经网络的结构及算法都有很大影响。Hebb的学习算法在不少人工神经网络中应用。2020/5/1436启蒙时期1957年，罗森布兰特(Rosenblatt)提出了感知器(Perception)的概念，试图模拟人脑的感知学习能力。启蒙时期Rosenblatt提出的感知器模型，第一次把神经网络的研究付诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这符合动物学习的自然环境。这是第一个真正的人工神经网络，他给出了两层感知器的收敛定理。后来的一大类神经网络模型都是感知器模型的变形。启蒙时期1962年，韦德罗（Widrow）和胡佛（Hoff）提出了自适应线性单元（Adaline），这是一个连续取值的线性网络。TedHoffBernardWidrow2020/5/1440启蒙时期MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器(Perceptron)。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。低潮时期1969年，人工神经网络的创始人之一明斯基（Minsky）和佩珀特（Papert）发表了《感知器》一书，对感知器的能力表示了怀疑态度，使神经网络的研究受到了影响，神经网络的研究从此走向低谷。低潮时期60年代末，美国著名人工智能学者Minsky和Papart对Rosenblatt的工作进行了深入的研究，写了很有影响的《感知器》一书，指出感知器的处理能力有限，单层感知器只能作线性划分，对于非线性或其他分类会遇到很大的困难。这时应采用含有隐单元的多层神经网络，但引入隐单元后找到一个有效的学习算法非常困难，Minsky断言这种感知器无科学研究价值可言，包括多层的也没有什么意义。2020/5/1442低潮时期汇编语言中xoreax,eax1xor1=0因为1和1相同0xor0=0因为0和0相同1xor0=1因为1和0不同0xor1=1因为1和0不同初始化清0。速度比赋值快。低潮时期一、交换两个整数的值而不必用第三个参数二、奇偶判断三、格雷码(Graycode)格雷码(Graycode)是由贝尔实验室的FrankGray在1940年提出，用于在PCM(PusleCodeModulation)方法传送讯号时防止出错。四、奇数分频电路低潮时期这个结论对当时的神经网络研究无疑是一个沉重的打击，客观上对神经网络的研究起了一定的消极作用。同时当时的微电子技术也无法为神经网络的研究提供有效的技术保障。故在其后的十几年内，从事神经网络研究的人数及经费支持大大下降，神经网络研究处于低潮。2020/5/1445低潮时期然而在此期间，仍有为数不多的学者致力于神经网络的研究，1969年Grossberg等提出了自适应共振理论模型。1972年Kohenen提出自组织映射的理论模型，并称神经网络为联想存贮器。所