神经网络七十年：回顾与展望

第39卷计算机学报Vol.392016CHINESEJOURNALOFCOMPUTERS2016———————————————收稿日期：2015-07-01；最终修改稿收到日期：2016-01-15.本课题得到国家重点基础研究发展计划(2013CB329402);国家自然科学基金重大研究计划(91438201和91438103);以及教育部“长江学者和创新团队发展计划”(IRT_15R53)资助.焦李成，男，1959年生，博士，教授，CCF高级会员(会员号)，主要研究领域为智能感知，图像理解等，E-mail:[e-mail].杨淑媛，女，1978年生，博士，教授，主要研究领域为智能信号与图像处理，机器学习等，E-mail:[e-mail].刘芳，女，1963年生，硕士，教授，主要研究领域为智能信息处理，模式识别等，E-mail:[e-mail].神经网络七十年：回顾与展望焦李成1)杨淑媛1)刘芳2)王士刚1)冯志玺1)1)(西安电子科技大学智能感知与图像理解教育部重点实验室、国际智能感知与计算联合研究中心、国际智能感知与计算联合实验室,西安710071)2)(西安电子科技大学计算机学院,西安710071)摘要作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。在七十年的发展历程中，神经网络曾历经质疑、批判与冷落，同时也几度繁荣并取得了许多瞩目的成就。从上世纪四十年代的M-P神经元和Hebb学习规则，到五十年代的Hodykin-Huxley方程、感知器模型与自适应滤波器，再到六十年代的自组织映射网络、神经认知机、自适应共振网络，许多神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法，为该领域带来了里程碑式的影响。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文回顾了神经网络的发展历程，综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。关键词类脑智能；神经网络；深度学习；大数据；并行计算中图法分类号TP18SeventyYearsbeyondNeuralNetworks：RetrospectandProspectJIAOLi-Cheng1)YANGShu-Yuan1)LIUFang2)WANGShi-Gang1)FENGZhi-Xi1)1)(KeyLaboratoryofIntelligentPerceptionandImageUnderstandingofMinistryofEducation,InternationalResearchCenterforIntelligentPerceptionandComputation,InternationalCollaborationJointLabinIntelligentPerceptionandComputation,XidianUniversity,Xi’an,710071)2)(SchoolofComputerScience,XidianUniversity,Xi’an,710071)AbstractAsatypicalrealizationofconnectionismintelligence,neuralnetwork,whichtriestomimictheinformationprocessingpatternsinthehumanbrainbyadoptingbroadlyinterconnectedstructuresandeffectivelearningmechanisms,isanimportantbranchofartificialintelligenceandalsoausefultoolintheresearchonbrain-likeintelligenceatpresent.Duringthecourseofseventyyears'development,itoncereceiveddoubts,criticismsandignorance,butalsoenjoyedprosperityandgainedalotofoutstandingachievements.FromtheM-PneuronandHebblearningruledevelopedin1940s,totheHodykin-Huxleyequation,perceptronmodelandadaptivefilterdevelopedin1950s,totheself-organizingmappingneuralnetwork,Neocognitron,adaptiveresonancenetworkin1960s,manyneuralcomputationmodelshavebecometheclassicalmethodsinthefieldofsignalprocessing,computervision,naturallanguageprocessingandoptimizationcalculation.Currently,asawaytoimitatethecomplexhierarchicalcognitioncharacteristicofhumanbrain,deeplearningbringsanimportanttrendforbrain-likeintelligence.Withtheincreasingnumberoflayers,deepneuralnetworkentitlesmachinesthe2计算机学报20??年capabilitytocapture―abstractconcepts‖andithasachievedgreatsuccessinvariousfields,leadinganewandadvancedtrendinneuralnetworkresearch.Thispaperrecallsthedevelopmentofneuralnetwork,summarizesthelatestprogressandexistingproblemsconsideringneuralnetworkandpointsoutitspossiblefuturedirections.Keywordsartificialintelligence;neuralnetwork;deeplearning;bigdata;parallelcomputing1引言实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。当前，类脑智能近年来已成为世界各国研究和角逐的热点。继美国及欧盟各国之后，我国经过两三年筹备的―中国脑科学计划‖在2015年浮出水面，科技部正在规划“脑科学与类脑研究”的重大专项，北大、清华、复旦等高校和中科院等研究机构也发力推动神经与类脑计算的相关研究，大规模“类脑智能”的研究正蓄势待发。类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的实现离不开大脑神经系统的研究。众所周知，人脑是由几十多亿个高度互联的神经元组成的复杂生物网络，也是人类分析、联想、记忆和逻辑推理等能力的来源。神经元之间通过突触连接以相互传递信息，连接的方式和强度随着学习发生改变，从而将学习到的知识进行存储。模拟人脑中信息存储和处理的基本单元-神经元而组成的人工神经网络模型具有自学习与自组织等智能行为，能够使机器具有一定程度上的智能水平。神经网络的计算结构和学习规则遵照生物神经网络设计，在数字计算机中，神经细胞接收周围细胞的刺激并产生相应输出信号的过程可以用“线性加权和”及“函数映射”的方式来模拟，而网络结构和权值调整的过程用优化学习算法实现。按照该方式建立的这种仿生智能计算模型虽然不能和生物神经网络完全等价和媲美，但已经在某些方面取得了优越的性能。从上世纪四十年代的M-P神经元和Hebb学习规则，到五十年代的Hodykin-Huxley方程、感知器模型与自适应滤波器，再到六十年代的自组织映射网络、神经认知机、自适应共振网络，许多神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法，为该领域带来了里程碑式的影响。目前神经网络已经发展了上百种模型，在诸如手写体识别[1,2]、图像标注[3]、语义理解[4,5,6]和语音识别[7,8,9]等技术领域取得了非常成功的应用。从数据容量和处理速度来看，目前大多数神经网络是生物网络的简化形式，在应对海量数据和处理复杂任务时显得力不从心。例如，人脑被证明可以在没有导师监督的情况下主动地完成学习任务，仅凭借传统的浅层神经网络是无法实现这一点的。最近发展起来的深层神经网络就是一种类脑智能软件系统，它使得人工智能的研究进入了一个新阶段。深层神经网络通过增加网络的层数来模拟人脑复杂的层次化认知规律，以使机器获得“抽象概念”的能力，在无监督特征学习方面具有更强的能力。然而，受到计算平台和学习算法的限制，对深层神经网络的研究曾一度消弭。2006年，Hinton在《Science》上提出了一种面向复杂的通用学习任务的深层神经网络，指出具有大量隐层的网络具有优异的特征学习能力，而网络的训练可以采用“逐层初始化”与“反向微调”技术解决。人类借助神经网络找到了处理“抽象概念”的方法，神经网络的研究又进入了一个崭新的时代[10,11,12]，深度学习的概念开始被提出。深度学习兴起的背景是计算能力的提高与大数据时代的来临，其核心理念是通过增加网络的层数来让机器自动地从数据中进行学习。深层神经网络能够获得巨大成功与其对应在训练算法上所取得的突破性进展是密不可分的。传统的反向传播算法（BackPropagation）随着传递层数的增加，残差会越来越小，出现所谓的“梯度扩散”（GradientDiffusion）现象，故而不适于深层网络的训练。深3度学习模型中的受限玻尔兹曼机（RestrictedBoltzmannMachines）和自编码器（Auto-Encoder）采用了“自下而上的无监督学习”和“自顶向下的监督学习”策略来实现对网络的“预训练”和“微调”，可使学习算法收敛到较为理想的解上，而当前使用更为广泛的卷积神经网络（ConvolutionalNeuralNetworks）则采用局部感受野、权值共享和时空亚采样的思想，显著地减少了网络中自由参数的个数，并且使得采用反向传播来进行网络的并行学习成为可能。除了以上优势外，深度学习最具吸引力的地方还在于能凭借无标签的数据来进行学习，而不需要依赖于监督信息的支撑[13]。现实世界的很多问题中，对数据的标记通常是耗时耗力甚至是不可行的，无监督学习可以自动抽取出抽象的高层属性和特征，是解决样本标记难问题的一个重大突破。深度学习的成功引起了包括产业界和学术界在内的诸多人士的关注，其影响力甚至上升到了国家战略层面。2012年6月，《纽约时报》披露了GoogleBrain项目，该项目拟计划在包含16000个中央处理单元的分布式并行计算平台上构建一种被称之为“深度神经网络”的类脑学习模型，其主要负责人为机器学习界的泰斗、来自斯坦福大学的AndrewNg教授和Google软件