卷积神经网络研究综述

第40卷计算机学报Vol.402017年论文在线出版号No.7月CHINESEJOURNALOFCOMPUTERSOnlinePublishingNo.7———————————————周飞燕，女，1986年生，博士研究生,主要研究领域为计算机辅助心血管疾病诊断.E-mail:[e-mail].金林鹏，男，1984年生，博士,主要研究领域为机器学习.董军（通讯作者），男，1964年生，博士，研究员，博士生导师,主要研究领域为人工智能.卷积神经网络研究综述周飞燕1),2)金林鹏1),2)董军1)1)(中国科学院苏州纳米技术与纳米仿生研究所,苏州市216123)2)(中国科学院大学,北京市100049)摘要作为一个十余年来快速发展的崭新领域，深度学习受到了越来越多研究者的关注，它在特征提取和模型拟合上都有着相较于浅层模型显然的优势。深度学习善于从原始输入数据中挖掘越来越抽象的分布式特征表示，而这些表示具有良好的泛化能力。它解决了过去人工智能中被认为难以解决的一些问题。且随着训练数据集数量的显著增长以及芯片处理能力的剧增，它在目标检测和计算机视觉、自然语言处理、语音识别和语义分析等领域成效卓然，因此也促进了人工智能的发展。深度学习是包含多级非线性变换的层级机器学习方法，深层神经网络是目前的主要形式，其神经元间的连接模式受启发于动物视觉皮层组织，而卷积神经网络则是其中一种经典而广泛应用的网络结构。卷积神经网络的局部连接、权值共享及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化网络结构。基于这些优越的特性，它在各种信号和信息处理任务中的性能优于标准的全连接神经网络。本文首先概述了卷积神经网络的发展历史，然后分别描述了神经元模型、多层感知器的结构。接着，详细分析了卷积神经网络的结构，包括卷积层、取样层、全连接层，它们发挥着不同的作用。然后，讨论了网中网结构、空间变换网络等改进的卷积神经网络。同时，还分别介绍了卷积神经网络的监督学习、无监督学习训练方法以及一些常用的开源工具。此外，本文以图像分类、人脸识别、音频检索、心电图分类及目标检测等为例，对卷积神经网络的应用作了归纳。卷积神经网络与递归神经网络的集成是一个途径。为了给读者以尽可能多的借鉴，本文还设计并试验了不同参数及不同深度的卷积神经网络以图把握各参数间的相互关系及不同参数设置对结果的影响。最后，给出了卷积神经网络及其应用中待解决的若干问题。关键词卷积神经网络；深度学习；网络结构；训练方法；领域数据中图法分类号TP81论文引用格式：周飞燕,金林鹏,董军,卷积神经网络研究综述,2017,Vol.40,在线出版号No.7ZHOUFei-Yan,JINLin-Peng,DONGJun,ReviewofConvolutionalNeuralNetwork,2017,Vol.40,OnlinePublishingNo.7ReviewofConvolutionalNeuralNetworkZHOUFei-Yan1)2)JINLin-Peng1)2)DONGJun1)1)(SuzhouInstituteofNano-techandNano-bionics,ChineseAcademyofSciences,Suzhou215123)2)(UniversityofChineseAcademyofSciences,Beijing100049)AbstractAsanewandrapidlygrowingfieldformorethantenyears,deeplearninghasgainedmoreandmoreattentionsfromdifferentresearchers.Comparedwithshallowarchitectures,ithasgreatadvantageinbothfeatureextractingandmodelfitting.Anditisverygoodatdiscoveringincreasinglyabstractdistributedfeaturerepresentationswhosegeneralizationabilityisstrongfromtherawinputdata.Italsohassuccessfullysolvedsomeproblemswhichwereconsidereddifficulttosolveinartificialintelligenceinthepast.Furthermore,with2017-01-2210:35:12计算机学报2017年theoutstandinglyincreasedsizeofdatausedfortrainingandthedrasticincreasesinchipprocessingcapabilities,thismethodtodayhasresultedinsignificantprogressandbeenusedinabroadareaofapplicationssuchasobjectdetection,computervision,naturallanguageprocessing,speechrecognitionandsemanticparsingandsoon,thusalsopromotingtheadvancementofartificialintelligence.Deeplearningwhichconsistsofmultiplelevelsofnon-lineartransformationsisahierarchicalmachinelearningmethod.Anddeepneuralnetworkisthemainformofthepresentdeeplearningmethodinwhichtheconnectivitypatternbetweenitsneuronsisinspiredbytheorganizationoftheanimalvisualcortex.Convolutionalneuralnetworkthathasbeenwidelyusedisaclassickindofdeepneuralnetwork.Thereareseveralcharacteristicssuchaslocalconnections,sharedweights,poolingetc.Thesefeaturescanreducethecomplexityofthenetworkmodelandthenumberoftrainingparameters,andtheyalsocanmakethemodelcreatingsomedegreeofinvariancetoshift,distortionandscaleandhavingstrongrobustnessandfaulttolerance.Soitiseasytotrainandoptimizeitsnetworkstructure.Basedonthesepredominantcharacteristics,ithasbeenshowntooutperformthestandardfullyconnectedneuralnetworksinavarietyofsignalandinformationprocessingtasks.Inthispaper,firstofall,thehistoricaldevelopmentofconvolutionalneuralnetworkissummarized.Afterthat,thestructuresofaneuronmodelandmultilayerperceptronareshown.Lateron,adetailedanalysisoftheconvolutionalneuralnetworkarchitecturewhichiscomprisedofanumberofconvolutionallayersandpoolinglayersfollowedbyfullyconnectedlayersisgiven.Differentkindsoflayersinconvolutionalneuralnetworkarchitectureplaydifferentroles.Then,afewimprovedalgorithmssuchasnetworkinnetworkandspatialtransformernetworksofconvolutionalneuralnetworkaredescribed.Meanwhile,thesupervisedlearningandunsupervisedlearningmethodofconvolutionalneuralnetworkandsomewidelyusedopensourcetoolsareintroduced,respectively.Inaddition,theapplicationofconvolutionalneuralnetworkonimageclassification,facerecognition,audioretrieve,electrocardiogramclassification,objectdetection,andsoonisanalyzed.Integratingofconvolutionalneuralnetworkandrecurrentneuralnetworktotraininputteddatacouldbeanalternativemachinelearningapproach.Finally,differentconvolutionneuralnetworkstructureswithdifferentparametersanddifferentdepthsaredesigned.Throughaseriesofexperiments,therelationsbetweentheseparametersinthesemodelsandtheinfluenceofdifferentparametersettingsareready.Someadvantagesandremainedissuesofconvolutionalneuralnetworkanditsapplicationsareconcluded.Keywordsconvolutionalneuralnetwork;deeplearning;networkstructure;trainingmethod;domaindata1引言人工神经元网络（ArtificialNeuralNetwork，ANN）是对生物神经网络的一种模拟和近似，是由大量神经元通过相互连接而构成的自适应非线性动态网络系统。1943年，心理学家McCulloch和数理逻辑学家Pitts提出了神经元的第一个数学模型—MP模型[1]。MP模型具有开创意义，为后来的研究工作提供了依据。到了上世纪50年代末、60年代初，Rosenblatt在MP模型的基础之上增加学习功能，提出了单层感知器模型，第一次把神经网络的研究付诸实践[2-3]。但是单层感知器网络模型不能够处理线性不可分问题。直至1986年，Rumelhart和Hinton等提出了一种按误差逆传播算法训练的多层前馈网络—反向传播网络（BackPropagationNetwork，简称BP网络），解决了原来一些单层感知器所不能解决的问题[4]。由于在90年代，各种浅层机器学习模型相继