深度神经网络

深度神经网络IDeepNeuralNetworks中国科学院自动化研究所吴高巍[e-mail]2016-12-6内容深度神经网络发展历史、背景动机——WhyDeepLearning?深度学习常用模型NeuralnetworkBackpropagation1986•解决了一般性学习问题•与生物系统相联系Nature历史NeuralnetworkBackpropagation1986Nature历史x1x2x3w1w2w3NeuralnetworkBackpropagation1986•解决了一般性学习问题•与生物系统相联系Nature历史Butitisgivenup…•SVM•Boosting•Decisiontree•…2006NeuralnetworkBackpropagation1986Nature历史2006DeepbeliefnetScience……………………•Unsupervised&Layer-wisedpre-training•Betterdesignsformodelingandtraining(normalization,nonlinearity,dropout)•Newdevelopmentofcomputerarchitectures–GPU–Multi-corecomputersystems•LargescaledatabasesBigData!Neuralnetworksiscomingback！深度学习浪潮ITCompaniesareRacingintoDeepLearningNeuralnetworkBackpropagation1986•Solvegenerallearningproblems•TiedwithbiologicalsystemButitisgivenup…2006DeepbeliefnetSciencedeeplearningresultsSpeech2011NatureObjectrecognitionover1,000,000imagesand1,000categories(2GPU)NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012NatureA.Krizhevsky,L.Sutskever,andG.E.Hinton,“ImageNetClassificationwithDeepConvolutionalNeuralNetworks,”NIPS,2012.RankNameErrorrateDescription1U.Toronto0.15315Deeplearning2U.Tokyo0.26172Hand-craftedfeaturesandlearningmodels.Bottleneck.3U.Oxford0.269794Xerox/INRIA0.27058NeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2013–imageclassificationchallengeRankNameErrorrateDescription1NYU0.11197Deeplearning2NUS0.12535Deeplearning3Oxford0.13555DeeplearningMSRA,IBM,Adobe,NEC,Clarifai,Berkley,U.Tokyo,UCLA,UIUC,Toronto….Top20groupsalluseddeeplearning•ImageNet2013–objectdetectionchallengeRankNameMeanAveragePrecisionDescription1UvA-Euvision0.22581Hand-craftedfeatures2NEC-MU0.20895Hand-craftedfeatures3NYU0.19400DeeplearningNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012ImageNet2014–ImageclassificationchallengeRankNameErrorrateDescription1Google0.06656Deeplearning2Oxford0.07325Deeplearning3MSRA0.08062Deeplearning•ImageNet2014–objectdetectionchallengeRankNameMeanAveragePrecisionDescription1Google0.43933Deeplearning2CUHK0.40656Deeplearning3DeepInsight0.40452Deeplearning4UvA-Euvision0.35421Deeplearning5BerkleyVision0.34521DeeplearningNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012•GoogleandBaiduannouncedtheirdeeplearningbasedvisualsearchengines(2013)–Google•“onourtestsetwesawdoubletheaverageprecisionwhencomparedtootherapproacheswehadtried.WeacquiredtherightstothetechnologyandwentfullspeedaheadadaptingittorunatlargescaleonGoogle’scomputers.Wetookcuttingedgeresearchstraightoutofanacademicresearchlabandlaunchedit,injustalittleoversixmonths.”–BaiduNeuralnetworkBackpropagation19862006DeepbeliefnetScienceSpeech20112012Facerecognition2014Deeplearningachieves99.53%faceverificationaccuracyonLabeledFacesintheWild(LFW),higherthanhumanperformanceY.Sun,X.Wang,andX.Tang.DeepLearningFaceRepresentationbyJointIdentification-Verification.NIPS,2014.Y.Sun,X.Wang,andX.Tang.Deeplylearnedfacerepresentationsaresparse,selective,androbust.CVPR,2015.深度学习浪潮DeepLearning深度学习浪潮时代背景-数据爆炸还存在很多没有良好解决的问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等。深度学习浪潮时代背景-计算性能提升动机——WhyDeepLearning?深度学习WhatisDeepLearning?“Deeplearningisasetofalgorithmsinmachinelearningthatattempttolearninmultiplelevels,correspondingtodifferentlevelsofabstraction.Ittypicallyusesartificialneuralnetworks.Thelevelsintheselearnedstatisticalmodelscorrespondtodistinctlevelsofconcepts,wherehigher-levelconceptsaredefinedfromlower-levelones,andthesamelower-levelconceptscanhelptodefinemanyhigher-levelconcepts.”(Oct.2013.)“Deeplearningisasetofalgorithmsinmachinelearningthatattempttomodelhigh-levelabstractionsindatabyusingmodelarchitecturescomposedofmultiplenon-lineartransformations.”(Aug.2014)传统机器学习解决这些问题的思路良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但实际中一般都是人工完成的。特征表达能不能自动地学习一些特征呢？能！DeepLearning生物学启示人脑视觉机理“视觉系统的信息处理”：可视皮层是分级的神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。关键词：一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。不同水平的抽象层次化表示脑的深层结构whygodeep?深层结构能够有效被表达对相同的函数需要更少的计算单元深层结构可产生层次化特征表达允许非局部扩展可解释性多层隐变量允许统计上的组合共享深层结构有效（vision,audio,NLP等）！ComputerVisionFeaturesAudioFeaturesDeepLearning基本思想自动地学习特征假设有一堆输入I（如图像或者文本），我们设计了一个系统S（有n层），通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…,Sn。对于深度学习来说，其思想就是堆叠多个层也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。可以略微地放松“输出等于输入”的限制深层vs浅层神经网络多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类深层网络结构中，高层可以综合应用低层信息低层关注“局部”，高层关注“全局”、更具有语义化深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服。为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型深层vs浅层神经网络“深度模型”是手段，“特征学习”是目的。强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。BP算法的问题需要带标签训练数据几乎所有的数据是无标签的人脑可以从无标签数据中学习局部极小对深层网络远离了最优解学习时间不适合大数据梯度消失Belowtopfewlayers,correctionsignalisminimalniiiiijijjkkjiiiijjidyyyyyxdyyyx1111克服BP的限制梯度方法对输入的结构建模建立产生输入的生成式模型，调整参数使得生成式模型的概率最大Learnp(image)notp(label|image)Whatkindofgenerativemodelshouldwelearn?Deeplearning训练自下向上的非监督学习（greedylaye