深度卷积神经网络

目录神经网络简要介绍经典深度神经网络模型•LeNet•AlexNet•VGGNet•NetworkinNetwork(MIN)•GoogLeNet•ResNet深度学习框架及实例深度学习在计算机视觉中的应用神经网络简要介绍经典深度神经网络模型•LeNet•AlexNet•VGGNet•NetworkinNetwork(MIN)•GoogLeNet•ResNet深度学习框架简介在计算机视觉中的应用目录神经网络兴衰史神经网络简要介绍第一次兴起（1958年）：感知机，由于没有引入非线性，不能求解异或问题。第二次兴起（1986年）：将BP(BackPropagation)算法用于ANN的训练过程。第三次兴起（2012年）：深度卷积神经网络的兴起，一直到现在。BP算法：信号的正向传播和误差的反向传播。机器学习神经网络深度学习CNN/RNN4机器学习，神经网络，深度学习之间的关系深度卷积神经网络介绍萌芽期1940sMP模型阈值加和模型Hebb学习规则第一次高潮1960s第二次高潮1980s第三次浪潮2000s感知器模型自适应-线性单元Hopfield网络Boltzman机BP算法SVMVapnik95BoostingSchapire95深度网络DBNDBMDeepCNNRNNG.E.HintonY.BengioY.LecunAndrewNgRobFergus人工神经网络发展历程低谷CNNLeCun98低谷DeepLearning,Science2006(vol.313,pp.504-507)Neuralnetworksarecomingback!1.具有多个隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2.深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wisePre-training）来有效克服。两个重要的信息：人工神经网络发展历程•在语音识别取得重大突破百度:deepspeech2011年以来，错误率降低2030%!2012年11月，微软在天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。人工神经网络发展历程•GoogleBrain项目（纽约时报2012年6月报道）2011年开始，GoogleBrain项目采用16000个CPUCore的并行计算平台训练“深层神经网络”，在图像识别等领域获取巨大成功！吴恩达人工神经网络发展历程AlphaGoMaster3:0柯洁2017年1月AlphaGoFan5:0樊麾2015年10月AlphaGoLee4:1李世石2016年3月100:0战胜Lee版本，89:11战胜Master版本！AlphaGoZero2017年10月AlphaZero:最大特点是无需人类棋谱，仅利用围棋规则Alpha-FanAlphaGo-LeeAlphaMasterAlphaZero人工神经网络发展历程•为什么有效–浅层神经网络可以近似任意函数，为何多层？深层网络结构中，高层可以综合应用低层信息。低层关注“局部”，高层关注“全局”、更具有语义化信息。为自适应地学习非线性处理过程提供了一种可能的简洁、普适的结构模型。特征提取与分类器可以一起学习。人工神经网络发展历程•发展基础：数据爆炸：图像数据、文本数据、语音数据、社交网络数据、科学计算等计算性能大幅提高神经网络简要介绍人类视觉机理：DavidHubel和TorstenWiesel发现了视觉系统的信息处理方式，即视皮层的分级特性，获得1981年诺贝尔生理学或医学奖。Low-levelsensingPreprocessingFeatureextractionFeatureselectionInference:prediction,recognition本图取自：:duringthetrainingphase,aneuralnetworkisfedthousandsoflabeledimagesofvariousanimals,learningtoclassifythemInput:Anunlabeledimageisshowntothepre-trainednetworkFirstLayer:theneuronsrespondtodifferentsimpleshapes,likeedgesHighLayer:theneuronsrespondtomorecomplexstructuresTopLayer:theneuronsrespondtohighlycomplex,abstractconceptsthatwewouldidentifyasdifferentanimalsOutput:Thenetworkpredictswhattheobjectmostlikelyis,basedonitstraining神经网络简要介绍人工神经网络（ArtificialNeuralNetworks，ANN）--通过映射解决分类问题，对网络的训练即对映射函数的学习问题。卷积层（5层）：用于特征提取全连接（3层）:人工神经网络：用于分类神经网络简要介绍………………输入层（Input）：数据输入隐含层（Hiddenlayer）：空间变换输出（Output）三层神经网络模型曲线上的采样点是线性不可分经空间变换后，曲线上的采样点是线性可分的神经网络简要介绍神经元树突输入神经元接收信号隐含层输入神经元激活轴突发出信号隐含层输出ANNANN是对大脑神经元信号传输的模拟神经网络简要介绍感知机（Perceptron）通过查找超平面解决二类分类问题（通过二值函数解决二类分类问题）()()fsignxwx公式表达：可看作对输入的空间变换wx四种空间变换：维度、缩放、旋转、平移感知机中的线性映射限制了模型的表达能力，线性变化的组合仍为线性变化。神经网络简要介绍ANN基本构成：感知机（Perceptron）+激活函数第五种空间变换：扭曲（非线性）ANN每层输出为：()()fhxwx其中，为激活函数（原来是阈值函数）()h常用激活函数：SigmoidTanh(反正切函数）感知机：线性变换激活函数：非线性，引入非线性激活函数，提高网络的非线性表达能力神经网络简要介绍………输入层隐含层1隐含层N分类输出多层结构的人工神经网络多层结构的ANN，从单层到多层的扩展：进一步提升对非线性的表达，得到更加抽象的特征表述。---根据问题设计网络深度，一般3～5层。................1x2xnx1w2wnw1niiixw1()niiihxw人工神经网络单个节点输出神经网络简要介绍ANN训练：前向输出计算+反向梯度传播（BP算法）设网络具有层，为层中第个节点输出，表示从到的连接权重。mmiyimmijw1miymjy前向传播1()()mmmmjjijiiyhshwy1、计算每层中每个节点的输出()h为激活函数2、在输出层计算损失'()()mmmjjjjhsTyjT为目标参考输出，一般从样本训练中得到。……............1mmjy1miymijwmjmloss前向传播过程1神经网络简要介绍ANN训练：前向输出计算+反向梯度传播（BP算法）反向传播3、由输出层开始逐层计算前层误差1'1()mmmmiiijjjhsw1mmmijjimmmijijijwy4、修正连接权重……............mijwmj梯度反传过程1mi神经网络简要介绍ANN训练：前向输出计算+反向梯度传播（BP算法）神经网络简要介绍深度神经网络(DNN)--用神经网络模拟大脑的识别过程神经网络--全连接or卷积？图：全连接与卷积示意图深度卷积神经网络介绍底层提取初级特征高层对低层特征组合与抽象深度卷积神经网络介绍卷积神经网络（CNN）：卷积+池化+全连接卷积：局部特征提取训练中进行参数学习每个卷积核提取特定模式的特征池化（下采样）：降低数据维度，避免过拟合增强局部感受野提高平移不变性全连接：特征提取到分类的桥梁什么是卷积？24右图展示了卷积的过程，和信号处理的卷积有所区别卷积降低了网络模型的复杂度（对于很难学习的深层结构来说，这是非常重要的），减少了权值的数量黄色部分是卷积核深度卷积神经网络介绍什么是池化？25•池化层主要的作用是下采样，通过去掉FeatureMap中不重要的样本，进一步减少参数数量。•池化的方法很多，最常用的是MaxPooling。MaxPooling实际上就是在n*n的样本中取最大值，作为采样后的样本值。右图是2*2max深度卷积神经网络介绍底层特征具有局部特性，因此可以利用卷积窗口进行特征提取。图像中不同区域的底层特征（如边界）具有相似性，可以共享一组滤波器。用卷积代替全连接进行特征提取对底层特征组合得到更具语义信息的高层特征。深度卷积神经网络深度卷积神经网络介绍深度卷积神经网络介绍经典深度神经网络模型•LeNet•AlexNet•VGGNet•NetworkinNetwork(MIN)•GoogLeNet•ResNet深度学习框架在计算机视觉中的应用目录网络模型LeNetAlexNetNINVGGNetGoogLeNet(Inception)ResNetInceptionResNet图3：ILSVRC图像分类竞赛近年结果。网络结构的改进网络深度的增加图2：深度卷积神经网络发展图图4：LeNet网络结构，来源于文献[1]。最早的深度卷积神经网络模型，用于字符识别。网络具有如下特点：卷积神经网络使用三个层作为一个系列：卷积，池化，非线性使用卷积提取空间特征使用映射到空间均值的下采样（subsample）双曲线（tanh）或S型（sigmoid）形式的非线性多层神经网络（MLP）作为最后的分类器[1]Y.Lecun,L.Bottou,Y.BengioandP.Haffner.Gradient-BasedLearningAppliedtoDocumentRecognition.ProceedingsoftheIEEE,vol.86,no.11,1998.LeNet提供了利用卷积层堆叠进行特征提取的框架，开启了深度卷积神经网络的发展。LeNetAlexNetAlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、Dropout和LocalResponseNorm(LRN)等技巧。网络的技术特点如下：使用ReLU（RectifiedLinearUnits）作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。为避免过拟合，训练时使用Dropout随机忽略一部分神经元。使用重叠的最大池化(maxpooling)。最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。利用GPU强大的并行计算能力加速网络训练过程，并采用GPU分块训练的方式解决显存对网络规模的限制。ReLU数据增强。利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。Dropoutmaxpooling：池化时取最大值[2]AlexKrizhevsky,IlyaSutskeverandGeoffreyE.Hinton.ImageNetClassificationwithDeepConvolutionalNeuralNetworks.NIPS,2012.图：AlexNet网络结构