一天搞懂深度学习

深度学习智慧融入街镇目录content深度学习概述第一章深度学习应用研究第二章总结与展望第三章深度学习概述第一章•历史与背景•基本思想•经典模型1-1历史与背景假设我们要让程序判断下面的图像是否为猫：判断图像是否为猫的规则该怎么描述？用枚举的方法，即为每张可能的图像对应一个结果（是猫，不是猫），根据这个对应规则进行判定。对于高度和宽度都为256像素的黑白图像，如果每个像素值的值是0-255之间的整数，根据排列组合原理，所有可能的图像数量为：所以，与其总结好知识告诉人工智能，还不如让人工智能自己去学习知识。要识别猫的图像，可以采集大量的图像样本，其中一类样本图像为猫，另外的不是猫。然后把这些标明了类别的图像送入机器学习程序中进行训练。——机器学习1-1历史与背景机器学习发展阶段1980s：登上历史舞台1990-2012：走向成熟和应用2012：深度学习时代神经网络卷土重来1980年机器学习作为一支独立的力量登上了历史舞台。典型的代表是：1984：分类与回归树1986：反向传播算法1989：卷积神经网络代表性的重要成果有：1995：支持向量机（SVM）1997：AdaBoost算法1997：循环神经网络（RNN）和LSTM2000：流形学习2001：随机森林在与SVM的竞争中，神经网络长时间内处于下风，直到2012年局面才被改变。由于算法的改进以及大量训练样本的支持，加上计算能力的进步，训练深层、复杂的神经网络成为可能，它们在图像、语音识别等有挑战性的问题上显示出明显的优势。•1958:Perceptron(linearmodel)•1969:Perceptronhaslimitation•1980s:Multi-layerperceptron•DonothavesignificantdifferencefromDNNtoday•1986:Backpropagation•Usuallymorethan3hiddenlayersisnothelpful•1989:1hiddenlayeris“goodenough”,whydeep?•2006:RBMinitialization•2009:GPU•2011:Starttobepopularinspeechrecognition•2012:winILSVRCimagecompetition•2015.2:Imagerecognitionsurpassinghuman-levelperformance•2016.3:AlphaGObeatsLeeSedol•2016.10:SpeechrecognitionsystemasgoodashumansUpsanddownsofDeepLearning1-1历史与背景1-1历史与背景1-1历史与背景1-1历史与背景1-1历史与背景Step1:defineasetoffunctionStep2:goodnessoffunctionStep3:pickthebestfunction深度学习原理NeuralNetwork1-2基本思想NeuralNetworkzzzz“Neuron”DifferentconnectionleadstodifferentnetworkstructuresNeuralNetwork1-2基本思想8layers19layers22layersAlexNet(2012)VGG(2014)GoogleNet(2014)16.4%7.3%6.7%Deep=Manyhiddenlayers1-2基本思想AlexNet(2012)VGG(2014)GoogleNet(2014)152layers3.57%ResidualNet(2015)Taipei101101layers16.4%7.3%6.7%Deep=ManyhiddenlayersSpecialstructure1-2基本思想=𝜎𝜎1x2x……Nx……………………………………y1y2yMNeuralNetworkW1W2WLb2bLxa1a2yy=𝑓xb1W1x+𝜎b2W2+bLWL+…b1…1-2基本思想…………………………………………y1y2yMKxOutputLayerHiddenLayersInputLayerx1x2xFeatureextractorreplacingfeatureengineering=Multi-classClassifierSoftmax1-2基本思想Step1:defineasetoffunctionStep2:goodnessoffunctionStep3:pickthebestfunctionNeuralNetwork1-2基本思想1x2x……256x…………………………y1y2y10CrossEntropy“1”……100……targetSoftmax𝑙𝑦,𝑦=−𝑦𝑖𝑙𝑛𝑦𝑖10𝑖=1𝑦1𝑦2𝑦10……Givenasetofparameters𝑦𝑦1-2基本思想Step1:defineasetoffunctionStep2:goodnessoffunctionStep3:pickthebestfunctionNeuralNetwork1-2基本思想GradientDescent𝑤1Compute𝜕𝐿𝜕𝑤1−𝜇𝜕𝐿𝜕𝑤10.15𝑤2Compute𝜕𝐿𝜕𝑤2−𝜇𝜕𝐿𝜕𝑤20.05𝑏1Compute𝜕𝐿𝜕𝑏1−𝜇𝜕𝐿𝜕𝑏10.2…………0.2-0.10.3𝜃𝜕𝐿𝜕𝑤1𝜕𝐿𝜕𝑤2⋮𝜕𝐿𝜕𝑏1⋮𝛻𝐿=gradient1-2基本思想NeuralNetworkGoodResultsonTestingData?GoodResultsonTrainingData?Step3:pickthebestfunctionStep2:goodnessoffunctionStep1:defineasetoffunctionYESYESNONOOverfitting!DeepLearning1-2基本思想1-3经典模型DNN深层神经网络CNN卷积神经网络RNN循环神经网络GAN生成对抗网络………………………………..•SomepatternsaremuchsmallerthanthewholeimageAneurondoesnothavetoseethewholeimagetodiscoverthepattern.“beak”detectorConnectingtosmallregionwithlessparameters1-3经典模型-CNN•Thesamepatternsappearindifferentregions.“upper-leftbeak”detector“middlebeak”detectorTheycanusethesamesetofparameters.Doalmostthesamething1-3经典模型-CNN•SubsamplingthepixelswillnotchangetheobjectsubsamplingbirdbirdWecansubsamplethepixelstomakeimagesmallerLessparametersforthenetworktoprocesstheimage1-3经典模型-CNNFullyConnectedFeedforwardnetworkcatdog……ConvolutionMaxPoolingConvolutionMaxPoolingFlattenCanrepeatmanytimes1-3经典模型-CNNConvolutionMaxPoolingConvolutionMaxPoolingFlattenCanrepeatmanytimesSomepatternsaremuchsmallerthanthewholeimageThesamepatternsappearindifferentregions.SubsamplingthepixelswillnotchangetheobjectProperty1Property2Property31-3经典模型-CNNFullyConnectedFeedforwardnetworkcatdog……ConvolutionMaxPoolingConvolutionMaxPoolingFlattenCanrepeatmanytimes1-3经典模型-CNN1-3经典模型-CNNDeepDream•Givenaphoto,machineaddswhatitsees……CNNModifyimageCNNexaggerateswhatitsees1-3经典模型-CNNDeepDream•Givenaphoto,machineaddswhatitsees……1-3经典模型-CNNDeepStyle•Givenaphoto,makeitsstylelikefamouspaintings1-3经典模型-CNNDeepStyle•Givenaphoto,makeitsstylelikefamouspaintings1-3经典模型-CNNDeepStyleCNNCNNcontentstyleCNN?ANeuralAlgorithmofArtisticStyle1-3经典模型-CNNMoreApplication:SpeechTimeFrequencySpectrogramCNNImageThefiltersmoveinthefrequencydirection.1-3经典模型-CNNMoreApplication:Text?1-3经典模型-CNN深度学习应用第二章•机器视觉•智能语音•……………….2-1机器视觉（1）机器视觉——用机器的眼睛理解世界机器视觉是指通过用计算机或图像处理器及相关设备来模拟人类视觉，以让机器获取相关的视觉并加以理解，它是将图像转换成数字信号进行分析处理的技术。机器视觉技术流程图像采集目标提取目标识别目标分析图像捕获图像压缩图像存储图像预处理图像分割特征提取目标分类判断匹配模型建立行为识别2-1机器视觉关键技术与应用A)生物特征识别技术——安全领域应用广泛生物特征识别技术是一种通过对生物特征识别和检测,对身伤实行鉴定的技术。从统计意义上讲人类的指纹、虹膜等生理特征存在唯一性，可以作为鉴另用户身份的依据。目前，生物特征识别技术主要用于身份识别，包括语音、指纹、人脸、静脉，虹膜识别等。2-1机器视觉关键技术与应用B)光学字符文本识别一一智能物流的核心技术光学字符文本识别技术(OpicalCharacterReconrition),是指计算机通过光学设备检查纸上打印的字符,通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻泽成计算机文字的过程，从而完成计算机对文字的阅读。OCR技术具体到场景就是通过扫描，将各类印刷体的文档证件(名片，银行卡、财务单据等)自动识别录入电脑等终端，让大量信息的高效录入成为可能。物品包装检测系统2-1机器视觉关键技术与应用C)物体与场紧识别一机器人和自动驾驶使用最广物体、场景识别是指计算机将图片内容与数据库中的资料进行比对，进而识别图片或视频中的物体与场景。识别过程与人脸识别类似，即通过检测定位、特征提取、3D建模、模型比对对物体进行识别。机器人机器规觉技术的应用打破了传统机器入应用的局哏性。以检测服务为例，在未配备机器视觉的条件下，由于被检产品规格的多样，用户需要使用大量的专用工具来实现产品位置的固定，成本过高，更换工具的工作量目大。而机器视觉技术具有位置无需固定、精度与J靠性的协调统一非接触式定位与测量全面观量、随动检测等特点，因此使用视觉系统定位仅需更换产品的检测文件，机械成本及更换工具时间大为降低。自动驾驶机器视觉技术在自动驾驶中可以识别、发现周遭环境和各类物体的运动状态;定位车道、检测坡度与弯度;自动规划行车路线井控制车辆到达的地。