类脑计算ppt课件

类脑计算1CONTENTS深度学习处理器从脑机接口到脑机融合神经形态认知计算计算神经科学类脑计算的理念与实践2类脑理念与实践GeneralAI认知NarrowAI感知传统思想：认知科学了解大脑意识的形成模仿人脑设计算法(Empirical)当前思想：神经生物学了解大脑结构结构仿真形成一定规模的神经元网络再思考可以做什么(Heuristic)3类脑理念与实践感知:PerceptronLeNetAlexNetVGGGoogLeNetResNet认知：BrainScaleSNeurons4millionSynapses1billionPower10kWTrueNorthNeurons16millionSynapses4billionPower1WSpiNNakerNeurons460millionSynapses460billionPower50kWHumanBrainNeurons100billionSynapses100TeraPower20WDeeperthanDeeperBiggerthanBigger4上界：认知科学功能模拟类脑计算下界：神经科学解析仿真上确界：神经科学结构模仿类脑实践下确界：传统计算机体系结构类脑理念与实践5神经形态认知计算神经元状态方程：Hodgkin-Huxley方程6神经形态认知计算CMOS模拟：忆阻器：忆阻器是天然的突触模拟器件，生物突触释放Ca、Na离子改变传导性，忆阻器通过释放氧离子改变传导性。1个忆阻器可以模拟一个突触的行为。当前集成水平可以达到10GB/cm^2存储密度（近似人脑神经元密度），主频200MHz（比人脑脑电频率快10^6倍），未来可达到500G/cm2@1000MHz。7SpikingNeuronsandSpikingNeuralNetworkFunctionsandConsumption神经形态认知计算8ANNAssumedthatneuronsrepresentinformationthroughtheirmeanratesofactionpotentialfiring.NonLinear(Sum(…))SNNHowSpikesconveyinformation?Rate:spikecountwithinatimewindowTemporal:precisetime=timearray神经形态认知计算9FeatureMapSpatiotemporalPatternsClassificationSolved.HowtoCode?Unsolved.神经形态认知计算10ImplementingInstances神经形态认知计算11ImplementingInstancesConvolutionMaxPoolingSTDP(UnsupervisedLearninginFeatureExtraction)SupervisedLearningrulestofinetuningSpikingNetwork神经形态认知计算12STDPTheprocessadjuststheconnectionstrengthsbasedontherelativetimingofaparticularneuron'soutputandinputactionpotentials(orspikes).神经形态认知计算13ImplementingInstances神经形态认知计算14NeuronSoftware分子层面精细建模最大程度模拟神经元与突触行为对视网膜中央区域2mm范围内所有神经元进行建模天河2号超算辅助运算类脑理念与实践15SpikingArray时空关系上的连续性超高速视屏20,000Frame/sLineMotionIllusion视网膜与V1层功能区的协作产生线运动错觉V1区含有方向选择细胞V1区脑皮层之间的互联形成对位置方向的感知V1区脑皮层在无刺激输入时也会产生自发性放电现象类脑理念与实践16NeuralEncodingofMotionDirectionSingleNeuronNeuralPopulation计算神经科学CANNContinuousAttractorNeuralNetwork17DynamicalandAdaptiveInformationProcessingFromRatetoCorrelationCodeSFASpikefrequencyAdaptationNeuronalresponseattenuatesafterexperiencinglongtimefiring.Slownegativefeedbackmodulationtoneuronalresponse.TravelingWaveinCANNAmovingbumpinthenetworkwithoutrelyingonexternaldrive.计算神经科学18ThestrategyofthebrainEveryanimaladoptstoitsownoptimaltimescalesuitableforitsownsurvivalinthenaturalenvironment.Thebrainco-evolvesstrategiestocompensatedelays.WhyNeuralDelays?Toimplementtemporalcode.Tointegratemultiplesensorycues.Tointegratetemporalinformationovertimeforreliableresponding.WhyAdaptive?Respondingfasttoanovelobjectwithstrongindependentfiring-ratecode.Encodinginformationefficientlywithlowfrequencybutcorrelationcodelately.计算神经科学19深度学习处理器图像处理:GPU信号处理:DSP智能处理:DianNaoFamily未来的硬件设备可能都需要一个深度学习算法的硬件处理器目前GPU芯片每年出货量：0.64Billion产值：50Billion$NameSpeedupEnergyEfficiencyDianNao:1.1xGPU100xCPUDaDianNao:21xGPU330xGPUPuDianNao:1.1xGPU200xGPUShiDianNao:28.94xGPU4688xGPU320mW20深度学习处理器如何加速？把数据从内存搬运到硬件运算单元，甚至比运算本身更耗能量。小尺度但支持大规模神经网络速度：把访存带宽用起来，尽可能提高性能能耗：通过优化片上存储层次尽量减少访存次数21深度学习处理器DianNao16NeuronsWin8KBWout8KBWeight32KBDisadvantage:MemoryExchangeASPLOSBestPaper22深度学习处理器DaDianNao16Cores16Neurons全网络模型片上存储无内存访问EDRAMMICROBestPaper23深度学习处理器PuDianNao关注数据局部性设计专用功能器件三根柱子：InstBuf指令缓存HotBufColdBuf常见运算：向量内积向量距离计数非线性函数排序24深度学习处理器ShiDianNao集成在摄像头中的视觉处理器直接对输入图像进行识别理解消除DRAM读写操作?DaDianNao+可编程VLIW处理器结构25忆阻器阻变式存储器，RRAM被认为是电阻、电容、电感外的第四种基本原件耐久性高、传输速度快、更低的功耗、可擦写26Q&AThankYou27