MLA2016曾志刚-面向神经计算的忆阻系统分析与设计

汇报人：曾志刚工作单位：华中科技大学2016年11月5日面向神经计算的忆阻系统分析与设计提纲忆阻研究背景与意义01基于忆阻的神经形态计算02忆阻系统的渐近行为分析03提纲忆阻研究背景与意义01基于忆阻的神经形态计算02忆阻系统的渐近行为分析03一、忆阻研究背景与意义?大脑每个神经元通过突触至少与一万多个其他神经元相连神经网络的发展已有多年历史无法用晶体管电路实现这样复杂的连接相邻神经元之间的突触难以用电路器件构建在实现类脑计算过程中，如何采用微纳器件模拟生物神经元，以及神经突触的功能是一个急需突破的技术难题一、忆阻研究背景与意义忆阻的阻值随其两端电信号变化而改变的性质，非常类似于大脑中的突触一、忆阻研究背景与意义?大脑每个神经元通过突触至少与一万多个其他神经元相连神经网络的发展已有多年历史忆阻可以模仿大脑神经元突触，成为构建模拟大脑电路系统的关键器件无法用晶体管电路实现这样复杂的连接相邻神经元之间的突触难以用电路器件构建给基于类脑计算的物理实现带来了希望一、忆阻研究背景与意义L.O.Chua,“Memristor–themissingcircuitelement,”IEEETrans.CircuitTheory,vol.18,no.5,pp.507-519,1971TEXT1971年，L.O.Chua教授预测了第四种电路元件忆阻的存在2008年，美国惠普公司宣布制造出忆阻的物理器件一、忆阻研究背景与意义•根据对称性，提出除电阻、电容和电感三种基本电路元件外，还应该存在一种基本电路元件来表述磁通量和电荷之间的关系•忆阻：有记忆功能的非线性电阻(mem-ristor)一、忆阻研究背景与意义L.O.Chua,“Memristor–themissingcircuitelement,”IEEETrans.CircuitTheory,vol.18,no.5,pp.507-519,1971TEXT1971年，L.O.Chua教授预测了第四种电路元件忆阻的存在D.B.Strukov,G.S.Snider,D.R.Stewart,andR.S.Williams,“Themissingmemristorfound,”Nature,vol.453,pp.80-83,2008.2008年，美国惠普公司宣布制造出忆阻的物理器件一、忆阻研究背景与意义媒体给予忆阻高度评价忆阻的发现足以媲美100年前发明的三极管其任何一项产业化应用都可能带来新一轮的产业革命美国《连线》(Wired)2008年50项最佳发明2008年十大科技突破彻底改变生活的未来15大技术《PCWorld》美国《时代》一、忆阻研究背景与意义给传统的控制理论提出挑战物理器件实现忆阻模型及仿真这方面的研究取决于忆阻材料和实验设备忆阻系统：非线性、切换、多值、逻辑运算忆阻系统：非线性、切换、多值、逻辑运算系统的角度：用控制理论方法揭示忆阻的特性系统的角度：用控制理论方法揭示忆阻的特性仿真表明：简单忆阻系统都有极其复杂的动力学行为特性仿真表明：简单忆阻系统都有极其复杂的动力学行为特性如何提高忆阻件的稳定性和重复性一、忆阻研究背景与意义存储目标信息二进制编码二进制编码各种静态传输获取目标信息存储输入获取输出数字存储系统数字存储系统寻找需要获取信息的二进制编码，通过二进制编码的映射关系二进制编码一、忆阻研究背景与意义科学研究者们开始思考大脑是如何处理和记忆信息的科学研究者们开始思考大脑是如何处理和记忆信息的一、忆阻研究背景与意义学习和回忆是大脑智能的两个最重要的认知功能认识某个人学习过程学习过程看到他的照片等特征信息会联想起这个人的名字回忆过程相片爱因斯坦维纳......名字信息记忆信息回忆一、忆阻研究背景与意义记忆目标信息适当编码大脑的学习与回忆功能由神经元的各种动力学响应来实现回忆目标信息学习输入回忆输出爱因斯坦适当编码加利福尼亚大学旧金山分校的Neuroscape实验室拍到一段大脑记录的视频不同颜色表示大脑中不同的电能频率以及能量移动的通路一、忆阻研究背景与意义从神经生物解剖学的角度研究从神经生物解剖学的角度研究一、忆阻研究背景与意义GraymatterWhitematter大脑皮层:6层信号在皮层内以及皮层间传输大脑:15–30B神经元4km/mm335w神经元:处理其他神经元发出的信号突触:存储权值信号一组前神经元Synapticnetwork一组后神经元大脑包含:灰质(用于思考)和白质(用于信号传输)神经形态计算模拟大脑进行信息处理一、忆阻研究背景与意义卡弗•安德烈斯•米德CarverAndressMead美国国家科学院院士摩尔定律是他最早提出来的美国国家技术与创新奖约翰∙冯诺依曼奖神经形态neuromorphic是1989年CarveMead首先提出来的一、忆阻研究背景与意义将忆阻作为神经计算机时代的“晶体管”，引入到人工神经网络电路的设计当中，以模仿生物突触传导神经递质的过程，实现对生物突触的逼真模拟，创造出真正的突触模拟器是值得深入研究的方向之一111()1((())(()))()(())(())((()))(()),niifijjgijjijinijjjfijjjnijjjigijjijdxtCWxtWxtxtdtRfxtWxtgxttWxtI………提纲忆阻研究背景与意义01基于忆阻的神经形态计算02忆阻系统的渐近行为分析03二、基于忆阻的神经形态计算1943年，美国心理学家McCulloch和数学家Pitts提出的MP神经元模型20世纪80年代，加州理工学院C.Mead创造了“神经形态”这一术语，是首位强调大脑巨大节能优势的学者2008年,惠普公司的研究人员首次做出纳米忆阻器件,为神经形态计算架构提供了完美契合的元件神经形态系统研究进展2014年，IBM公布了研究项目SyNapse的最新成果——仿人脑芯片TrueNorth2016年5月IBM制成了世界首例纳米随机相变神经元，紧接着9月份，马萨诸塞大学阿默斯特分校研究人员研发出新型的扩散型忆阻器二、基于忆阻的神经形态计算神经形态计算架构神经形态计算架构受到人脑工作原理启发而设计的计算架构并行分布式处理结构自适应能力强非线性映射能力容错性和鲁棒性冯•诺依曼计算架构冯•诺依曼计算架构适合处理数字，执行精确编写的程序适合处理数字，执行精确编写的程序二、基于忆阻的神经形态计算忆阻器是模拟元件，作为突触可以实现突触权值的连续更新纳米级尺寸的忆阻器作为突触，可以实现超大集成密度的神经网络忆阻器的阻值随输入磁通或电荷的变化而改变，使忆阻突触具有学习和记忆能力忆阻器是无源器件且掉电后信息的非易失性使忆阻神经网络能耗更低用忆阻交叉阵列结构构建的忆阻神经网络，融合了忆阻器与交叉阵列的优势，有更好的信息处理能力和更大的存储容量忆阻器在神经形态计算系统中的优势二、基于忆阻的神经形态计算人工突触生物突触具有相似的物质浓度变化、耗尽效应、动态平衡与漂移忆阻结合使用体现出STDP特性扩散型忆阻+‐逼真地模拟了生物突触传导神经递质过程二、基于忆阻的神经形态计算忆阻器在神经形态系统中主要是通过模拟突触功能使得神经电路具有学习记忆能力，并通过忆阻交叉阵列实现大规模并行处理结构突触模块实现基于忆阻的竞争神经网络研究瓶颈•忆阻器的材料实现还处于实验阶段•需要通过借助外部处理器和电路平台来设计神经网络的算法实现神经网络的权值更新忆阻突触和神经元电路二、基于忆阻的神经形态计算,jijiiDPxw()jjyfDP1tan()fx[1]R.HasanandT.M.Taha,EnablingBackPropagationTrainingofMemristorCrossbarNeuromorphicProcessors,inIEEEInternationalJointConferenceonNeuralNetworks(IJCNN),2014,pp.21-28.多层神经网络结构正向传播权值更新计算反向传播,,211jijjijwxDP忆阻交叉阵列实现反向传播算法忆阻突触和神经元电路二、基于忆阻的神经形态计算[2]D.Soudry,D.DiCastro,A.Gal,A.Kolodny,andS.Kvatinsky,memristor-basedmultilayerneuralnetworkswithonlinegradientdescenttraining,IEEETransactionsonNeuralNetworksandLearningSystems,vol.26,pp.2408-2421,2015.多层神经网络结构忆阻突触电路正向传播反向传播()()()kkTWyx忆阻交叉阵列实现反向传播算法•需要通过借助外部处理器和电路平台来设计神经网络的算法实现神经网络的权值更新二、基于忆阻的神经形态计算正权值电路设计正向学习权值更新约束条件正权值负权值[3]YangZhang,XiaopingWang,YiLi,EbyG.Friedman,Memristivemodelforsynapticcircuits,IEEETransactionsonCircuitsandSystems–II:ExpressBriefs,2016.DOI:10.1109/TCSII.2016.2605069忆阻交叉阵列实现反向传播算法•需要通过借助外部处理器和电路平台来设计神经网络的算法实现神经网络的权值更新基于忆阻交叉阵列的卷积运算C.Yakopcic等人[4]，把忆阻交叉阵列能够实现的矩阵点积运算应用到卷积运算，虽然构建了一个卷积网络，但是忆阻的阻值都是提前用软件计算好的[4]Y.Shim,A.Sengupta,K.Roy,“Low-powerapproximateconvolutioncomputingunitwithdomain-wallmotionbased‘spin-memristor’forimageprocessingapplications,”inProceedingofDesignAutomationConference(ACM),2016.据此设计的电路：二、基于忆阻的神经形态计算Y.Shim等人[5]提出了一个低功耗的卷积运算电路。把卷积核作为输入，忆阻阻值则代表图像像素强度其中乘法和点积等操作是用忆阻电路实现的[5]C.Yakopcic,R.Hasan,T.M.Taha,“Memristorbasedneuromorphiccircuitforex-situtrainingofmulti-layerneuralnetworkalgorithms,”inProceedingofIEEEInternationalJointConferenceonNeuralNetworks(IJCNN),pp.1-7,2015.二、基于忆阻的神经形态计算基于忆阻交叉阵列的卷积运算现在已有用忆阻做卷积的方法，如L.Gao等人[6]，用实验证明忆阻能够实现卷积运算把卷积核从二维变换到一维，可以并行进行多个卷积操作，与[5]不同的是，忆阻值代表卷积核的权值，输入则是图像像素[6]L.Gao,P.Y.Chen,andS.Yu,“Demonstrationofconvolutionkerneloperationonresistivecross-pointarray,”IEEEElectronDeviceLetters,vol.37,no.7,pp.870-873,2016.二、基于忆阻的神经形态计算基于忆阻交叉阵列的卷积运算p1p2p3p4pt=HLLLvvvva存储的四个模式15输入-4神经元结构用于检测模式识别功能的输入向量输出层节点的电压模式识别结果：神经元1竞争取胜输入向量属于“H”模式二、基于忆阻的神经形态计算模式识别中的应用二、基于忆阻的神经形态计算模式识别中的应用进一步简化电路降低电路功耗？？构建基于忆阻的神经网络系统，模拟巴