hamming神经网络电路

一种应用在Hamming神经网络中的神经元MOS电路摘要:本文提出了一种实现Hamming神经网络的神经元MOS电路，用神经元MOS实现了模板匹配电路，和求大网络电路，所提出的电路在结构上得到了非常明显的简化。采用TSMC0.35µm双层多晶硅CMOS工艺参数的Hspice模拟结果验证了所提出设计方案的正确性。1引言人工神经网络是为了能够模仿人脑而提出的，目前神经网络的实现还主要采用软件模拟为主，而采用硬件实现才能充分发挥神经网络的并行计算的优势特点。目前神经网络全硬件实现主要采用普通MOS实现[3-7]。但采用普通MOS实现时，电路芯片面积大，直流功耗大，运算速度也会减慢[9]。神经元MOS的提出为解决这一问题提供了一种方法[10-14]。神经元MOS是最近提出了一种新型MOS器件[1]，它采用多输入，通过电容耦合到浮栅上的MOS器件，它具有单个器件功能性强、阈值控制灵活、输入加权求和等特点的新型器件。而且这种器件的加工工艺与标准的双层多晶硅COMS工艺完全兼容，因此对它的研究日益受到重视[2]。由于它的这些优点，使得它在许多电路应用方面显示出比普通MOS更优越的性能。Hamming神经网络的结构简单，而且连接权值可以先确定固化到电路中，因而是神经网络中的优选结构[8]。本文将神经元MOS应用到文献[9]所提的电路中，采用Hspice仿真证明了本文所提的电路具有结构简单以及完全基于标准的双层多晶硅CMOS工艺等特点。2多输入神经元MOS反相器和源极跟随器2.1多输入神经元MOS反相器图1(a)所示电路为由p沟道和n沟道浮栅MOS管构成的神经元MOS反相器[9],其中浮栅由第一层多晶硅形成，多输入控制栅则由第二层多晶硅形成。多输入与浮栅之间通过电容实现耦合，反相器各端电压与耦合电容如图1(b)所示。反相器浮栅上的电压为ni0n0pinidd0piiFCCCVCVCV1（1）V1,V2,...,Vn为输入信号电压，C0n和C0p分别为浮栅与衬底和浮栅与n阱之间的电容，它们主要由栅氧化层电容Cox构成，C1，.....Cn为各个输入栅与浮栅之间的耦合电容。假设从浮栅端看进去的阈值电压为Vth，当VFVth反相器导通，反之反相器截止。np1V2VnVddVoutV1V2VnVddV1C2CnCpC0nC0(a)(b)图1(a)神经元MOS反相器(b)电容模型2.2神经元源极跟随器图(2)为互补神经元MOS源极跟随器，它与反相器的区别是，NMOS和PMOS换了一个位置，这种互补的结构可以减小电路的功耗和提高电路的速度。np1V2VnVddVoutV图2源极跟随器在该电路中，P沟神经元MOS作为源极跟随电路的有源负载。在输出节点充电的过程中，PMOS截止，相当于无穷大负载，输出电压很快跟随浮栅电压，相差一个PMOS管的阈值。在输出节点放电过程中则PMOS导通，使放电过程加速，因此神经元源极跟随器电路能够获得很好的速度性能。而且，如果输入端保持为一个固定电压值，则PMOS和NMOS均处于截止状态，因此可以获得较低的功耗。利用神经元MOS反相器和源极跟随器可以实现在神经网络、大规模集成电路等方面的应用[10]。3电路设计Hamming神经网络电路主要由模板匹配电路和求大网络电路组成。以下将对它们做详细介绍，并将神经元MOS应用到电路中。3.1模板匹配电路如图3是最典型的Hamming神经网络，第一层上面方框是输入像素点，每个输入像素点都会与神经元相连。每个神经元的一组连接权值存储的是一个识别对象的模板，神经元的作用就是计算输入像素点与其连接权值所存模板的匹配距离，匹配程度由神经元输出，匹配度越高，输出值越大。12nWTAinputoutputlayer1layer2图3Hamming神经网络第二层是一个求大网络，也称Winner-Take-All网络[12]，输出端与输入端数相等，作用是找出输入中最大的一端，并将这一端输出置为1，其它输出端为0，在识别应用中，该层作为最后的识别判决。图4是网络第一层中神经元及其连接的电路模型，浮栅上的电压为输入加权求和，并用神经元MOS源极跟随器输出。图中是假设输入只有4个像素，利用用反相器来决定该端输入模板存1还是存0。存1直接与输入端相连，存0则在输入端加个反相器。图4(a)中输入模板为1111，图4(b)中的输入模板为1001，如果输入是多个像素，则只要在浮栅上多加几个输入端就行了，或者采用图(c)多个源极跟随器多级相连的形式。输入不匹配个数越多时，加权求和后浮栅上的电压就越小，跟随输出的电压也就越小。输出最大电压的神经元就是说输入跟该神经元的权值模板最匹配。公式(2)为输出电压与像素数n和不匹配点数i的关系,有阈值损失，但是很小，不影响电路工作。nVinddoutV)((2)ddVnpoutV1V2V3V4V111100ddVnpoutV1V2V3V4V11(a)(b)outV(c)图4神经元MOS模板匹配电路3.2求大电路如图6为一个三输入的Hopfield求大网络电路，该电路由三个相同的电路单元组成，再加上相同的电路单元可以很容易组成多输入的求大网络。其中，上面的一个加有固定偏置栅电压Vp的PMOS管做负载。多输入神经元MOS的输入是由除自身电路外，其他电路单元的输出提供。神经元间的这种相互连接就构成了一种强制连接权，因为当某一神经元的输出电压较高时，由这种连接形成的负反馈作用就促使其它神经元的输出电压下降。当其它输出端的电位降低时，最大输出端的电位就会自然抬高。在时钟信号clk2控制下输入待比较信号，对网络的输出端点置初值，之后在负反馈机制的作用下，由不稳定状态达到稳定状态，此时电压最高的输出端输出高电平，其它端点输出低电平。时钟信号clk1的作用是控制NMOS开关管，在输入比较信号前将各输出端点电位拉平，这样可以在同一起点上置初值，可以提高电路的分辨精度。假设电路中从左到右电路单元浮栅上的电压分别为VF1、VF2、VF3，而单元电路从上到下的耦合电容为C1、C2、C3，C1和C2相等，忽略耦合电容，NMOS管阈值电压为Vth。因为C3是接地的，因此可以得出式(3)3132112)(CCVVCVooF3131122)(CCVVCVooF3112132)(CCVVCVooF(3)因为最后只有一个NMOS管截止，输出高电平，其它都导通输出低电平，假设Vo1最后高电平，则其它的为低电平，因此VF1小于阈值，VF2和VF3大于阈值，最后可以得出(4)thVCCC31123(4)ddV2clk2clk2clk2clk2clk2clkpVpVpV1clk1clk1iV2iV3iV1oV2oV3oV2oV3oV1oV1oV2oV3oVppppppnnnnnnnn图6求大网络电路4仿真与分析用Hspice对以上电路进行仿真，采用TSMC0.35µm双层多晶硅CMOS工艺参数。对于模板匹配电路，仿真模板为1111的图(4)中的(a)，图(6)即为仿真图形，仿真结果完全符合公式(2)，而且该电路与文献(9)中的电路相比结构要简单的多，功耗也要低的多。图(7)模板匹配电路仿真仿真电路图(6)时，C1、C2设为0.1pF，C3为0.055pF，Vp为1.5V，20ns时输入信号，30ns时传输门截止。当Vi1Vi2Vi3为0.2、0.6、0.4输出为图(7)中的(a)，当电压为2.1、2.2、2.3时，输出为(b)，当电压为1、2、3时，输出为(c)，仿真结果完全符合要求，精度相当高，与文献5相比结构更简单，当规模较大的网络是优势明显。(a)(b)(c)图(7)求大网络电路仿真5总结本文所提的Hamming神经网络集成电路模型，是采用神经元MOS管，加工工艺与标准的双层多晶硅COMS工艺完全兼容。而且该电路模型与文献9相比具有更简单的结构，功耗也更低。仿真结果也证明了该电路可以很好的完成所需的功能。参考文献[1]T.Shibata,T.Ohmi,“AFunctionalMOSTransistorFeaturingGate-LevelWeightedSumandThresholdOperations,”IEEETrans.onElectronDevices,1992,vol.39,no.6:1444~1455[2]P.Hasler,T.S.Lande,“Overviewoffloating-gatedevices,circuitsandsystems,”IEEETransonCircuteandSystems-II;AnalogandDigtalSignalProceasing,2001,48(1):1-3.[3]Khalid,M.Al-Ruwaihi,“Current-modeprogrammablesynapsecircuitsforanalogueULSIneuralnerworks,”IntJiontElectonics,1999;86(2):189~205[4]C.WuandS.Chen,“ThedesignandanalysisofCMOSlow-power-largeneighborhoodCNNwithpropageatingconnections,”IEEETrans.CircuitsSyst.I,vol.56no.2,Feb.2009,pp.440-452.[5]DraghiciSorin,“NeuralNetworksinAnalogHardwareDesignandImplementationIssues,”48202,Detroit,MI,USA,WayneStateUniversity.2000[7]J.ChoiSheu,B.J.Sheu,“NeuralInformationProcessingandVLSI,”BostonKluwerAcademicPublishers,1995[8]U.Cilingironglu,IEEEJ.Solid-StateCiruits,1993,28(1):59~67.[9]李斌桥，李志坚，石秉学，“一种模拟集成电路Hamming神经网络及其应用”，半导体学报，1996.03[10]Yu.NingMei,TadashiShibataandTadahiroOhmi,“AReal-TimeCenter-of-MassTrackerCircuitImplementedbyNeuronMOSTechnology,”IEEETrans.onCircuitsandSystems-II:AnalogandDigitalsignalProcessing.Vol.45,no.4,April1998,pp495-503[10]T.Shibata,H.Kosaka,H.Ishii,andT.Ohmi,“ANeuron-MOSNeuralNetworkUsingSelf-Learning-CompatibleSynapseCircuits,”IEEEJ.Solid-StateCircuits,vol.30,NO.8,1995,pp.913-922.[11]C.Jun,T.Shibata,“ANeuron-MOS-BasedVLSIImplementationofPulse-CoupledNeuralNetworksforImageFeatureGneration,”IEEETrans.CircuitsSyst.I,vol.57,NO.6,June2010,pp.1143-1153.[12]J.Ramirez-Angulo,G.Ducoudray-Acevedo,R.G.Carvajal,andA.Lopez-Martin,“Low-VoltageHigh-PerformanceVoltage-ModeandCurrent-ModeWTACircuitsBasedonFlippedVoltageFollowers,”IEEETrans.Circuitsandsystems-Ⅱ,vol.52,no.7,JULY2005,pp.4