六章人工神经网络模型

第六章人工神经网络模型我们不可能对生物学上的神经网络作完全的了解，只可能在某种成度上描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。§6.1神经元模型a)生物神经元模型神经元neuron,neuralcell也就是神经细胞。人脑就是由大量神经元组合而成的。神经元由细胞体、树突和轴突组成。中心接受器传导信息b)人工神经元模型，如图所示(threshold)神经元另一个树突细胞体轴突x1jijyjxnjnf某个神经元j的输入—输出关系为其中，为阀值，为连接权，f(•)为变换函数，也称活化函数(activationfunction)。变换函数的种类有很多种，可参见孙p.126。其中用得最多的是比例函数y=f(x)=s和S-型函数，SigmoidalfunctionSyjjf1,,00jijniijixxjniijijxs1jji§6.2感知器(perceptron)感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，只能用于线性分类。我们以单层感知器来说明：两个输入x1和x2。一个阀值θ两个待调整的权值W1和W2决策函数为样本集分别属于2类。xxXd2211θyx112x2xXd1Xd1Xd–很显然，正确分割这两类样本的直线方程为d(z)=0具体的算法如下，用于确定wi和θ1)随机给定一组连接权ωi(k),i=0，1，2。K=0，表示初始值。2)任取其中一个样本为期望的输出值，或者是期望的函数决策值。dxpp,dpippiniixxs,1,00设0,10,1)(sssfyp3)按下式调整连接权0为学习率4)在样本集中另选一个样本，并置k+1k，重复steps(2)-(4)until为什么？表示此时的d(x)已能正确分类，∴无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理XOR问题。所以在1969年，Minsky和Papert发表了名为Perceptron的专著,书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。xydpippiikk)()1(ni2,1,0)()1(kkiini2,1,0§6.3人工神经网络前面介绍的感知器已给了我们一个大概的认识，即NN是怎么回事。它是一个并行和分布式的信息处理网络。由许多神经元组成，每个神经元有单个的输出，它可以连接到很多其他的神经元。1)每个结点（node)有一个状态变量xj2)结点i到j的连接权为3)每个结点有一个阀值4)每个结点有一个变换函数jij)(fj比如说BP网，也称MLP，即多层感知器，其网络结构为：这是一种前馈型网络，CMAC也是一种前馈型网络，但是有点特别。(feedforwardnetwork)layeroutputlayerinputLAYERHIDDEN另一种是反馈型网络NN(neuralnetwork)的特点a)单个神经元的处理速度，比计算机要慢很多。b)大量Neurons并行处理c)容错能力强，部分内容损坏，仍可工作。BP网的算法见PP133-136请大家考虑一个问题，即除输入层之外的其他层的每个节点的输出=？误差如何反向传播?Hopfield§6.4BP算法及推导BP其实就是ErrorBackPropagationBP算法实质上是梯度法的一种应用结果梯度法考虑无约束问题，其中函数f(x)一阶连续可导。梯度法就是在点x处以f(x)的负梯度方向进行搜索的一种优化方法，其迭代公式，其中，是从出发的搜索方向，取最速下降方向nExxf),(min)()()1(kkkkdxx)(kd)(kx)()()(kkxfdk)(min)()()()()(kkkkkkdxfdxf是步长,可按下式确定,但实际凭经验.简单的Delta规则设有P个样本对,对于输入期望输出是实际输出是,所以，Delta规则其中，PpTIpp,,2,1),,(TpmppiiI),,(1TpnppttT),,(1TpnppooO),,(1pipjpipjpjjipiiotw)(pjpjpjotIpiiiooo1ppipm1ppjpnOp训练用的性能指标为jipjipwEw1:按梯度法公式ppjpjpjpEEotE,)(212jipjpjpjipwooEwE:复合求导kpjpjpjpkpkpjpjpototooE)()(21,2其中baNetoiwNetpjpjipijipj,令kpipkjkjijipjjipjaiiwwawNetawo则pipjpipjjipiaaiwE因而pipjpipjjipjipiiawEw11))(),(())(),((:tWtOhtttOgwjiijji一般公式)()()1(twtwtwjijiji带隐含层的BP网定理：对于具有隐层的多层前馈网，当性能指标为网络训练按下列公式进行ppjpjpjpEEotE,)(212pipjjipow输出层)()('pjjpjpjpjNetfot隐含层kkjpkpjjpjwNetf)('证明jipwEw,按梯度法jipjpjpjipwNetNetEwEipijipjowNetkpipkjkjijipjoopipjjipowEpipjjipowpjpjpjppjppjNetooENetE)()('pjjpjjpjpjpNetfNetfNetNeto)()()(pjpjpjpjpjpjpjpNetfototoE输出层kkjpkkjkpkpipikikpjpkppjpkkpkpwwNetEowoNetEoNetNetE隐层采用Sigmoid激发函数的BP算法)1(11))exp(1/(1)(pjpjpjpjNetpjkjpijipjooNetoeoowNetxxfsigmoidpj)1()(pjpjpjpjpjooot输出层kkjpkpjpjpjwoo)1(隐含层1置各权值和阈值的初值为小的随机数2输入学习样本对，对各样本进行（3-5）3计算网络各层的输出4计算训练误差5修正权值和阈值momentumterm6对所有样本训练后，指标是否满足精度要求？满足：结束训练。否则，转到（2）继续训练。)0()0(jjiwPpTIpp,,2,1),,(ijpijijpjjpjowfNetfo)()())1()(()()1(twtwotwtwjijipijjiji))1()(()()1(ttttjjjjj)1()(pjpjpjpjpjooot输出层kkjpkpjpjpjwoo)1(隐含层(x1,x2)y(0,0)0(1,0)1(0,1)1(1,1)0Y=|sin(x)|DueMay28,2019