前馈神经网络和反馈神经网络模型

前馈神经网络前馈神经网络的结构一般包含输入层、输出层、及隐含层，隐含层可以是一层或多层。各神经元只接收前一层的输出作为自己的输入，并且将其输出给下一层，整个网络中没有反馈。每一个神经元都可以有任意多个输入，但只允许有一个输出。图1选择只含一个隐含层的前馈神经网络。其原理框图如图1所示。图中，只有前向输出，各层神经元之间的连接用权值表示。设输入层有M个输入信号，其中任一输入信号用iMi,2,1表示；隐含层有N个神经元，任一隐含层神经元用jNj,2,1表示；输入层与隐含层间的连接权值为nwij，NjMi,2,1;,2,1；隐含层与输出层的连接权值为nwj。假定隐含层神经元的输入为nuj，输出为nvj；输出层神经元的输入为no，网络总输出为nx~。则此神经网络的状态方程可表示为：Miijjinynwnu11Miijjjinynwfnufnv11Njjjnvnwno1Njjjnvnwfnofnx1~图1三层前馈神经网络结构图输入层隐含层输出层yn1yn1ynMijwjw)(~nx式中，f表示隐含层、输出层的输入和输出之间的传递函数，也称为激励函数。定义代价函数为瞬时均方误差：2122~NjjjnvnwfndnxndnenJ式中，nd为训练信号。递归神经网络对角递归神经网络图2为典型的对角递归神经网络，它具有三层结构，分别为输入层，隐层和输出层，在隐层的权值叠加中，引入了输入的前一时刻的输出作为反馈控制信号。选用这种网络的优点是结构简单，易于实现，可以直观的体现反馈神经网络的结构模式和工作方式。设输入层与隐层间的连接权值为nwhijkjmi,2,1;,,1,0，隐层与输出层之间的权值为nwoj，递归层的权值为nwdj。设输入层的输入为iny，隐层的输入为nuj，输出为nIj，输出层的输入为nv，输出层的输出为nx~，则对角递归神经网络的状态方程为10nInwinynwnujdjmihijj输入层输出层隐层图2对角递归神经网络的结构yn1yn1ynmynmxn01hwnhmjwn2ownojwn1dwn2dwndjwn1ownnufnIjjnInwnvjkjoj1nvfnx~定义代价函数为瞬时均方误差：22~nxndnenJ