3种最简单神经网络的结构及学习算法

1单层感知器1.1结构单层感知器的结构如图1所示Σfω1x2x3x4ω2ω3ω4x1y1（偏置）图1单层感知器结构图最后的到的结果为[(1)]iiyfx，其中f函数一般为sgn函数用于二值分类。1.2学习算法单层感知器通常采用纠错学习规则得学习算法。一般将偏置作为一个固定的输入，这样输入矩阵是长度为N+1的向量，权值矩阵也是长度为N+1的向量。设输入为x(n)、权值矩阵为ω(n)、偏置为b(n)、实际输出为y(n)、期望输出为d(n)、η为学习率。所以y(n)=sgn(ωT(n)x(n))。更新权值的算法为(1)()(()())()nndnynxn一般认为设定收敛条件，例如：两次权值查小于0.01时收敛。2线性神经网络2.1结构线性神经网络的结构与单层感知器很相似，只不过是线性神经网络的激励函数可以是线性函数，进而使输出可以为任意值，二单层感知器的激励函数为sgn(符号函数)，输出量为二值量。Σsgnω1x2x3x4ω2ω3ω4x1ybax+b图2线性神经网络结构图2.2学习算法线性神经网络的NB处在于其使用了LMS（LeastMeanSquare）算法进行学习网络。网络学习的最终目的是要得到一个最优的ω值即权值矩阵，使输出值与期望值之间的误差最小。误差最小的标准就是均方差最小。设某次迭代的误差为e(n),则e(n)为下式()()()()Tendnxnn其中11()[1,(),(2),...()]Nxnxnxxn，12()[(),(),(),...()]Nnbnnnn，d(n)为期望输出。均方差为211()QkmseekQ为了使均方差最小，就要对mse对ω求导，然后领导数为0，导数为0的ω值就是是mse最小的ω。但是为了解决权值ω维数过高。往往通过调节权值来逼近ω的最优质。使mse从空间中的某一点开始，沿着斜面向下滑行，最终达到最小值，梯度反方向有是滑行最快的方向。所有求出mse的梯度，让其负数成为调整权值的增量，这样就可以以最快的速度逼近最优权值。在实际计算中往往不用mse计算，而是用21()()2Een对其求导结果就是梯度。推导如下()()()Eenen()()Tenxn()()()TExnen又(1)()()nn，()()Txnen即(1)()()()Tnnxnen最后确定其收敛的方法可自行设定，例如误差小于某个设定的值、两次迭代权值变化小于某个设定的值、设置最大迭代次数等。3BP神经网络3.1结构BP神经网络是一种多层前馈神经网络，该网络的主要特点是：信号前向传递，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层，每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预测误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。BP神经网络的拓扑结构如下图1所示.........x1x2xm输入层隐含层输出层y1y2ynωijωjk图1BP神经网络的拓扑结构其中ωij为输入层到隐层的权值矩阵，ωjk为隐层到输出层的权值矩阵。BP神经网络的激励函数一般为sigmod函数或者线性函数。3.2学习算法BP神经网络采用的是最速下降法（梯度下降法）进行误差的反相传播，最速下降法本质上与LMS算法相同，如果将最速下降法的目标函数定义为均方差，那么最速下降法就等同于LMS算法。