搜索
2003.12.181人工神经网络学习概述•人工神经网络提供了一种普遍且实用的方法从样例中学习值为实数、离散值或向量的函数。•人工神经网络对于训练数据中的错误健壮性很好。•人工神经网络已被成功应用到很多领域，例如视觉场景分析，语音识别，机器人控制。•其中，最流行的网络和算法是20世纪80年代提出的BP网络和BP算法，BP算法使用梯度下降法来调节BP网络的参数以最佳拟合由输入-输出对组成的训练集合。2003.12.182BP算法概述1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。3、优点：广泛的适应性和有效性。2003.12.183BP网络的基本结构2003.12.184确定BP网络的拓扑结构•在开始训练之前，需要确定网络的拓扑结构：出入层神经元的个数、隐含层神经元的层数及每一层神经元的个数、输出层神经元的个数。•对训练样本中的每一属性的值进行归一化，使其值落在（0，1）区间，有助于加快学习过程。•对于离散的属性值，要进行合适的编码。•BP网一般都选用二级网络。•实验表明：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。2003.12.185神经元的M-P模型2003.12.186激活函数(ActivationFunction)•激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：o=f（net）•1、线性函数（LinerFunction）f（net）=k*net+cnetooc2003.12.1872、非线性斜面函数(RampFunction)γifnet≥θf（net）=k*netif|net|θ-γifnet≤-θ•γ0为一常数，被称为饱和值，为该神经元的最大输出。2003.12.1882、非线性斜面函数（RampFunction）γ-γθ-θneto2003.12.1893、阈值函数（ThresholdFunction）阶跃函数βifnetθf（net）=-γifnet≤θβ、γ、θ均为非负实数，θ为阈值二值形式：1ifnetθf（net）=0ifnet≤θ双极形式：1ifnetθf（net）=-1ifnet≤θ2003.12.18103、阈值函数（ThresholdFunction）阶跃函数β-γθonet02003.12.18114、S形函数压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。•S形函数有较好的增益控制2003.12.18124、S形函数a+bo(0,c)netac=a+b/22003.12.1813BP算法2003.12.1814BP算法的基本思想•BP算法的基本工作过程大概可以分为两个阶段：1）信号的向前传播，在这个阶段，要求计算出隐含层和输出层中每一神经元的净输入和输出。2）误差的向后传播，在这个阶段，要求计算出输出层和隐含层中每一神经元的误差。2003.12.1815初始化问题•在BP算法中，权和偏置在网络学习之前，都将其初始化为不同的小随机数。•“不同”保证网络可以学习；“小随机数”防止其值过大而提前进入饱和状态。2003.12.1816更新问题•基本的BP算法采用的是实例更新，即每处理一个实例就更新一次权和偏置。实例更新的缺陷：实例的顺序对训练结果有较大影响。它更“偏爱”较后出现的实例。而给其中的实例安排一个适当的顺序，是非常困难的。•解决的办法就是采用周期更新，即每处理一遍所有的实例才更新一次权和偏置。周期更新的好处是：可以消除实例顺序对结果的影响。2003.12.1817收敛速度问题•BP算法的训练速度是非常慢的，尤其是当训练达到一定的程度后，甚至有时是发散的。2003.12.1818局部极小点问题•避免——修改初始值：并不是总有效。•逃离——统计方法：[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。2003.12.1819网络瘫痪问题•在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛。2003.12.1820稳定性问题•用修改量的综合实施权的修改（用消除样本顺序影响的算法4-2来训练）•连续变化的环境，它将变成无效的（网络不可塑）2003.12.1821步长问题•BP网络的收敛是基于无穷小的权修改量–步长太小，收敛就非常慢–步长太大，可能会导致网络的瘫痪和不稳定–自适应步长，使得权修改量能随着网络的训练而不断变化。[1988年，Wasserman]2003.12.1822BP算法适合问题的特征•实例是用很多“属性-值”对表示的•目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量•训练数据可能包含错误•可容忍长时间的训练•可能需要快速求出目标函数值•人类能否理解学到的目标函数是不重要的