搜索
提高神经网络泛化能力的方法概述主要内容1.神经网络的泛化能力2.提高神经网络泛化能力的方法3.研究展望神经网络概述定义：一个神经网络是一个由若干个简单处理单元（也称神经元）构成的规模宏大的并行分布式处理器，天然地具备存储知识和使之可用的特性。神经网络的拓扑结构3层前传反馈神经网络结构图基本要素:神经元、连接权、激活函数一、神经网络的泛化能力1.定义：神经网络的泛化能力是指（经过用训练样本集）训练后的神经网络正确预测和识别训练样本集外其它样本的能力。影响泛化能力的因素1)数据源的实际复杂度2)学习样本的数量和分布3)网络结构和规模4)初始权值、学习算法等两个主要的研究方面■网络结构确定，需要多少样本可以保证训练后的网络具有较好的泛化能力■样本数确定，如何选择较优的网络结构使之对训练集外的输入模式产生较好的泛化样本数确定后问题：当样本数确定后，如何使训练后的神经网络具有较好泛化能力？二、现有提高泛化能力的方法■对现有样本进行一些预处理■网络结构优化算法■惩罚项方法■训练的早期中止法1.对现有样本进行一些预处理■在样本中加入噪音进行训练■对样本进行聚类2.网络结构优化算法■并行学习法简单并行法网络委员会法■串行修改法剪枝法增长法{{并行学习法之一：简单并行法■首先，将样本分为学习样本集和确认样本集；■其次，对不同类型、规模的多个网络用同样的学习样本集进行并行训练；■再次，用独立于学习集的确认集比较它们的泛化性能；■最后，从中选择一个最好的。简单并行法的不足浪费了大量的计算结果可能对测试样本集敏感并行学习法之二：网络委员会法■将多个神经网络组成一个委员会■委员会的输出是综合考虑委员会中各成员的输出最后决定的■一种简单表决方法是，取所有网络输出的平均值或加权平均值串行修改法之一：剪枝法训练从一个结构明显冗余的网络开始，然后逐步删除多余的神经元或连接权。■灵敏度法：估计训练后的节点或权对网络误差的重要程度，删除敏感度值较小者。■OBD法：衡量权值重要性，删除较小者。剪枝法的不足是一种半理论半经验的方法，不同的剪纸算法都有一些经验参数需要设定由于在修剪过程中一次之改变一个节点或权，导致计算时间较长串行修改法之二：增长法训练从一个最简网络开始，不断增加神经元或连接权直至达到要求的精度。■级联相关法：从一个不包含隐单元开始，然后逐次增加隐单元和相关连接。■崛起算法(UpstartAlgorithm)■铺瓦式方法(TilingAlgorithm)增长法的不足很难确定什么时候中止增长过程若控制不当，会造成过拟和问题剪枝法与增长法的结合网络从初始间规模开始增长；达到给定的性能指标后，再进行修剪。3.惩罚项法指导思想：训练误差＝网络误差网络误差项就是原来的误差函数，复杂度项是衡量网络结构复杂程度的一项。由传统方法中只优化网络误差，变为在优化误差的同时优化网络的复杂度。＋“复杂度项”复杂度项的作用在训练过程中：抑制一些连接权不让它增长太大驱使一些不重要的连接权逐渐减小为零常用的几种惩罚项■weight-decay■Weight-elimination■Combinationof1.and2.■Structurallearningwithforgetting■Inner-product4.训练的早期中止法■将样本空间分成训练集、确认集和测试集三部分■训练集用于网络权值的修正，确认集用于泛化能力的评估，测试集则比较训练后的模型的泛化性能■在训练过程中，利用观察网络的学习曲线，来判定何时终止训练操作步骤■将样本空间分成训练集、确认集和测试集三部分；■用训练集和确认集来训练不同的候选模型；■用测试集测量被选用模型的泛化性能。训练过程用训练集训练网络一个周期后，将确认集中的样本逐次呈现给网络得到确认误差；确认过程结束后，训练重新开始另一个周期，重复以上过程；当训练过程中确认集上的误差不降反升时，训练提前终止。交叉验认把N个样本组成的样本空间分成k个子集；选取一个子集作为测试集，其余子集用于一个网络模型的训练；再选取另一个子集作为测试集，重复上述过程共K次；对该模型泛化性能的最终评估，是求所有试验的测试误差的平均值。三、研究展望1.将统计学习理论、支撑向量机等应用于结构优化算法和学习算法中，指导算法的进行。2.将进化计算、模糊系统等计算职能技术应用到神经网络学习算法中，去帮助选择和动态调整网络中的参数和结构，并尽可能地获得全局最优。结束语