BP神经网络实验报告

整理文档很辛苦,赏杯茶钱您下走!

免费阅读已结束,点击下载阅读编辑剩下 ...

阅读已结束,您可以下载文档离线阅读编辑

资源描述

作业8编程题实验报告(一)实验内容:实现多层前馈神经网络的反向传播学习算法。使用3.2节上机生成的数据集对神经网络进行训练和测试,观察层数增加和隐层数增加是否会造成过拟合。(二)实验原理:1)前向传播:以单隐层神经网络为例(三层神经网络),则对于第k个输出节点,输出结果为:在实验中采用的激励函数为logisticsigmoidfunction。考虑每一层节点中的偏差项,所以,在上式中:)()(00,1lljbwx在实验中,就相应的需要注意矢量形式表达式中,矢量大小的调整。2)BP算法:a)根据问题,合理选择输入节点,输出节点数,确定隐层数以及各隐层节点数;b)给每层加权系数,随机赋值;c)由给定的各层加权系数,应用前向传播算法,计算得到每层节点输出值,并计算对于所有训练样本的均方误差;d)更新每层加权系数:其中,jijililiiiliahwahdy其它层,最后一层)('(),(')()1()()(e)重复c),d)迭代过程,直至迭代步数大于预设值,或者每次迭代误差变化值小于预设值时,迭代结束,得到神经网络的各层加权系数。(三)实验数据及程序:1)实验数据处理:a)训练样本输入节点数据:在实验中,所用数据中自变量x的取值,为0—1的25个随机值,为了后续实验结果的分析,将其从小到大排序,并加上偏差项,神经网络的输出节点最终训练结果,即为训练得到的回归结果;b)训练样本标签值:在实验中,采用的激励函数为logisticsigmoidfunction,其值域为[0,1],所以,在神经网络训练前,需要对训练样本标签值进行归一化处理;c)神经网络输出节点值:对训练样本标签值进行了归一化处理,相应的,对于输出节点,需要反归一化处理。2)实验程序:实现函数:[Theta]=BP(input_layer_size,hidden_layer_size,hidden_layer_num,num_labels,Niter,leta,X,Y)输入参数:input_layer_size:输入节点数;hidden_layer_size:隐层节点数(对于单隐层,输入值为一数值,对于多隐层,为一矢量);hidden_layer_num:隐层数;num_labels:输出节点数;Niter:为预设的迭代步数;leta:学习速率,即更新步长;X,Y:分别为训练样本输入特征值以及标签值。输出参数:Theta:各层加权系数,在程序中,以一个细胞数组的形式保存。(四)实验结果分析和讨论:a)隐层数对回归的性能影响:在实验中,对于单隐层的神经网络,实现前馈神经网络的反向传播学习算法后,分别采用不同的隐层节点数,并对一个不同于任何一个训练样本的测试样本,进行测试,得到图1:图1隐层节点数对神经网络性能的影响图中,‘*’表示测试样本的标签值。分析:由图中可以明显的看出:(1)当隐层节点数较小时,类似于降维,损失了信息,对于神经网络,回归出现欠拟合;(2)当隐层节点数较大时,训练出的模型更加复杂,回归出现过拟合;b)隐层数对回归的性能影响:在实验中,对于每层隐层节点数均取N=10,实现前馈神经网络的反向传播学习算法后,分别采用不同的隐层数,并对一个不同于任何一个训练样本的测试样本,进行测试,得到图2:图2隐层数对神经网络性能的影响分析:由图中可以看出:当隐层数为4时,训练出的模型更加复杂,回归出现过拟合。图3隐层数为4时,对于训练样本的回归结果图3中,画出了隐层数为4时,对于100个训练样本的训练结果平均,易看出出现了过拟合。

1 / 3
下载文档,编辑使用

©2015-2020 m.777doc.com 三七文档.

备案号:鲁ICP备2024069028号-1 客服联系 QQ:2149211541

×
保存成功