神经网络分类器

人工智能第四次课内实验报告1人工智能课内实验报告(四)班级：姓名：学号：人工智能第四次课内实验报告2实验题目：神经网络分类器实验目的通过编写神经网络分类器，掌握神经网络的分类方法；掌握BP算法及其具体应用。实验内容本次实验是对在和不在正弦函数曲线上的两类点进行分类。所使用的算法是神经网络中的BP算法。实验原理及算法描述线性分类器不能解决非线性问题，因此必须使用非线性分类器解决非线性问题。非线性分类常采用神经网络算法，本次实验中使用的是BP算法。BP(BackPropagation)神经网络是一种神经网络学习算法。其由输入层、隐层、输出层组成的阶层型神经网络，隐层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。算法描述：输入层:单元i的输入：ix；单元数量：d；单元i的输出：ix；单元i的激活函数：线性函数;隐层：单元j的输入：netj；单元数量：nH；01jdtjjiijinetxx010(,,....,),1tdxxxxx01(,,....,)tjjjjd单元j的输出：()jjyfnet；人工智能第四次课内实验报告3单元j的激活函数：非线性函数；输出层：单元k的输入：knet；单元数量：c；01Hntkkjjkkjnetyy010(,,....,),1Htnyyyyy01(,,....,)Htkkkkn单元k的输出：()kkzfnet单元k的激活函数：非线性函数两层神经网络图如下：分析：（1）给定隐层单元及输出层单元的激活函数，一个神经网络就可以实现一个对输入特征向量x的非线性映射。因此，神经网络本质上是一个非线性函数。（2）给定隐层单元及输出层单元的激活函数，该非线性函数所对应的映射关系完全由权系数决定。不同的权系数对应不同的非线性映射。（3）神经网络学习的目的，就是根据已知的训练样本，确定神经网络的权系数。这一过程称为训练过程。在训练过程结束后，对于新样本x，根据神经网络的输出进行判决。（4）对于C类分类问题，神经网络的输出为(),1,...,kzxkc。神经网络的判决人工智能第四次课内实验报告4规则为：如果()(),1,...,,klzxzxlclk，则判x属于wk。（5）令()(),1,...,kkgxzxkc，可以看出神经网络实际上实现了C个非线性的鉴别函数，并根据鉴别函数的取值进行分类。（6）神经网络的训练目标：调整权系数w，即所有的wkj及wij，使得对于训练集中的每一个训练样本(x,t)，网络的输出尽可能满足：11()()......()cczxtzxtzxt（7）优化准则：对于样本集D，使下述误差函数取得最小值：()()xxDJJ211()()2cxkkkJtzx权系数的调整：kjkjkjJ'()kjkkkkkjJytzfnet，1()cjijijijjkkjkjijiJJxfnet，，BP算法描述：对于给定的样本集D={(x,t)}，初始化网络结构d*nH*c。初始化权系数w，学习效率、阈值。随机从D中取出一个样本(x,t)，根据该样本更新权系数w：kjkjkjJjijijiJ计算()()preJJJ，如果J结束训练，并认为此时的w为最优。否则转第2步继续进行循环。实验结果运行程序人工智能第四次课内实验报告5选择初始参数，输入正弦函数参数：采样文件输出至当前目录下的initSample.dat文件中，第一列为x坐标，第二列为y坐标，第三列为t值，在正弦曲线上为1，不在为-1：再选择训练样本，屏幕上输出最优权值，第一行wkj为隐层到输出层的权值，第二、三行wij为输入层到隐层的权值：TestSample.dat如下：其中第三列大于0的点在曲线上，小于0的点不在曲线上。人工智能第四次课内实验报告6结果分析：通过测试，测试样本中92%的数据测试正确，有8%的数据判错。实验总结通过本次实验，我对神经网络分类器的原理有了更加深刻的体会。