2-2MATLAB神经网络工具箱中的神经网络模型

MATLAB神经网络工具箱中的神经网络模型Matlab的首创者CleveMoler博士在数值分析，特别是在是指线性代数的领域中很有影响。Matlab（MatrixLaboratory，即矩阵实验室）Matlab于1984年推出了正式版本。后来Moler组建了一个名为MathWorks的软件开发公司（）专门扩展并改进Matlab。1998年推出5.3版。2000年11月推出6.0。2011年9月推出7.13，MATLAB7.2以后，编号以年份命名，上半年推出的用a表示，下半年推出的用b表示。Matlab有30个工具箱包，包括控制系统工具箱（ControlSystemToolbox）信号处理工具箱（SignalProcessingtoolbox）系统辨识工具箱（SystemIdentificationtoolbox）鲁棒控制工具箱（RobustControltoolbox）μ分析于综合工具箱（μ-analysisandsynthesistoolbox）定量反馈理论工具箱（QFTtoolbox）神经网络工具箱（NeuralNetworktoolbox）最优化工具箱（Optimisationtoolbox）数据库工具箱（Databasetoolbox）网络工具箱（MatlabWebServer）等。神经网络工具箱简介MATLAB7对应的神经网络工具箱的版本为Version4.0.3,它以神经网络理论为基础,利用MATLAB脚本语言构造出典型神经网络的激活函数,如线性、竞争性和饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。还可根据各种典型的修正网络权值规则，加上网络的训练过程，利用MATLAB编写出各种网络设计和训练的子程序，用户根据自己的需要去调用。神经网络工具箱的主要应用函数逼近和模型拟合信息处理和预测神经网络控制故障诊断应用神经网络工具箱求解问题的一般过程确定信息表达方式数据样本已知数据样本之间相互关系不确定输入/输出模式为连续的或者离散的输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变化形式数据样本的预处理将数据样本分为训练样本和测试样本确定网络模型选择模型的类型和结构，也可对原网络进行变形和扩充网络参数的选择确定输入输出神经元数目训练模型的确定选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差网络测试选择合适的测试样本(1)均方误差mse(meansquarederror)nateEmsenkkk12)(][误差信号的不同定义:(2)平均绝对误差mae(meanabsoluteerror)natmaenkkk1||(3)误差平方和sse(sumsquarederror)nkkkatsse12)(MATLAB工具箱中的神经网络结构niiixs1biixp)(1Riiibpwfa1.人工神经元的一般模型在中，令，,则人工神经元的一般模型由此构成人工神经元的一般模型，如下图所示。上式可写成矩阵向量形式：a=f(Wp+b)由S个神经元组成的单层网络w1,1wS,Rasnsn2n1p1p2p3pRf1b11b21bsffa1a2S个神经元的层输入S个神经元的层输入a=f(Wp+b)PR×1S×RS×1nS×1RSaS×1S个神经元的层输入1Wb+f简化表示MATLAB工具箱中的神经网络结构多层网络的简化表示:MATLAB神经网络工具箱中的神经网络模型基本概念:标量:小写字母,如a,b,c等;列向量:小写黑体字母,如a,b,c等,意为一列数;矩阵向量:大写黑体字母,如A,B,C等权值矩阵向量W(t)标量元素,i为行,j为列,t为时间或迭代函数列向量行向量)(,twji)(twj)(twi阈值向量b(t)标量元素,i为行,t为时间或迭代函数)(tbi网络层符号加权和:,m为第m个网络层,为第个神经元,n为加权和网络层输出:,m为第m个网络层,为第个神经元,a为输出输入层权值矩阵,网络层权值矩阵,其中,上标k,l表示第l个网络层到第k个网络层的连接权值矩阵向量msmnmsmalkIW,lkLW,msmsms例:表示输入向量的第R个输入元素到输入层的第个神经元的连接权.表示……表示…1,1,1Rsiw1s1,2,12sslwisib第i个网络层的第个神经元的阈值is例:w1,1wS,Rasnsn2n1p1p2p3pRf1b11b21bsffa1a2S个神经元的层输入S个神经元的层输入11S111bPIWn11S)(1111bPIWfan1为第一层神经元的中间运算结果,即连接权向量与阈值向量的加权和,大小为,即a1为第一层神经元的输出向量,大小为,神经网络的层数为神经元网络层的数目加1,即隐层数目加1.多层神经网络结构])([)(21112221222bbpIWfLWfbaLWfa多层网络简化形式RpppP,...21,图中:],...,[1121111sbbbb1,1,1,12,1,11,1,1,21,12,21,11,21,1,11,12,11,11,11,1111...RsssRRiwiwiwiwiwiwiwiwiwIW说明:输入层神经元的个数决定IW的行数,输入向量元素的个数决定IW的列数,即S1行R列.4.公式和图形中的变量符号在编程代码中的表示方法细胞矩阵:将多个矩阵向量作为细胞矩阵的”细胞”(Cell),细胞矩阵的各个元素值为对应细胞的大小和数值类型4321a654321b654321c,,]23[[]]32[]22[[]doubledoubledoublecban访问元素:m{1}=n{1,1}=4321a]32[]22[,doubledoublebamm{2}=n{2,1}=654321bn{2,1}(4)=5变量符号在MATLAB中的表示(1)上标变量以细胞矩阵(Cellarray)即大括号表示p1={1}(2)下标变量以圆括号表示,)2}(1{12pp)2,2}(2{22,2ppp1=p(1),,1,13,2iw)3,2}(1,1{iw例:=}1,1{)1(,1kppk)2}(1,2{)1(,22kppk神经网络工具箱常用函数列表重要的感知器神经网络函数：初始化：initp训练：trainp仿真：simup学习规则：learnp线性神经网络函数初始化：initlin设计：solvelin仿真：simulin离线训练：trainwh在线自适应训练：adaptwh学习规则：learnwhBP网络函数：initff：初始化不超过3层的前向网络；simuff：仿真不超过3层的前向网络；trainbp，trainbpx，trainlm：训练BPtrainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存储空间。learnbp：学习规则自组织网络初始化：initsm仿真：simuc训练：trainc：利用竞争规则训练trainsm：利用Kohonen规则训练反馈网络（Hopfield网络）仿真：simuhop设计：solvehopsolvehop设计Hopfield网络solvelin设计线性网络rands产生对称随机数learnbp反向传播学习规则learnhHebb学习规则learnp感知层学习规则learnwhWidrow－Hoff学习规则initlin线性层初始化initp感知层初始化initsm自组织映射初始化plotsm绘制自组织映射图trainbp利用反向传播训练前向网络trainp利用感知规则训练感知层trainwh利用Widrow－Hoff规则训练线性层trainsm利用Kohonen规则训练自组织映射神经网络例子创建线性神经网络层net=newlin([13;13],1);net.IW{1,1}=[12];net.b{1}=0;设有数据集由4个向量组成p1=[12]’p2=[21]’p3=[23]’p4=[31]’P=[1223;2131]A=sim(net,P)A=5485