非线性系统的神经网络辨识

《热动力系统动态学》课程论文题目：基于BP神经网络对电力系统负荷的预测控制学院：动力工程学院专业：动力工程及工程热物理姓名：赵乾学号：20091002055指导教师：杨晨（教授）成绩：2010年7月30日基于BP神经网络对电力系统负荷的预测控制摘要：电力系统的负荷曲线受很多因素的影响是一个非线性的函数，该文文献提出应用BP神经网络对电力负荷系统的预测控制，来抽取和逼近这种非线性函数。通过MATLAB仿真实验得到，对电力系统的短期负荷预测与实际负荷之间的误差很小，具有很好的应用前途。关键词：BP神经网络，预测控制，电力负荷引言随着智能控制理论研究的不断深入及其在控制领域的广泛应用，神经网络[1]、遗传算法[2-3]模糊理论[4]等方法被应用于系统模型预测和辨识。其中，由于BP神经网络(BackPropagation，BP)由于具有非线性逼近能力强，网络结构简单，学习速度快等优点已被广泛应用于对非线性系统的建立和预测。电力系统负荷的预测对电力系统和电厂设备的控制、运行和计划都有着重要的意义。电力系统负荷的变化一方面有未知不确定因素引起的随机波动，另一方面又具有周期变化的规律，使得负荷曲线具有相似性，而神经网络具有较强的非线性映射能力，能对负荷的变化具有很好预测性。1.BP神经网络辨识理论基础BP(BackPropagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。1.1BP算法内容基本BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行[6]。图1BP网络结构图中：jx表示输入层第j个节点的输入，j=1,…,M；ijw表示隐含层第i个节点到输入层第j个节点之间的权值；i表示隐含层第i个节点的阈值；()x表示隐含层的激励函数；kiw表示输出层第k个节点到隐含层第i个节点之间的权值，i=1,…,q；ka表示输出层第k个节点的阈值,k=1,…,L；x表示输出层的激励函数；ko表示输出层第k个节点的输出。根据信号的前向和反向的过程传播式的最后推导出最后式子为下面四个式子1.输出层权值调整公式：11()'PLppkikkkipkwTonety（1-1）2.输出层阈值调整公式：11()'PLppkkkkpkaTonet（1-2）3.隐含层权值调整公式：11()'()PLppijkkkkiijpkwTonetwnetx（1-3）4.隐含层阈值调整公式：1a1kiwijwLakaqi………………1xjxMx1okoLo输出变量输入变量输入层隐含层输出层11()'()PLppikkkkiipkTonetwnet（1-4）算法的流出图为如下图二所示：图2BP算法程序流程图1.2BP算法的不足BP算法因其简单、易行、计算量小、并行性强等优点，目前是神经网络训练采用最多也是最成熟的训练算法之一。其算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题[5]：（1）学习效率低，收敛速度慢首先，BP算法是利用误差函数对权值的一阶导数信息来指导权值调整，以求最终误差达到最小。在执行过程中，网络参数每次调整的幅度，均以一个与网络误差函数或其对权值的导数大小成正比的项乘以固定的因子进行。这样，在误差曲面曲率较高处，这一偏导数值较大，网络参数调整的幅度也大，以至于在误差函数最小点附近会发生过调整现象，使权值调节路径变为严重的锯齿形，难以收敛到最小点.为保证算法的收敛性，学习速率必须很小。这样在误差曲面较平结束参数初始化：最大训练次数，学习精度，隐节点数，初始权值、阈值，初始学习速率等批量输入学习样本并且对输入和输出量进行归一化处理计算各层的输入和输出值计算输出层误差E(q)E(q)ε修正权值和阈值YesNYes开始坦处，由于偏导数值本身已很小，网络参数调节的幅度就更小，以至于需要经过多次调整才能将误差函数曲面降低。这是BP算法学习速度慢的一个重要原因.（2）易陷入局部极小状态BP算法是以梯度下降法为基础的非线性优化方法，不可避免地存在局部极小问题。且实际问题的求解空间往往是极其复杂的多维曲面，存在着许多局部极小点，更使这种陷于局部极小点的可能性大大增加。通常，在BP算法中随机设置初始权值时，网络的训练一般较难达到全局最优。1.3算法的改进针对BP算法学习效率低，收敛速度慢的缺陷，目前已有许多学者对其进行改进[55][56],如采用增量可调法，原有BP算法中网络调整参数学习速率为一固定值是使其收敛速度慢的主要原因。采用改进的自适应学习速率方法，可以得到更快的收敛速度，在反向传播修正权值和阈值的过程中，针对某个特定的权值或阈值进行具体的调整。以kiw为例，若误差E对隐含层权值的一阶导数为()kiKEw与其上一步的一阶导数(1)kiKEw符号相同，说明根据此参数变化的方向在误差曲面上是可以继续按照这个趋势调整的。也就是说可以进一步增大学习速率，以使其可以以更快的速度按照此方向调整相应的权值或与阈值。反之如果异号，则表示在此权值或阈值方向越过一个局部极小点，为避免振荡，需要适当减小学习速率，减小修改幅度。在一步修改完成后，如果全局误差变化较大，表明调整量过大，跨过了误差变化激烈区域某些较窄的坑凹处，这时应该减小所有的学习速率，同时放弃本次对所有参数的修正，以确保不会跨过该坑凹处，同时避免振荡。具体调整方法如下：(1)当()(1)KKEE时：①0()(1)kikiKKEEww时，()(1)kikiwwKKim，dxc；（1-5）②0()(1)kikiKKEEww时，()(1)kikiwwKKdm，dxc；（1-6）(2)当()(1)KKEerE时：()(1)kikiwwKKdm,0dx；（1-7）同时权值和阈值保持不变，不做修改。(3)当(1)()(1)KKKEEerE时：()(1)kikiwwKK,dxc；（1-8）网络中其它参数的修正方法与kiw的修正方法相同。2.神经网络预测控制预测是借助于对已知、过去和现在的分析得到对未来的了解。以状态空间法为基础的现代控制理论是20世纪60年代初期发展起来的，它对自动控制技术的发展起到了积极的推动作用，但存在着理论与实际应用不协调的现象。人们试图寻找模型要求低、在线计算方便、控制效果好的算法，在这种背景下，预测控制相应而生。2.1预测控制的基本特征预测控制发展至今已经有很多种具体算法，虽然有不同的表示形式，但其基本思想和机理在本质上是相同的。预测控制可由预测模型、滚动优化和反馈校正三大特征所概括(1)预测模型预测控制需要一个描述动态行为的基础模型，称预测模型。它有预测功能，即能根据系统现时刻和未来时刻的控制输入及历史信息，预测过程输出的未来值。因此，预测控制算法改变了现代控制理论对模型结构较严格的要求，更着眼于根据功能要求，按最方便的途径建立多样化的模型。对于线性稳定对象，阶跃响应、脉冲响应这类非参数模型可以直接作为预测模型，非线性系统、分布参数系统的模型只要具有预测功能，也可以作为预测模型；甚至在对象的动态变化规律高度复杂，难以给出定量模型时，还允许表格模型、模糊模型、神经网络模型、模糊神经网络模型以及规则作为预测模型[7]。这种模型对结构约束的突破，为系统的建模提供了很大的自由度，不但可以采用常规手段建模，而且可以引入人工智能，建立非常规启发模型，为多层控制提供合适不同类型的模型。用于描述过程动态行为的预测模型可以通过简单试验得到，无需系统辨识这类建模过程的复杂运算。此外，由于采用了非最小化形式描述的离散卷积和模型，信息冗余量大，有利于提高系统的鲁棒性[8]。(2)反馈校正由于实际过程存在非线性时变、模型失配和干扰等不确定性因素，使得基于模型的预测不可能与实际完全相符。因此必须通过输出的实际值与模型的预测值进行比较，得出模型的预测误差，再利用这个误差来校正模型的预测值，从而得到更为准确的预测值。正是这种模型预测加反馈校正的过程，使预测控制具有很强的抗干扰和克服系统不准确性的能力。(3)滚动优化即采用滚动式的有限时域优化策略。也就是说优化策略不是离线完成的，而是反复在线进行的，即在每一采样时刻，优化性能指标只涉及从该时刻起到未来的有限时间段，而到下一个采样时刻，这一优化时段会同时向前推移。因此预测控制不是用一个对全局相同的优化指标，而是在每一个时刻有一个相对于该时刻的局部优化性能指标。不同时刻优化性能指标的形式是相同的，但其包含的时间区域是不同的，这就是滚动优化的含义。虽然预测控制采用这种有限时段优化具有一定的局限性，滚动优化可能无法得到全局的最优解，但优化的滚动实施却能顾及由于模型失配、时变、干扰等引起的不确定性，及时弥补这些因素造成的影响，并始终把新的优化建立在实际过程的基础上。因此，建立在有限时段上的滚动优化策略更加符合过程控制的特点[9]。2.2预测控制的基本类型预测控制有很多不同的类型，根据不同的划分标准，可以得到不同的分类。按照预测模型划分，可以将预测控制分为以下三类：（1）以参数模型为预测模型的预测控制算法：参数模型分为差分方程模型和离散状态空间模型[9]。差分方程模型是一种离散时间动态模型，它分为确定性差分方程和随机性差分方程。通常，预测控制采用随机差分方程，如受控自回归滑动平均模型（ControlledAuto-RegressiveMoving简称CARMA）和受控自回归积分滑动平均模型（ControlledAuto-regressiveIntegratedMovingAverageModel简称CARIMA）等。状态空间模型是一种描述动态系统的完整模型，它不仅反映系统的输入输出关系，而且还能揭示系统内部之间，以及内部与外部之间的联系，该模型由状态方程和输出方程组成。基于参数模型的预测控制算法主要有Clarke提出的广义预测控制（GeneralizedPredictiveControl简称GPC）和Lelic提出的广义预测极点配置控制（GeneralizedPole-placementPredictiveControl简称GPP），这种算法吸取了DMC的滚动优化策略，在预测模型和反馈机制等方面保留了自校正控制的优点，同时克服了广义最小方差、极点配置等经典自适应算法的缺点。袁著祉[10]等人给出一个加权广义预测自校正控制在工业锅炉上的成功应用实例，实际运行结果表明了这种控制器有很好的鲁棒性，四个主要回路（锅炉水位控制、蒸汽压力控制、烟气含氧量控制、炉膛负压控制）均是用广义预测控制GPC实现的，工业锅炉加权广义预测自校正控制微机系统在工厂运行后，热效率达77%，烟气含氧量9%，煤渣含炭量、蒸汽压力、水位、炉膛负压、除氧器水位及压力等各项指标都达到较高标准，比PID调节器能够更好地控制工业锅炉。此外，广义预测控制已成功应用于飞机自动驾驶仪上、船舶自动舵上，并且在电力行业、化工业、医疗业等行业也有成功的应用。（2）以非参数模型为预测模型的预测控制算法：这类算法主