系统辨识方法之最小二乘法

-1-目录一、系统辨识的定义..................................................................................................................-2-二、最小二乘法的引出..............................................................................................................-2-三、最小二乘法的原理..............................................................................................................-3-3.1最小二乘法一次完成推导[1]........................................................................................-3-3.2最小二乘法的缺陷[5]....................................................................................................-5-四、其他系统辨识方法..............................................................................................................-5-4.1基于BP神经网络的系统辨识方法特点[3].................................................................-5-4.2基于遗传算法的系统辨识算法...................................................................................-6-五、结论......................................................................................................................................-7-六、参考文献..............................................................................................................................-7--2-系统辨识方法简介摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文简要介绍了系统辨识的三种方法，并对最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。对于非线性系统的辨识问题，本文介绍了基于BP神经网络算法的系统辨识方法，这种方法由于具有自学习能力，能很好的适应非线性的复杂性，得到良好的辨识效果。此外，由于普通的辨识方法往往在辨识过程中陷入局部最优的困扰，特提出基于遗传算法的系统辨识方法，保证了全局最优的实现和求解。关键词：系统辨识、最小二乘法、BP神经网络、遗传算法一、系统辨识的定义系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指定的一类系统中，确定一个与被识别的系统等价的系统。[1]最先提出了系统辨识的定义。随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。[2]二、最小二乘法的引出最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为“灰-3-箱”；如果我们对于研究对象的内部结构、内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。[4]应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。[8]三、最小二乘法的原理3.1最小二乘法一次完成推导[1]本文中以一个SISO系统为例说明最小二乘法的原理。假设一个SISO系统如下图所示：图1SISO系统结构图其离散传递函数为：3.1输入输出的关系为：)()()()(1kykezGku3.2进一步，我们可以得到：)()()()()(11kezBkuzAky3.3其中，扰动量)(ke为均值为0，不相关的白噪声。nnnnzazazazbzbzbzAzBzG221122111111)()()(-4-将式3.3写成差分方程的形式：)()()2()1()()2()1()(2121kenkubkubkubnkyakyakyakynn3.4令Tnkukukunkykykyk])()2()1()()2()1([)(][2121nnbbbaaa则式3.4可以写为：)()()(kekkyT3.5将上述式子扩展到N个输入、输出观测值{)(),(kyku}，k=1,2,…，N+n。将其代入到式3.5中，写成矩阵的形式为：eY3.6其中，取泛函)(J为)()()()()(212YYeeineYJTTNi最小二乘法原理既是使)(J最小，对其求极值得：由此可得系统的最小二乘法估计值为：YTTT)(这样，我们就得到了系统的最小二乘估计值。以上推导的最小二乘法存在一些缺点，比如：预先取得的观测值越多，系统参数估计的精度越高，但使得矩阵T的阶数越大，矩阵求逆计算量也越大，所需的存储空间也会越大；每增加一次观测值，必须重新计算和1)(T；若T列相关,即不满秩,则T为病态矩阵,无法求得最小二乘估计值。因此可以对该方法进行改进，从而可以得到递推最小二乘法，广义最小二乘法等改进后的方法。这里不做具体的介绍。TTNneneneeNnynynyY])()2()1([])()2()1([)()()()1()()2()1()2()()1()1()()1()1()(NuNnuNyNnyNnyunuynynyunuynyny0)]()[(YYJT-5-3.2最小二乘法的缺陷[5]最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。四、其他系统辨识方法上文中所推导出的方法为最小二乘一次实现的方法，从推导过程不难发现：我们假定噪声信号为白噪声，但实际工程应用中，白噪声在物理上是不存在的，常见的往往是有色噪声。针对于有色噪声，一次实现的最小二乘法不再满足辨识要求，所以上文中提到了改进的最小二乘法。除了最小二乘法之外，还有极大似然法、贝叶斯法，但由于最小二乘法相对于这两种方法而言，较容易理解，并且不需要严谨的统计学知识，所以应用更为广泛。但随着智能算法的日新月异，很多针对于系统辨识的智能算法涌现出来，在参数辨识的问题上发挥了其本身作用。下面简要介绍两种应用于系统辨识的智能算法，叙述其各自的优缺点。4.1基于BP神经网络的系统辨识方法特点[3]随着人们对非线性系统辨识问题研究的日益深入，更为一般的普适性非线性模型的辨识问题就显得日益重要。由于非线性系统本身所包含的现象十分丰富，很难推导出能够适应各种非线性系统的辨识方法，传统的系统辨识方法对于线性系统的辨识具有良好的效果，但对于非线性系统往往不能得到满意的效果。所以，找到一种针对于非线性系统具有良好辨识效果的方法是十分必要的。多层前馈神经网络能够以任意精度逼近非线性映射，其特有的学习能力使其能适应系统或环境的变化；并行计算特点，使其具有潜力，以快速实现大量复杂的运算；分布式信息存储与处理结构，使其具有容错性；多输入多输出结构可以方便的进行多变量系统的辨识与控制。因此，神经网络在非线性系统辨识中的应用具有很重要的研究价值和广泛的应用前景。BP网络具有自学习特性，采用BP算法，即误差反向传播算法进行自学习。BP算法可以-6-看成是以个输入到输出的高度非线性映射。通过BP网络的自学习特性，在辨识过程中可以不断的修正辨识值，使辨识的模型输出无限逼近于系统的输出值，达到精确辨识的目的。在处理非线性辨识问题中，BP神经网络算法具有其独自的优点，最终的辨识结果非常令人满意。本文不过多的叙述BP神经网络算法在系统辨识中的具体操作，如有需要，请参照文献[3]中相关内容。4.2基于遗传算法的系统辨识算法在系统辨识的方法中，基于阶跃响应曲线拟合辨识系统传递函数的方法是一种简单且非常实用的工程辨识方法。但此类辨识方法与其它传统辨识方法一样都存在一些缺点：辨识时需模型结构已知，而且当被辨识系统模型中含有二阶欠阻尼环节时，传递函数的辨识相当麻烦，难以得到满意的结果，为此找到一种操作简单适于工程应用，并且能够同时确定系统的结构与参数且全局收敛的辨识方法是十分有意义的[9]。本节中将要提到的基于遗传算法的系统辨识方法便是能够同时确定系统结构与参数且全局收敛的辨识方法。在系统辨识过程中，我们往往采用阶跃函数作为输入以获得系统的性能。基于系统阶跃响应曲线拟合的模型辨识方法是以响应曲线拟合程度为判定准则工作的，基于这一准则辨识系统存在这样的间题：当辨识出的系统模型具有对消的极零点时,系统的阶跃响应曲线仍然满足曲线完全拟合的条件，这样，理论上一个系统存在无穷多个满足拟合条件的对应系统模型,能否可靠地得到与实际系统一一对应的辨识模型，是辨识过程中值得关心的。从优