辩识最小二乘法

1最小二乘法(LeastSquares,LS)是一种经典有效的数据处理方法。它是1795年高斯在预测行星和彗星运动的轨道时提出并实际使用的。在系统辩识和参数估计领域中，最小二乘法是一种最基本的估计方法。它可用于动态系统，也可用于静态系统；可用于线性系统，也可以用于非线性系统；可用于离线估计，也可以用于在线估计。在随机的环境下利用最小二乘法时，并不要求知道观测数据的概率统计信息，而用这种方法所得到的估计结果，却有相当好的统计性质。第五章辩识的最小二乘法2这时的问题是已知系统的输入和输出，求参数ai和bi的估计值。模型可以改写为：5.1最小二乘估计设时不变SISO动态系统的数学模型为：11()()()()()AzykBzukek(),()ukyk10()(1)()()()()nnykaykayknbukbuknek1111101()1()nnnnAzazazBzbbzbz其中：3()(1)(1)(1)(1)(2)(2)(2)(1)()()()ynyunuynyunuynNyNunNuN(1)(2)()TYynynynNYe将上述模型改写为以下最小二乘格式：1201()(1)()()(1)()TTnnkykyknukukuknaaabbb令K=n+1…n+N，共N次观测。记(1)(2)()TeenenenN()()()Tykkek4(2)(1)(2)(2)(2)(1)()(1)()(1)(1)(1)ynynyuynynyunnuynNuynN1201(2)()()()(1)()nnenyNunNuNenNaaenabbbYe5可见，残差包括两个误差因素。一是参数估计误差带来的拟合误差；二是随机噪声带来的误差。对于上述模型的辩识问题，其中都是可以观测的数据，是待估计的参数。引入最小二乘准则:(),()ykk21ˆ()NknJekˆˆˆ()()()()()()ˆ()()()TTTTekykkkekkkek10ˆˆˆˆˆ()()(1)()()()nnekykaykayknbukbuknˆ()ek其中称为残差或方程误差，是参数估计值。进一步可以得到：ˆ()ek10ˆˆˆˆˆTnnaabb6若非奇异，可以得到：来确定估计值。求J对的偏导数并令其等于0，可得：可以看出，指数函数即残差的平方和。最小二乘估计是在残差二乘准则函数极小意义下的最优估计，即按照准则函数：ˆ21ˆ()NknJek1LSˆTTYˆˆˆˆ0ˆˆTTTJYYYYˆˆˆˆminTTJeeYYˆTTYˆT称为最小二乘估计值，对应方法称为最小二乘法．LSˆ7其中st表示钢产量，t表示年代。试用最小二乘问题的一次完成算法确定参数。并以此来预测该企业1950年的钢产量。若钢产量用如下模型描述：例:已知某企业1946年-1949年钢产量如表年份1946194719481949产量10.012.213.516.12012tstt210,,8在推导最小二乘法的结果时，并没有考虑噪声e(k)的统计特性。但在评价最小二乘估计的性质时，则必须假设噪声e(k)是不相关的，而且是同分布的随机变量，也即假设{e(k)}是白噪声序列，即20,NNeNNEeCoveI222(1)(1)(2)(1)()(1)(2)(2)(2)()(1)()(2)()()TNNNCoveEeeEeEeeEeeNEeeEeEeeNEeeNEeeNEeN9其中w(k)称为加权因子，对所有的k，w(k)都必须是正数。引进加权因子是为了考虑观测数据的可信度。如果有理由认为现时刻的数据比过去时刻的数据可靠，那么现时刻的加权值就要大于过去时刻的加权值。比如，可选当，当，这就体现了对不同时刻的数据给予了不同程度的信任。一般来说，w(k)的选择多少取决于人的主观因素，并无规律可循。如果准则函数取为加权函数，即为21ˆˆˆ()()NTknJwkekeWe(),01Nkwk11,(1)1Nkw,()1kNwk10通过极小化计算的方法称为加权最小二乘法，对应的称为加权最小二乘估计值。加权最小二乘估计的解为：ˆˆTJeWeˆˆWLSLSˆWLS1ˆTTWLSWWYˆWLS其中W是一对称正定阵．若取W=I,则。所以，最小二乘法是加权最小二乘法的一种特例。当获得一批数据之后，利用最小二乘法或者加权最小二乘法可一次求得相应的参数估计值，这样处理的方法称为一次完成算法或者批处理算法。这在理论研究方面有很多方便之处，但在计算方面要碰到矩阵求逆的困难。但当维数增加时，矩阵求逆的运算量将急剧增加，会给计算速度和存储带来负担。11可以用高斯消去法进行求解方程式，以便更快地求得参数的估计值。但是，更实用的方法还是设法化为递推计算的形式，以便在线辩识，大大减少数据的存储。高斯“未知量的最适合值(最可能值)是使各项实际观测值和计算值之间差的平方乘以度量其精确度的数值以后的和为最小”。12(3)如果出现列相关，即不满秩的情况，为病态矩阵，则不能得到最小二乘估计值。(2)每增加一次观测量，必须重新计算一次上一节给出了最小二乘一次完成算法，但具体使用时不仅占用内存量较大，而且不能用于在线辩识。进一步，一次完成算法还有如下缺陷：5.3最小二乘递推算法(RLS)(1)数据量越多，系统参数估计的精度就越高。为了获得满意的辩识结果，矩阵的阶数常常取得非常大。这样，矩阵求逆的计算量很大，存储量也很大。1,TTT13系统用线性差分方程来描述：解决这个问题的办法是把它化成递推算法。依观测次序的递推算法就是每获得一次新的观测数据就修正一次参数的估计值，随着时间的推移，便能够获得满意的辩识结果。递推辩识算法具有无矩阵求逆，以及跟踪时变系统等特点，这样不仅可以减少计算量和存储量，而且能实现在线辩识。()()()()(1)()()()TTykkekkykyknukukn14上式的最小二乘解为：1ˆTTNNNNNNTNNPYY(1)(1)(1)(2)(2)(2),,()()()TTNNNTnynenynennYeynNenNnN10(1)()(1)(1)(1)(2)(1)(2)(2)(2)()(1)()()()nnaynynyunuaynynyunubynNynNyNunNuNb(1)(2)()enenenNNNNYe令：可得：151ˆTTNNNNNNNTNPYYNNNYe111TNNNYe1111NNNNTNNYYy111111111ˆTTTNNNNNNNNYYP如果再增加一组新的观测值u(n+N+1),y(n+N+1)，记作uN+1,yN+1，则又增加一个方程：消除矩阵求逆过程，用PN来表示PN+1。1611111111111111111NTTNNNNNTNTTTNNNNNNNNTNNNNIPPPIPP17令，则得到：111111ABCAABICABCA1111,,TMMMNNMNAIBPC矩阵求逆引理：设A为n×n矩阵，B为n×m矩阵，C为m×n矩阵，并且A，A+BC和I+CA-1B都是非奇异阵，则有恒等式：11111111111111TNNNNNTTNNNNNNNNTNNNNNTNNNPIPPPPIPPPPPP18111111111111111111111111111ˆ11ˆˆ1TTNTTNNNNNNNNTNNNNNTTNNNNNNNNNNNNTTNNNNNNTNNNNNNNNNNNTNNNNPYYPYPyPYyPPYPPyPyPPPyP式中为增益矩阵，记为GN+1，而为预报误差。11ˆTNNNy1111NNTNNNPP19递推过程如下：1111ˆˆˆTNNNNNNGy综上所述，得到最小二乘估计递推算法如下：111TNNNNNPPGP00111222ˆˆˆ,,,PGPGP11111NNNTNNNPGP20方法1:m组数据，用LS一次算法，得到，再从m+1开始递推．11ˆˆ()()maxˆ()NNiNiii对于初值的选取：00ˆ,P1ˆ()Ni20PIˆ,mmP11ˆTTmmmmmY1TmmmP方法2:，任取0ˆ0,另外，可以用下式作为递推算法的停机准则：式中为参数向量的第i个元素在N+1次递推计算结果，为给定的表示精度要求的某一正数。21所谓数据饱和，是指随着时间的推移，采集的数据越来越多，新数据提供的信息被旧数据淹没。如果辩识算法对新、旧数据给予相同的信度，那么随着从新数据中获得的信息量相对下降，算法就会慢慢失去修正能力。在实际应用中，这时参数估计值可能偏离真值较远而无法更新。(1)数据饱和现象随着数据量的增长，递推的最小二乘法将出现所谓的“数据饱和”现象。这是由于增益矩阵随着数据的增加将逐渐趋于零，以致递推算法失去修正能力的缘故。下面针对数据的饱和现象，讨论渐消记忆法、限定记忆法和振荡记忆法等适应性算法。5.4数据递推的饱和及解决办法22由此可知，PN是递减的正定阵。随着递推次数的增加，这会导致PN→0。所以增益矩阵GN+1也随着N的增加而逐渐趋于零向量，从而使得算法失去修正能力。因为：1111101TNNNNNNTNNNPPPPP1NNPP另外，由于递推在有穷字长上的计算机上实现时，每步都存在舍入误差。因此数据饱和后，由于这些原因致使新的采样值不仅对参数估计不起改进作用，反而使得所计算的PN失去正定性，甚至失去对称性，造成参数的估计量与真实参数之间的偏差越来越大。23为了克服数据饱和现象，可以用降低旧数据影响的办法来修改算法。对于时变系统，参数随着时间变化，在辩识算法中必须充分利用新数据所包含的信息，尽可能降低旧数据的影响，以便获得跟踪参数变化的实时估计。24加衰减因子后的数据阵为：渐消记忆法又称为遗忘因子法，这种方法的思想是对旧数据加上遗忘因子，按指数加权来使得旧数据的作用衰减。(2)渐消记忆法(RFF)最小二乘估计值为：(01)1111,NNNNTNNYYy1ˆTTNNNNN