第5章最小二乘类辨识算法2

1第5章最小二乘类参数辨识方法25.1自适应辨识算法最小二乘算法存在着两方面的缺陷（1）当模型噪声是有色噪声时,最小二乘参数估计不是无偏一致估计。（2）随着数据的增长，最小二乘法将出现数据饱和现象，这是由于增益矩阵K(k)随着k的增加将逐渐趋近于零，以致递推算法慢慢失去修正能力。3针对这些现象提出了一些修正算法解决数据饱和问题介绍两种方法遗忘因子法限定记忆法（RWLS-RegressiveWeightedLeastSquare）：)]1()()()[()1()(kkhkzkKkkT1])(1)()1()()[()1()(kΛkhkPkhkhkPkKT)1()]()([)(kPkhkKIkPT（1）根据一批数据，利用一次完成算法，预先求得（2）直接给定初始值，a-充分大的实数，-充分小的实向量000000100()()ˆ()(0)TLLLTLLLPLHHLPHzIaP2)0(ˆ(0)5根据定义，是正定的，则也是正定的，那么有：111][)]()()([)(kkTkTkiHΛHihihiΛkP)(1kP0)]()1()][()1([0)(1)()1()(TTkhkPkhkPkΛkhkPkh即0)()()1()()]()1()][()1([1kkhkPkhkhkPkhkPTT60)()1()()()1()()1()()()1()1()()(1kPkPkkhkPkhkPkhkhkPkPkhkKTTT)()1()1()()()1()]()([)(kPkPkPkhkKkPkhkKIkPTT可见P(k)是递减的正定矩阵，当，所以增益矩阵K(k)随着k的增加将逐渐趋于0向量，从而使RLS算法失去修正能力。k0)(kP7当k较大时，P(k)的所有元素都变得很小，不仅新数据所含的信息对改进参数估计不起作用，而且由于计算机的误差，反而使P(k)矩阵失去正定性，甚至破坏对称性，造成参数估计值偏离真值越来越大。85.1.1遗忘因子法针对以下模型将其写成最小二乘格式L-数据长度)()()()()(11kvkuzBkzzA)()()(kvkhkzTLLLvHz（1）（2）（3）TLLvvvv)](,),2(),1([1212()[(1),,(),(1),,()][,,,,,,,]abTabTnnhkzkzknukuknaaabbbTLLzzzz)](),2(),1([)()1()()1()2()1()1()1()1()0()1()0()()2()1(bababaTTTLnLuLunLzLznuunzznuunzzLhhhH10数据加上衰减因子（）后记作所以10TLLLLzLzzzz)](),1(),2(),1([21*)()1()2()1(21*LhLhhhHTTTLTLL***LLLvHz（4）（5）（6）则11仍为白噪声向量可得一次完成算法为*Lv**1****ˆ()()()TTTLLLLLLLHHHZPLHZ（7）12递推算法为1ˆˆˆ()(1)()[()()(1)]()(1)()[()(1)()]1()[()()](1)TTTkkKkzkhkkKkPkhkhkPkhkPkIKkhkPk10IaP2)0(ˆ(0)（8）（9）式中遗忘因子可按下面的原则取值：①若要求步后数据衰减至36%,则；②取作时变因子，其中。遗忘因子的取值大小对算法的性能会产生直接的影响。值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。13Tc11Tc()()()kk001100990095.,().问题讨论（１）残差与新息的关系或14)(~)]()()(1[)(kzkhkPkhkT)()1()()(~)(khkPkhkzkT（２）准则函数的递推计算15)()1()()(~)1()(2khkPkhkzkJkJT遗忘因子LS法和加权RLS算法主要的差别:加权方式不同加权RLS法各时刻权重是不相关的,也不随时间变化;遗忘因子法各时刻权重是有关联的,各时刻权重的大小随时间变化.加权的效果不一样加权RLS法获得的是系统的平均特性;遗忘因子法能实时跟踪系统明显的变化,对系统的时变特性具有跟踪能力.175.1.2限定记忆法限定记忆法的参数估计值始终依赖于有限个最新数据所提供的信息,每增加一个新数据，就去掉一个老数据，数据长度始终不变。特点离现时刻L以前的老数据所含的信息从算法中彻底抛除18a为充分大的数,充分小的实向量L为数据长度（10）（11）.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()],(ˆ)()()[,1(),(ˆ),1(ˆ11LkkPLkhLkkKLkkPLkhLkkPLkhLkhLkkPLkkKLkkLkhLkzLkkKLkkLkkLkkPkhLkkKLkkPkhLkkPkhkhLkkPLkkKLkkkhkzLkkKLkkLkkTTTTTT-I+IP(,)(,),00002aI,相应的准则函数递推计算式为其中19,)()1,()(1)(~)(),()(1)(~)1,(),1(2221LkhLkkPLkhkzkhLkkPkhkzLkkJLkkJTT)1,(ˆ)()()(~),(ˆ)()()(~21LkkLkhLkzLkzLkkkhkzkzTT20(1)a为充分大的数,充分小的实向量（2）利用最小二乘递推算法，获得初步的参数估计值和P阵，作为RFM递推算法的初始状态和。（3）每获得一组新的数据就利用递推算法的后三式计算和，再利用前三式计算和。如此不断迭代，可获得最终的辨识结果。后三式用来增加新数据的信息，前三式则用于去掉老数据的信息。ˆ(0,1)L)1,0(LP)()(LkhLkz、ˆ(,)kkL),(LkkPˆ(1,)kkL),1(LkkPP(,)(,),00002aI,a为充分大的数,充分小的实向量1ˆˆˆ()(1)()[()()(1)]1()(1)()[()(1)()]()()[()()](1)TTTkkKkzkhkkKkPkhkhkPkhkkPkIKkhkPkP(,)(,),00002aI,②利用最小二乘递推算法，获得初步的估计值和P矩阵，作为REM递推的初始状态)1,0(),1,0(ˆLLP①22（10）（11）.)1,()](),([),()()1,()(1)()1,(),()]1,(ˆ)()()[,()1,(ˆ),(ˆ),()](),1([),1()(),()(1)(),(),1()],(ˆ)()()[,1(),(ˆ),1(ˆ11LkkPLkhLkkKLkkPLkhLkkPLkhLkhLkkPLkkKLkkLkhLkzLkkKLkkLkkLkkPkhLkkKLkkPkhLkkPkhkhLkkPLkkKLkkkhkzLkkKLkkLkkTTTTTT-I+I③④235.2偏差补偿最小二乘法若噪声为有色噪声则最小二乘法是有偏的，故提出称为偏差补偿最小二乘法过程)(ku)(kw)(kz)(ky和是过程的输入和输出；是输出测量值；是均值为零，方差为的不相关随机测量噪声。)(ku)(ky)(kz)(kw2w24当过程的模型取测量方程为式中)()()()(11kuzBkyzA)()()()()(11kekuzBkzzA)()()(1kwzAke（12）（13）（14）bbaannnnzbzbzbzBzazazazA2211122111)(1)(1212()[(1),,(),(1),,()][,,,,,,,]abTabTnnhkzkzknukuknaaabbb)()1()()1()2()1()1()1()1()0()1()0()()2()1(bababaTTTLnLuLunLzLznuunzznuunzzLhhhH对模型（13），参数的最小二乘估计量为模型（13）可以写为26LkLkTLTLLTLLSkzkhkhkhzHHH1111)()()()()(ˆ)()()()(kwkrkhkzTTTnnTababbbaaankwkwkwkr],,,,,,,[]0,,0,0),(,),2(),1([)(2121)()2()1()()()2()1()()2()1()(212121anbnannkwakwakwakwnkubkubkubnkzakzakzakzabaLkTLkLkTTTLkLkTLkLkTLkTLSLkTkrkwkhkhkhkwkrkhkhkhkhkzkhkzkhkhkhkhkhkhkh10101001011101101])()()[()()()]()()()[()()()()()()()]()([)()()ˆ()()(两边同取极限，得28LkTLSLkTkrkwkhkhkh1001])()()[()ˆ()()(LkTLLLSLkTLkrkhLkwkhLkhkhL1001])()(1)()(1)ˆ()()(1limlimlim020)()(1limDkrkhLwTL上式第一项趋于0，第二项将收敛于02DwbannID00029所以有其中0120ˆlimDCwLSLLkTLkhkhLC1)()(1limbannID000（15）（16）（17）CLkTLkhkhL1)()(1lim30引入补偿项，则参数的估计值可以写成：其中P(k)定义为为噪声w(k)的方差的估计值012DCw2ˆˆˆˆ()()()()(1)cLSckkkkPkDk11)()()(kiTihihkP（18）（19）2ˆw31)1()]()([)(kPkhkKIkPT2ˆ[()()(1)]()(1)1()(1)()TLSTzkhkkJkJkhkPkhk1)]()1()(1)[()1()(khkPkhkhkPkKTˆˆˆ()(1)()[()()(1)]TLSLSLSkkKkzkhkk偏差补偿最小二乘递推算法（20）)](ˆ)1(ˆ1[)()(ˆ