最小二乘参数辨识方法及原理(201210版)

系统辨识第3章最小二乘参数辨识方法主讲教师：赵龙办公地点：新主楼E402网站：dnc.buaa.edu.cnEmail：[e-mail]1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、处理有色噪声的最小二乘法6、多变量最小二乘辨识方法本章内容本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识1、问题的提出热敏电阻的测量值t)(C203251738895R)(76582687394210101032例：表中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型。vbtaR1、问题的提出辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。ProcessInputOutputvbtaRt(℃)203251738895R(Ω)76582687394210101032a,b1、问题的提出辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。ProcessInputOutput工程实践目的模型结构参数辨识模型校验模型确定例子：是谁打中的呢？某位同学与一位猎人一起外出打猎.一只野兔从前方窜过.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.1、问题的提出1、问题的提出一般人会想，只发一枪便打中,猎人命中的概率一般大于该同学命中的概率.看来这一枪是猎人射中的.辨识准则：以观测值的出现概率最大为准则。思路：设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。该例子所作的推断已体现了极大似然法的基本思想.ProcessInputOutput1、问题的提出极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ缺点：?要求：?1、问题的提出极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ要求：独立观测条件下，知道输出量的概率分布缺点：输出量概率密度分布未知，极大似然无法工作计算量大，得不到解析解m次独立试验的数据),(11zt),(22zt),(mmzt)()()()(22110thathathaatynn)(kG)(kt)(ky)(kv)(kz)(kG)(kt)(ky1、问题的提出)()()(kvkykzm次独立试验的数据),(11zt),(22zt),(mmzt)()()()()(22110kvkhakhakhaakznnzt)(tf•1795年，高斯提出了最小二乘方法。)(kG)(kt)(ky)(kv)(kz1、问题的提出未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出Gauss（1777-1855）)()()(kvkykz使最小mkkykzkw12|)()(|)(未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出Gauss（1777-1855）)()()(kvkykz使最小mkkykzkw12|)()(|)(2、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系t)(C1t2t1NtNtR)(1R2R1NRNR•当测量没有任何误差时，仅需2个测量值。•每次测量总是存在随机误差。btaRiiivRy或iivbtayiiiiiibtayvRyv＝或2.1利用最小二乘法求模型参数根据最小二乘的准则有NiiiNiibtaRvJ1212min)]([根据求极值的方法，对上式求导NiiiibbNiiiaatbtaRbJbtaRaJ1ˆ1ˆ0)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ1ˆ1ˆ0)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN111211ˆˆˆˆ2112111211211121ˆˆNiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa例：表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型，并求出当温度在C70时的电阻值。表1热敏电阻的测量值t)(C20.52632.740516173808895.7R)(765790826850873910942980101010322.1利用最小二乘法求模型参数表1热敏电阻的测量值t)(C20.52632.740516173808895.7R)(76579082685087391094298010101032762.702ˆa4344.3ˆbCt70168.943R2112111211211121ˆˆNiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaR2.2一般最小二乘法原理及算法)(kG)(ku)(ky)(kv)(kz图3.4SISO系统的“灰箱”结构nnnnzazazazbzbzbzuzyzG221122111)()()(niiniiikubikyaky11)()()(2.2一般最小二乘法原理及算法)(zG)(ku)(ky)(kv)(kz图SISO系统的“灰箱”结构若考虑被辨识系统或观测信息中含有噪声)()()()(11kvikubikyakzniinii)(kz为系统输出量的第k次观测值;)(ky为系统输出量的第k次真值;)(ku为系统的第k个输入值;)(kv是均值为0的随机噪声。)()()()(11kvikubikyakzniinii)](,),2(),1(),(,),2(),1([)(nkukukunkykykykh如果定义Tnnbbbaaa],,,,,,,[2121)()()(kvkhkz式中为待估参数。2.2一般最小二乘法原理及算法)()()(kvkhkz令mk,,2,1，则有)()2()1(mzzzZm)()1()()1()2()1()2()1()1()0()1()0()()2()1(nmumunmymynuunyynuunyymhhhHmTnnbbaa11TmmvvvV)()2()1(2.2一般最小二乘法原理及算法mmmVHZ)(zG)(ku)(ky)(kv)(kz图SISO系统的“灰箱”结构最小二乘的思想就是寻找一个的估计值ˆ，使得各次测量的),1(miZi与由估计ˆ确定的量测估计ˆˆiiHZ之差的平方和最小，即2.2一般最小二乘法原理及算法min)ˆ()ˆ()ˆ(mmTmmHZHZJ0)ˆ(2ˆmmTmHZHJmTmmTmZHHHˆ如果mH的行数大于等于列数，即nm2，mTmHH满秩，即nHHmTm2)(rank，则1)(mTmHH存在。则的最小二乘估计为2.2一般最小二乘法原理及算法mTmmTmZHHH1)(ˆ最小二乘估计虽然不能满足式mmmVHZ中的每一个方程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量误差),,1)((miiv是有益的。2.2一般最小二乘法原理及算法mTmmTmZHHH1)(ˆ最小二乘估计虽然不能满足式mmmVHZ中的每一个方程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量误差),,1)((miiv是有益的。mmmVHZzt)(tf2.2一般最小二乘法原理及算法最小二乘法的几何解释mmmVHZ)()2()1(mzzzZm)()1()()1()2()1()2()1()1()0()1()0()()2()1(nmumunmymynuunyynuunyymhhhHmTnnbbaa11的线性组合维空间中基向量是)}(),2(),1({mhhhmZm的近似是在最小二乘意义下对mmZHˆ的张成的空间的投影。在应该等于)}(),2(),1({ˆmhhhZHmm2.2一般最小二乘法原理及算法最小二乘法的几何解释222VHZ2Z)1(h)2(hVˆˆ2H)2()1(2zzZTnnbbaa11)2()1(2hhH当系统的量测噪声mV是均值为0，方差为R的随机向量，则最小二乘估计有如下性质。2.2一般最小二乘法原理及算法(1)最小二乘估计是无偏估计（无偏性）)ˆ(E或0)~(E(2)最小二乘估计是有效估计（有效性）11)()()~~(mTmmTmmTmTHHRHHHHE(3)最小二乘估计是一致估计（一致性）0)|ˆ(|limmmp最小(1)最小二乘估计是无偏估计，即)ˆ(E或0)~(E证明：mTmmTmZHHH1)(ˆ~])([)ˆ()~(1mTmmTmVHHHEEE)()(1mmTmmTmZHHHHmTmmTmVHHH1)(0mTmmTmmTmmTmZHHHHHHH11)()()()()(1mTmmTmVEHHH2.2一般最小二乘法原理及算法如果由测量噪声及模型误差等引起的误差V的均值为0，且V与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。(2)最小二乘估计为有效估计。11)()()~~(mTmmTmmTmTHHRHHHHE证明：11)()()()~~(mTmmTmmTmmTmTHHHVVEHHHE11)()(mTmmTmmTmHHRHHHH根据第（1）式的证明，显然有2.2一般最小二乘法原理及算法112)()(mTmmTmmTmHHHHHH12)(mTmHH独立随机变量同分布、零均值、中的各个量是mVIR2(3)最小二乘估计是一致估计，其估计值依概率收敛于真值，即证明：2.2一般最小二乘法原理及算法0)|ˆ(|limmmp最小二乘估计ˆ依概率收敛于。等价于随着m，0)~~(TE12121)(limlimmTmmmTmmHHmmHH0)(12limmTmmHH奇异常数阵是非mTmHH例3.2用2台仪器对未知标量各直接测量一次，量测量分别为1z和2z，仪器的测量误差均值为0，方差分别为r和r4的随机量，求的最小二乘估计，并计算估计的均方误差。2.2一般最小二乘法原理及算法解：由题意得量测方程222VHZ212zzZ