最小二乘参数辨识方法及原理

系统辨识第4章最小二乘参数辨识方法1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、增广最小二乘辨识方法6、多变量最小二乘辨识方法本章内容本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识1、问题的提出热敏电阻的测量值t)(C203251738895R)(76582687394210101032例：表中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型。1、问题的提出辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。ProcessInputOutput工程实践目的模型结构参数辨识模型校验模型确定1、问题的提出极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ要求：独立观测条件下，知道输出量的概率分布缺点：输出量概率密度分布未知，极大似然无法工作计算量大，得不到解析解∫Va∫X加速度计∫,,ZXY陀螺仪xy0运动轨迹x1y1tdttavv00)(tdttvXX00)(1、问题的提出——惯性器件标定陀螺仪加速度计1、问题的提出——惯性器件标定POOPOIIOPPOOIIFaaKaaKaKaKaKKy222PPPOOOIIIIPPIaKaKaKaaKSOOSOIIOSSOOIIdaaKaaKaKaKaKK222SSSOOOIIIISSIaKaKaKaaK零偏标度因数输出轴灵敏度误差系数摆轴灵敏度误差系数二阶非线性误差系数1、问题的提出——惯性器件标定1、问题的提出——惯性器件标定POOPOIIOPPOOIIFaaKaaKaKaKaKKy222PPPOOOIIIIPPIaKaKaKaaKyxnybxbbyaxaafhhyxfcr,,,21021010ybxbbyyaxaax210221021、问题的提出——景像匹配),(),(),(yxvWyxXyxYT式中，),(yxX=[1,yxfc,,),('yxfcx,),('yxfcxx,y,),('yxfcy,),('yxfcyx,),('yxfcyy]T；),(yxY＝),(),(yxfyxfcr；W＝[,0dh,0da,,21dada,0db,1db2db]T；),(yxv为量测噪声。1、问题的提出——景像匹配0dh=00h，1dh=11h，0da=00a，1da=11a，2da=02a，0db=00b，1db=01b，2db=12b1、问题的提出——摄像机标定摄像机坐标系ZXYOMm),,(cccZYXccXZfxccYZfyxypfy0Sx0o1、问题的提出——摄像机标定1、问题的提出——摄像机标定110tR010000001T00、问题的提出——摄像机标定3433323114131211muZmuYmuXmumZmYmXmiwiiwiiwiiwiwiwi3433323124232221mvZmvYmvXmvmZmYmXmiwiiwiiwiiwiwiwiNi,,2,1m次独立试验的数据),(11yt),(22yt),(mmyt)()()()(22110thathathaatynn)(kG)(kt)(ky)(kv)(kz)(kG)(kt)(ky1、问题的提出)()()(kvkykzm次独立试验的数据),(11yt),(22yt),(mmyt)()()()()(22110kvkhakhakhaakznnzt)(tf•1795年，高斯提出了最小二乘方法。)(kG)(kt)(ky)(kv)(kz1、问题的提出未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出Gauss（1777-1855）)()()(kvkykz使最小mkkykzkw12|)()(|)(未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出Gauss（1777-1855）)()()(kvkykz使最小mkkykzkw12|)()(|)(2、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系t)(C1t2t1NtNtR)(1R2R1NRNR•当测量没有任何误差时，仅需2个测量值。•每次测量总是存在随机误差。btaRiiivRy或iivbtayiiiiiibtayvRyv＝或2.1利用最小二乘法求模型参数根据最小二乘的准则有NiiiNiibtaRvJ1212min)]([根据求极值的方法，对上式求导NiiiibbNiiiaatbtaRbJbtaRaJ1ˆ1ˆ0)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ1ˆ1ˆ0)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN111211ˆˆˆˆ2112111211211121ˆˆNiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa例：表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型，并求出当温度在C70时的电阻值。表1热敏电阻的测量值t)(C20.52632.740516173808895.7R)(765790826850873910942980101010322.1利用最小二乘法求模型参数表1热敏电阻的测量值t)(C20.52632.740516173808895.7R)(76579082685087391094298010101032762.702ˆa4344.3ˆbCt70168.943R2112111211211121ˆˆNiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaR2.2一般最小二乘法原理及算法)(kG)(ku)(ky)(kv)(kz图3.4SISO系统的“灰箱”结构nnnnzazazazbzbzbzuzyzG221122111)()()(niiniiikubikyaky11)()()(2.2一般最小二乘法原理及算法)(zG)(ku)(ky)(kv)(kz图SISO系统的“灰箱”结构若考虑被辨识系统或观测信息中含有噪声)()()()(11kvikubikyakzniinii)(kz为系统输出量的第k次观测值;)(ky为系统输出量的第k次真值;)(ku为系统的第k个输入值;)(kv是均值为0的随机噪声。)()()()(11kvikubikyakzniinii)](,),2(),1(),(,),2(),1([)(nkukukunkykykykh如果定义Tnnbbbaaa],,,,,,,[2121)()()(kvkhkz式中为待估参数。2.2一般最小二乘法原理及算法)()()(kvkhkz令mk,,2,1，则有)()2()1(mzzzZm)()1()()1()2()1()2()1()1()0()1()0()()2()1(nmumunmymynuunyynuunyymhhhHmTnnbbaa11TmmvvvV)()2()1(2.2一般最小二乘法原理及算法mmmVHZ)(zG)(ku)(ky)(kv)(kz图SISO系统的“灰箱”结构最小二乘的思想就是寻找一个的估计值ˆ，使得各次测量的),1(miZi与由估计ˆ确定的量测估计ˆˆiiHZ之差的平方和最小，即2.2一般最小二乘法原理及算法min)ˆ()ˆ()ˆ(mmTmmHZHZJ0)ˆ(2ˆmmTmHZHJmTmmTmZHHHˆ如果mH的行数大于等于列数，即nm2，mTmHH满秩，即nHHmTm2)(rank，则1)(mTmHH存在。则的最小二乘估计为2.2一般最小二乘法原理及算法mTmmTmZHHH1)(ˆ最小二乘估计虽然不能满足式mmmVHZ中的每一个方程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量误差),,1)((miiv是有益的。2.2一般最小二乘法原理及算法mTmmTmZHHH1)(ˆ最小二乘估计虽然不能满足式mmmVHZ中的每一个方程，使每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量误差),,1)((miiv是有益的。mmmVHZzt)(tf2.2一般最小二乘法原理及算法最小二乘法的几何解释mmmVHZ)()2()1(mzzzZm)()1()()1()2()1()2()1()1()0()1()0()()2()1(nmumunmymynuunyynuunyymhhhHmTnnbbaa11的线性组合维空间中基向量是)}(),2(),1({mhhhmZm的近似是在最小二乘意义下对mmZHˆ的张成的空间的投影。在应该等于)}(),2(),1({ˆmhhhZHmm2.2一般最小二乘法原理及算法最小二乘法的几何解释222VHZ2Z)1(h)2(hVˆˆ2H)2()1(2zzZTnnbbaa11)2()1(2hhH当系统的量测噪声mV是均值为0，方差为R的随机向量，则最小二乘估计有如下性质。2.2一般最小二乘法原理及算法(1)最小二乘估计是无偏估计（无偏性）)ˆ(E或0)~(E(2)最小二乘估计是有效估计（有效性）11)()()~~(mTmmTmmTmTHHRHHHHE(3)最小二乘估计是一致估计（一致性）0)|ˆ(|limmmp最小(1)最小二乘估计是无偏估计，即)ˆ(E或0)~(E证明：mTmmTmZHHH1)(ˆ~])([)ˆ()~(1mTmmTmVHHHEEE)()(1mmTmmTmZHHHHmTmmTmVHHH1)(0mTmmTmmTmmTmZHHHHHHH11)()()()()(1mTmmTmVEHHH2.2一般最小二乘法原理及算法如果由测量噪声及模型误差等引起的误差v的均值为0，且v