最优估计第二章最小二乘法

1第二章最小二乘法最小二乘法（LeastSquaresMethods）始于1785年，德国数学家高斯（GaussKF）建立了最小二乘法的基本概念，并应用于小行星“谷神星”轨道的天文学计算中。他指出“未知量最可能的值应当使乘以衡量精确数值的实际观察值与计算值差的平方和最小”，并给出了辩识问题的公式、解和应用。此后，最小二乘法被广泛深入地研究，用于处理各种技术问题。从20世纪60年代起，最小二乘法在动态过程辩识，或控制系统参数估计领域起着重要作用。最小二乘法是一种基于使误差平方和最小的方法。它简单、易于理解、便于应用，是学习其他参数估计方法的基础。§1最小二乘法的数学推导考虑最小二乘问题：222min()()()miFfxi1xxfx(LSP)其中1()((),,())Tmfffxxx，mn。我们分别在()fx为线性向量函数和非线性向量函数时对问题(LSP)进行讨论。1.1线性情况设()fx为线性向量函数，即()Afxxb，其中A是mn的列满秩矩阵，b是n维向量。这时的(LSP)为：22min()FAxxxb(1.1.1)则2()2TTTTFAAAAxxbxxbxbb。因此，由()220TTFAAAxxb，得*1()TTAAAxb(1.1.2)由于2()0TFAAx正定(说明：BC表示矩阵(B-C)正定，BC表示矩阵(B-C)半正定，类似有符号“”和“”)，因此()Fx是严格凸函数，(1.1.2)是(1.1.1)的最优解。*1.2非线性情况设()fx为非线性向量函数。kx是当前迭代点，将()fx在kx处线性展开：()()()()()(()())()kkTkkTkTkkfxfxfxxxfxxfxxfxx记()kTkAfx，()()()kkTkkkkkAbfxxfxxfx则()kkAxxb，为此考虑线性情况下的最小二乘问题：22min()()xxx当kA列满秩时，其最优解1111()()(())()()kTTkTTkkkTTkkkkkkkkkkkAAAAAAAAAAxbxfxxfx(1.2.1)因为()2()kTkkFAxfx，2()2kTkkkAAHx，故由(1.2.1)，211()kkkkHFxxx(1.2.2)公式(1.2.2)与Newton公式相似，称为Gauss-Newton公式。类似于阻尼Newton公式，我们有阻尼Gauss-Newton公式：11()kkkkkHFxxx其中k是一维搜索步长。我们也可利用信赖域思想。考虑有约束的线性二乘问题：222min()()..kkstrxxxxx得到最优解11()()kkkkkHIFxxx其中k0使kkHI正定。§2线性模型参数的最小二乘估计2.1问题的提出考虑n阶单输入单输出的CMA-0线性系统：()()()()()AqykBqukek其中1()1nnAqaqaq，212()mmBqbqbqbq，{()}ek是具有均值为零和方差为2e的白噪声，并且与{()}uk不相关。因此，1212()(1)(2)()(1)(2)()()nmykaykaykayknbukbukbukmek即()()(),1,2,Tykkekklla其中max{,}lnm，()[(1),(2),,(),(1),(2),,()]Tkykykyknukukukma1212(,,,,,,,)Tnmaaabbb记观测向量[(1),(2),,()]TylylylNy，数据矩阵[(1),(2),,()]TAlllNaaa，干扰向量[(1),(2),,()]TelelelNe，则Aye其实，由于干扰是无法实测的，因而在上述待估计模型中，((1),(2),,())TlllNe表示残差向量(Residual)，它是因干扰和实测误差而产生的。2.2参数的最小二乘估计设含有n个参数的线性模型为20varAEIeyeee(2.2.1)3其中y是m维观测向量，A是mn的数据矩阵，是n维未知参数向量，e是m维观测误差向量，是随机变量。我们要确定参数的估计值ˆ，使误差的平方和221miiee最小。因为222minAAeyy，因此根据(1.1.2)知，当A列满秩时，1ˆ()TTAAAy(2.2.2)这时，由(2.2.1)第一式，111ˆ()()()()TTTTTTAAAAAAAAAAyee，即1ˆ()TTAAAe(2.2.3)现在考虑n阶CMA-0线性系统：()()()()()AqykBqukek其中1()1nnAqaqaq，212()mmBqbqbqbq，{()}ek是具有均值为零和方差为2e的白噪声，并且与{()}uk不相关。根据2.1子节，有Aye其中,,,Aye如2.1子节中所记。因此，参数的估计值1ˆ()TTAAAy其中[(1),(2),,()]()(1)(1)()(1)(1)()(2)(1)(2)(1)(2)()(1)()TAlllNylylylnululmylylylnululmylNylNylnNulNulmNaaa11112111121()()(1)()()()(1)(1)()(1)(1)()(1)(1)()()()(1)lNlNlNlNilililillNlNlNlNililililTlNiliyiyiyinyiuiyiuimyinyiyinyinuiyinuimAAuiyiuiyin111211112()()(1)(1)()(1)(1)(1)()(1)lNlNlNlilillNlNlNlNililililuiuiuimuimyiuimyinuimuiuim1111()(1)(1)(1)()(1)(1)(1)TlNlNlNlNTililililAyiyiyinyiuiyiuimyiy例2.2.1考虑二阶线性系统：12()(1)(2)(1)()ykaykaykbukek解：n=2，m=1，l=2，则4111222211122221112222()()(1)()()(1)()(1)(1)()()()()(1)()NNNiiiNNNTiiiNNNiiiyiyiyiyiuiAAyiyiyiyiuiuiyiuiyiui121212()(1)(1)(1)()(1)NiNTiNiyiyiAyiyiuiyiy因此11111222221111222221112222()()(1)()()()(1)ˆˆ(1)()(1)(1)()(1)ˆ()()()(1)()NNNNiiiiNNNiiiNNNiiiyiyiyiyiuiyiyiaayiyiyiyiuiyibuiyiuiyiui1212(1)()(1)NiNiyiuiyi2.3最小二乘估计的统计性质1．最小二乘估计是观测向量的线性函数因设计矩阵A不是随机变量，则由(2.1.2)得ˆLy其中1()TTLAAA。2．最小二乘估计是无偏的无偏性是指ˆ()E(2.3.1)因A不是随机变量，故由(2.3.1)第一式和第二式，()()EAEAye(2.3.2)则由(2.2.2)，11ˆ()()()()TTTTEAAAEAAAAy3．最小二乘估计是一致的一致性是指ˆlimvar0m。由(2.3.1)、(2.2.3)和(2.2.1)第三式知，5111112121ˆˆˆˆˆˆˆvar[(())(())][()()][()()]()()()()()()()TTTTTTTTTTTTTTEEEEEAAAAAAAAAEAAAAAAIAAAAAeeeeee即21ˆvar()TAAe(2.3.3)当m时，()TAA的对角元素趋于无穷大(见例2.2.1)，因此1()TAA趋于零矩阵，由此得21ˆlimvarlim()0TmmAAe4．最小二乘估计是最优线性无偏估计最优线性无偏估计是指，1ˆ()TTAAAy是问题：minvar..()nmstMEMRy(2.3.4)的最优解，即对的任意线性无偏估计：My，()E，其中nmMR，有ˆvarvar。由()E、My和(2.3.2)知，()()EMEMAy，因此MA=I，故()MAM因此2var[(())(())][()()]()()TTTTTTTEEEEEMMMEMMMeeeee由此问题(2.3.3)等价于问题：min..TnmMMstMAIMR其最优解为1ˆ()TTMAAA，因此1ˆˆ()TTMAAAyy是问题(2.3.4)的最优解。2.4最小二乘估计的局限性应用最小二乘估计都假定所有的误差限制在观测数据中，而且误差均值为零和各自独立。系统中的过程干扰通常满足均值为零的条件，但很少是白噪声或独立的随机变量。例2.4.1设二阶系统为：()1.5(1)0.7(2)(1)0.5(2)()(1)0.2(2)ykykykukukekekek其中{()}ek是均值为零标准差为0.5的白噪声。由于该系统中的干扰项()1Cq，不满足使用最小二乘法的条件，若用最小二乘法将得到有偏的参数估计值。例如，{()}uk采用幅值为1的伪随机二进制信号序列，N=500，下表给出了仿真结果。参数参数均值最小二乘法1a-1.5-1.2850.02762a0.70.5400.0211b1.01.0560.0912b0.50.9310.1211c-1.0-----2c0.2----由于最小二乘法对系统的认识有问题，将有色干扰强制按白噪声出来，得到最小的残差平方和，参数估计必然有偏。我们将在下一章介绍能够辩识()1Cq参数的增广最小二乘法。§3多输入多输出问题的最小二乘估计3.1多输入多输出问题考虑n阶多输入多输出的线性系统：1212()(1)(2)()(1)(2)()()nmkAkAkAknBkBkBkmkyyyyuuue其中,1,,,,1,,ssstijARipBRjq，即()()TTkkyaΘ()Tke其中()[(1),(2),,(),(1),(2),,()]TTTTTTTkkkknkkkmayyyuuu1212(,,,,,,,)TnmCCCBBB记[(),(1),,()]TYkkkNyyy[(),(1),,()]TAkkkNaaa[(),(1),,()]TEkkkNeee则YA