系统辨识--第6章-极大似然估计

第6章极大似然法估计1、极大似然法德国著名数学家、物理学家、天文学家、大地测量学家被认为是最重要的数学家，是近代数学奠基者之一和牛顿、阿基米德被誉为有史以来的最伟大的3位数学家，有“数学王子”之称卡尔.弗里德里希.高斯（1777—1855）根据概率的方法能够导出由观测数据来确定系统参数的一般方法应用贝叶斯定理讨论了参数的估计法。英国实验遗传学家兼统计学家把渐进一致性、渐进有效性等作为参数估计量应具备的基本性质在1912年提出了极大似然法RonaldAylmerFisher(1890～1962)1、极大似然法6.1极大似然法辨识准则以观测值的出现概率最大为准则思路设一随机试验已知有若干个结果Ａ,Ｂ,Ｃ,…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。基本思想构造一个以数据和未知参数为自变量的似然函数，当这个函数在某个参数值上达到极大时，就得到了系统模型参数的估计值1、极大似然法极大似然法辨识的物理意义根据一组确定的随机序列yN，设法找到参数估计值，它使得随机变量y在条件下的概率密度函数最大可能地逼近随机变量y在θ(真值)条件下的概率密度函数，即：maxˆ(|)(|)MLpypy1、极大似然法ˆMLˆML一．极大似然原理观测数据：y1,y2,…,yN；联合概率密度P(Y|θ)；θ待估计的参数mLEˆ时，该观测值{y1,y2,…,yN}的可能性最大；当构造一个以数据和未知参数为自变量的似然函数，极大化这个似然函数，获得模型的参数估计值mLEˆ接近于真实θ的可能性最大当观测结果为{y1,y2,…,yN}的条件下，以观测值的出现概率最大作为准则似然函数如何选择？1、极大似然法已知参数θ的条件下，观测量的概率密度为P(Y|θ)，观测数据{y1,y2,…,yN}似然函数)|,...,,()|,...,,(2121NNyyyPyyyLθ的极大似然估计0L等价于mLELˆ0ln但一般不容易得到解析解，需采用数值方法得到其近似解似然函数的选择各观测量y1,y2,…,yN由随机变量y的独立样本所组成，观测量是独立的NiiNNyPyPyPyPyyyL12121)|()|()...|()|()|,...,,(观察值概率分布密度函数的乘积1、极大似然法例1.已知独立同分布的随机过程{x(k)}在θ条件下随机变量x的概率密度为0,)|(2xxexP求参数θ的极大似然估计解：TNNxxxx)(...)2()1()|)(),...,2(),1(()|(NxxxLxLNNkNkNkxkxNxL11)()(lnln2)|(lnNkNkNNkkxkxkxP1121])(exp[)()|)((0)(2)|(ln1NkNkxNxLNkMLEkxN1)(2ˆ1、极大似然法例2.{x(k)}是独立分布随机序列，其概率密度22234exp(0)(|)(0)xxxPxaaaax求a的极大似然估计解：TNNxxxx)(...)2()1(NkNkNNNkNkxakxaakxPaxL1122231)(1exp)(4)|)(()|(NkNkNkxakxaNNaxL12212)(1)(lnln34ln)|(ln0)|(lnaaxLNNkMLEkxNa12)(32ˆ1、极大似然法说明若随机变量观测值的概率密度函数已知，可以容易的求出参数的极大似然估计极大似然估计量都具有良好的渐近性质，但无偏性不是所有极大似然估计量都具有的性质适用于ξ(k)相关情况；当系统信噪比较小时有较好的估计效果；算法稳定度好；实际工程中广泛使用。1、极大似然法6.2动态系统模型参数的极大似然估计1.白噪声情况系统差分方程：θΦYeˆNNNTNNnnn)()2()1(e)()()()()(kξkubkya-1-1zzξθΦYNN系统估计残差为：2、动态系统模型参数的极大似然估计ξ(k)为高斯白噪声，方差为σ2高斯分布概率密度函数：]2)(exp[)2(1)ˆ)((222/12σkeπσkepθ222ˆˆln22ln2ˆLlnσσNπNNNTNNN)θΦ(Y)θΦ(Y)θY()2)ˆ()ˆ(exp()2(1)ˆ(L22/2σπσNNTNNNNθΦYθΦYθe似然函数L为：]2)(exp[)2(1)ˆ)(()ˆ(L222/21σkeπσkepNNnnkNθθe0ˆ1ˆˆLln2)θΦΦY(Φθ)θY(NTNNTNNσ02ˆˆ2ˆLln422σσNσNNTNNN)θΦ(Y)θΦ(Y)θY(2、动态系统模型参数的极大似然估计可见在ξ(k)为高斯白噪声序列这一特殊情况下，极大似然辨识与一般最小二乘法辨识有相同结果。NnnkNNTNNNTNNTNMLkeNN1221)(1)ˆ()ˆ(1)(ˆθΦYθΦYYΦΦΦθ2、动态系统模型参数的极大似然估计2.有色噪声情况nnnnnnzczczczbzbbzbzazazakzckuzbkyza11111011111111)()(1)()()()()()()(θΦYˆNNNeTNNnyny)()1(YTNNnene)()1(e式中：Tnnnccbbaaˆˆˆˆˆˆˆ101θ)(ˆ)()(kykyke系统差分方程)()1()()()()1()2()1()2()2()2()1()1()()1()1()1()(NeNneNuNuNyNnyeneunuynyeneunuynyNΦ2、动态系统模型参数的极大似然估计因为ε(k)为高斯白噪声，故而e(k)可假设为零均值的高斯白噪声。则似然函数L为：)2)ˆ()ˆ(exp()2(1)ˆ(L22/2σπσNNTNNNNθΦYθΦYθeNnnkNkeσσNπN1222)(21ln22ln2ˆLln)θ(e由0)ˆ|(ln2θeNLNnnkkeN122)(1ˆ记NnnkkeJ12)(21JN2ˆ22、动态系统模型参数的极大似然估计讨论：y(k)出现的概率最大，亦即J达到极小值。即使对概率密度不作任何假设，使J极小也是极有意义的。因此，ML估计就变成了如何求取J极小的算法。可见，使L为最大的估计值，等价于使J为极小的估计值。求J的极小值问题只能采用循环迭代方法。常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。2、动态系统模型参数的极大似然估计0ˆˆˆ12201θθθθθθJJθJ称为J的梯度矩阵22θJ称为J的海赛矩阵牛顿-拉卜森法的迭代公式：注意：上式中J的梯度矩阵和海赛矩阵，依不同辨识对象，需进行详细推导，推导出矩阵中每个元素的具体表达式。2、动态系统模型参数的极大似然估计Tnnnccbbaaˆˆˆˆˆˆˆ1010θNewton-Raphson迭代计算步骤(1)θ初始值的选定任意取值用基本LS辨识获取(2)计算预测误差(残差)及J值NnnkkeJ12)(21指标函数J值：)(ˆ)()(kykyke预测误差：JN2ˆ2误差方差估计值：2、动态系统模型参数的极大似然估计(3)计算梯度矩阵及海赛矩阵Tnnnckeckebkebkeakeakeke)()()()()()()(101θθθ)()(1kekeJNnnkNnnkTNnnkkekekekeJ122122)()()()(θθθθ当估值比较接近真值θ时，e(k)接近于0，后一项可忽略，则海赛矩阵为：TNnnkkekeJθθθ)()(1222、动态系统模型参数的极大似然估计(4)按牛顿-拉卜森迭代公式计算新的估计值0ˆˆˆ12201θθθθθθJJ(5)计算残差方差比则终止迭代返回(2)进行循环迭代，若：2、动态系统模型参数的极大似然估计221020ˆˆˆ0.01%6.3递推极大似然法递推ML算法的特点：按不同的估计方法，可得不同的递推极大似然算法。常用的有按牛顿-拉卜森法、二次型函数逼近法的递推ML算法(1)其性能介于递推广义最小二乘法与离线ML法之间；(2)收敛性好，以概率1收敛于局部极小值；(3)在高噪声时，采用递推ML效果好。递推极大似然法自学3、递推极大似然法