5.4最小均方算法

1§5.4最小均方(LMS)算法X第2页第2页(1)()()wwnwnn最速梯度法权系数迭代公式为其中，梯度向量()22()wnpRwn代入迭代公式得：(1)()()wwnwnn()2()wnpRwn若信号平稳，则可以由观测值估计得到。RP和若信号非平稳，统计特性是时变的，需要不断重新估计，因而运算量很大，这是自适应调整过程不允许的。RP和X第3页第3页解决问题的关键：合理估计梯度而不需要用RP和LMS算法：其基本思路与梯度下降法一致，不同之处在于用梯度的估计值代替真实的梯度，既不需要求相关矩阵，又不涉及矩阵求逆。一.权系数的迭代解2()[()]nEen2()[()]wnEenw2[()()]Eenenw其中()()()()TNendnwnxn，所以()()NenxnwX第4页第4页2()[()]wnEenw2()()NEenxn22()[()],enEen若用平方误差代替均方误差则可得梯度向量的近似表达式为2()()ˆ()2()2()()Nwenennenenxnwwˆ()()()是的无偏估计，其均值等于真值。(1)()()wwnwnn将上式带入权系数迭代公式，得(1)()2()()NwnwnenxnLMS算法迭代公式X第5页第5页将迭代公式写成矩阵形式：001111(1)()()(1)()(-1)2()(-1)(1)()NNwnwnxnwnwnxnenxnNwnwn对其中任一权系数有(1)()2()()iiwnwnenxni0,1,21iN当到达稳态时，应有*(1)()()iiiwnwnwn()()0enxni即0,1,21iNLMS算法稳态解存在随机波动。X第6页第6页二.LMS权系数的收敛性分析(1)()2()()NwnwnenxnLMS算法迭代公式问题：*(0)ww能否由任意起始位置经迭代最终收敛到最优解跟最速梯度法权向量的收敛性有何区别？()()()()TNendnwnxn()()()TNdnxnwn(1)()2()()()()TNNwnwndnxnwnxn()2()()2()()()TNNNwndnxnxnwnxnX第7页第7页()2()()2()()()TNNNwndnxnxnwnxn()2()()2()()()TNNNwndnxnxnxnwn()()()()2()2TNNNxnxndnnnIxw()()TNNExnxnR()()NEdnxnp则上式变为：(1)2()2wnIwnRp最速梯度法权系数迭代公式LMS算法是将期望值近似为瞬时值的最速梯度法。X第8页第8页(1)2()()()2()()TNNNwnIxnxnwndnxn两端取均值，得(1)2()()()2()()TNNNEwnEIxnxnwnEdnxn()2()()()2()()TNNNEwnExnxnwnEdnxn()2()()()2()()TNNNEwnExnxnEwnEdnxn若信号数据x(n)与权值wi(n)无关R2()2IREwnppX第9页第9页(1)(2)()2EwnIREwnp比较LMS算法迭代过程中权向量的平均特性跟最速梯度法迭代过程中权向量的特性相同。权向量将围绕最优点随机变化，在碗底附近徘徊。均方误差的稳态值将大于最小均方误差，产生了额外的均方误差（excessMSE）,也叫超量均方误差。(1)(2)()2wnIRwnpX第10页第10页三.均方误差的收敛性分析及失调量LMS算法：收敛后权向量在最佳权向量附近随机起伏，稳态均方误差在附近随机起伏，产生额外的均方误差：min()excessMSnEE失调量M=minexcessMSEmin()excessMSEEnmin1NiiLMS的稳态均方误差mintrRMtrRX第11页第11页trMR(0)xtrRRRNRNR是矩阵的迹，是的个特征值之和，也等于矩阵的主对角线元素之和。即。步长因子和信号功率都对失调有影响。控制失调量和加快收敛速度矛盾，故采用变步长因子的方法。X第12页第12页失调量与收敛时间常数的关系12iiMtrR1Nii112Nii1112Nii12aveN14mseaveN若R的N个特征值相等，则14mseNMX第13页第13页（1）若选择足够长的时间常数（足够多的迭代次数），失调量M可以控制到任意小。（2）当时间常数一定时，失调量随着权系数的数目N正比的增长。（3）N越大，失调量M越大，但因权系数较多，故可以更好地逼近所希望的脉冲响应和频响特性。结论：X第14页第14页3、4章作业部分参考答案-12341.1()13.54.582.60.58ARMA(2,1)ARHzzzzz某随机过程用模型拟和的结果是试由它导出一个模型。解：设ARMA(2,1)的系统函数为11112121()()()1bzBzHzAzazazAR模型的系统函数为1()()HzCzX第15页第15页1()()()()()HzHzBzCzAz令得，即10()0,1,2()()03kannbkcnkn当n=3时，(0)(3)(1)(2)0bcbc(3)2.6(1)0.57(2)4.58cbc当n=1时，(0)(1)(1)(0)(1)bcbca(3)2.6(1)(1)3.52.93(2)4.58cacc当n=2时，(0)(2)(1)(1)(2)bcbcaX第16页第16页(3)2.6(2)(2)(1)4.583.52.59(2)4.58caccc所以，ARMA(2,1)模型的系统函数为111210.57()12.932.59zHzzzX第17页第17页3332.()(0)1,(1)0.5,(2)0.5,(3)0.25,(3)(0)1-(1),(2),(3)(0)xnRRRRARbLevinsonDurbinaaab已知平稳随机信号的自相关函数值：现用模型估计它的功率谱，设模型参数，试用算法求模型参数及。解：0(0)1XR11(1)1(1)(0)2XXRakR由21(1)mmmk知2101(1)11434kX第18页第18页222122(1)34(1)kk121111[(2)()(2)]/3XXikRaiRi则234(119)2323221[(3)()(3)]/XXikRaiRi22211[(1)(2)(2)(1)]/48XXaRaRX第19页第19页32321113(1)(1)(2)()3838aaka32321113(2)(2)(1)()3838aakamin121(0)()32pXkXkRaRk由01()1pkkkGbHzaz1G知22min0b02132428bX第20页第20页3.离散随机信号的有理传输函数模型怎样表示？试针对MA、AR、ARMA三种不同情况，写出模型的传输函数、差分方程及功率谱关系式。传输函数：解：1()(1)qiiiHzGbzMA模型1()()()qiixnGnGbni差分方程：功率谱：2221()1ipjjxiiSeGaeX第21页第21页AR模型传输函数：差分方程：功率谱：1()1piiiGHzaz1()()()piixnaxniGn221()1ijxpjiiGSeaeX第22页第22页ARMA模型111()1qiiipiiibzHzGaz10()()()pqiiiixnaxniGbni222111()1iiqjijixpjiibeSeGae传输函数：差分方程：功率谱：