LMS算法原理及推导

第八章自适应滤波在第五章和第六章中，我们介绍了维纳滤波和卡尔曼滤波。维纳滤波器参数是固定的，适合于平稳随机信号。卡尔曼滤波器参数是时变的，适合于非平稳随机信号。然而，只有在信号和噪声的统计特性先验已知的情况下，这两种滤波技术才能获得昀优滤波。在实际应用中，常常无法得到信号和噪声统计特性的先验知识。在这种情况下，自适应滤波技术能够获得极佳的滤波性能，因而具有很好的应用价值。常用的自适应滤波技术有：昀小均方（LMS）自适应滤波器、递推昀小二乘（RLS）滤波器、格型滤波器和无限冲激响应（IIR）滤波器等。这些自适应滤波技术的应用又包括：自适应噪声抵消、自适应谱线增强和陷波等。现在，已经有许多信号处理书籍全面介绍了自适应滤波技术。考虑到生物医学工程专业大三本科生的学习基础，本章首先介绍昀小均方（LMS）自适应滤波器原理，在此基础上介绍自适应噪声抵消器及其生物医学应用，这样安排更能够突出本教材的宗旨。第一节LMS自适应维纳滤波器LMS自适应滤波器是使滤波器的输出信号与期望响应之间的误差的均方值为昀小，因此称为昀小均方（LMS）自适应滤波器。8.1.1基本LMS算法构成自适应数字滤波器的基本部件是自适应线性组合器，如图8-1的所示。设线性组合器的M个输入为(1),()xkxk−−LM−，其输出是这些输入加权后的线性组合，即()yk1()()MiiykWxki==∑（8-1-1）图8-1自适应线性组合器定义权向量，且123[,,,]Tm=L()[((1)),,(())]TXkXkTXkMT=−−L（8-1-2）在图8-1中，令代表“所期望的响应”，并定义误差信号()dk1()()()()()MiikdkykdkWXkiε==−=−−∑（8-1-3）式（8-1-3）写成向量形式()()()()()TTkdkWXkdkXkWε=−=−（8-1-4）误差平方为22()()2()()()()TTTkdkdkkkkε=−+XWWXXW上式两边取数学期望后，得均方误差{}{}{}{}22()()2()()()()TTTEkEdkEdkkEXkkε=−+XWWXW（8-1-5）定义互相关函数行向量TxdR：{}()()TxdTREdkXk=（8-1-6）和自相关函数矩阵{}()()TXXREXkXk=（8-1-7）则均方误差（8-1-5）式可表述为{}{}22()()2TTxdXXEkEdkRWWRWε=−+（8-1-8）这表明，均方误差是权系数向量W的二次函数，它是一个中间向上凹的抛物形曲面，是具有唯一昀小值的函数。调节权系数使均方误差为昀小，相当于沿抛物形曲面下降找昀小值。可以用梯度来求该昀小值。将式（8-1-8）对权系数W求导数，得到均方误差函数的梯度{}2()()kEkε∇=∇{}{}2212()()TMEkEkWWεε⎡⎤∂⎢⎥=∂∂⎢⎥⎣⎦L，，22XdXX=−+RRW(8-1-9)令，即可求出昀佳权系数向量()0k∇=1optXXXd−=WRR（8-1-10）它恰好是第五章研究Wiener滤波器遇到过的Wiener-Hopf方程。因此，昀佳权系数向量通常也叫作Wiener权系数向量。将代入式（8-1-8）得昀小均方误差optWoptW{}{}22min()()TxdoptEkEdkε=−RW（8-1-11）利用式（8-1-10）求昀佳权系数向量的精确解需要知道XXXd和RR的先验统计知识，而且还需要进行矩阵求逆等运算。WidrowandHoff(1960)提出了一种在这些先验统计知识未知时求的近似值的方法，习惯上称为WidrowandHoffLMS算法。这种算法的根据是昀优化方optW法中的昀速下降法。根据昀速下降法，“下一时刻”权系数向量(1k)+W应该等于“现时刻”权系数向量加上一个负均方误差梯度()kW()k−∇的比例项，即(1)()(kk)kμ+=−∇WW（8-1-12）式中，μ是一个控制收敛速度与稳定性的常数，称之为收敛因子。不难看出，LMS算法有两个关键：梯度()k∇的计算以及收敛因子μ的选择。（一）的近似计算()k∇精确计算梯度()k∇是十分困难的，一种粗略的但是却十分有效的计算的近似方法是：直接取作为均方误差()k∇2()kε{}2()Ekε的估计值，即2ˆ()[()]2()[()]kkkεεε∇=∇=∇k（8-1-13）式中的[()]kε∇为[()][()()()]()Tkdkkkε∇=∇−=−WXXkk)k（8-1-14）将式（8-1-14）代入式（8-1-13）中，得到梯度估值ˆ()2()()kkε∇=−X于是，Widrow–HoffLMS算法昀终为(1)()2()(kkkμε+=+WWX（8-1-15）式（8-1-15）的实现方框图如图8-2所示图8-2LMS算法的实现方框图下面分析梯度估值的无偏性。的数学期望为ˆ()k∇ˆ()k∇{}{}ˆ()2()()EkEkkε∇=−X{}2()[()()()]TEkdkkk=−−XXW2[()]XdXXk=−−RRW()k=∇（8-1-16）在上面的推导过程中，利用了和()dk()kε二者皆为标量的事实。在得到昀后的结果时，利用了式（8-1-9）。式（8-1-16）表明，梯度估值是无偏估计。ˆ()k∇（二）μ的选择对权系数向量更新公式（8-1-15）两边取数学期望，得{}{}{}(1)()2()()EkEkEkkμε+=+WWX{}{}()2()[()()()]TEkEkdkkkμ=+−WXXW{}(2)()2XXXdEkμ=−+μIRWR（8-1-17）式中，I为单位矩阵，{}()()TTXXEkk=RXXX和{}()()xdEkdk=RX。当时，0k={}{}(1)(2)()2XXXdEEoμμ=−+WIRWR对于，利用上式结果，则有1k={}{}{}12=0(2)(2)(1)2(2)(0)2(2)XXxdiXXXXXdiEEEμμμμμ=−+=−+−∑WIRWRIRWIRR起始时，{}(0)(0)E=WW故{}12=0(2)(2)(0)2(2)iXXXXXdiEμμμ=−+−∑WIRWIRRiR1重复以上迭代至，则有1k+{}10(1)(2)(0)2(2)kkXXXXXdiEkIμμμ+=+=−+−∑WIRWR（8-1-18)由于是实值的对称阵，我们可以写出其特征值分解式XXRTXX−=∑=∑RQQQQ（8-1-19）这里，我们利用了正定阵Q的性质，且1T−=QQ1(,,)Mdiagλλ∑=L是对角阵，其对角元素iλ是的特征值。将式（8-1-19）代入式（8-1-18）后得XXR{}11(1)(2)kEkμ−++=−∑WIQQW102(2)kiXdiμμ−=+−∑∑IQQR（8-1-20）注意到以下恒等式及关系式：（1）（8-1-21a）111111(2)(2)[(2)](2)(2)iiiiIμμμμμ−−−−−−−∑=−∑=−∑=−∑−∑LQQQQQQQIQQIQQIQ1(2)iμ−=−∑QIQ（2）1100lim(2)(2)kikiiμμ∞−−→∞==−∑=−∑∑∑IQQQIQ1[(2)]μ1−−=∑QQ（8-1-21b）（3）假定所有的对角元素的值均小于1（这可以通过适当选择μ实现），则1lim(2)0kkIμ+→∞−∑=（8-1-21c）(4)11XX1−−−=∑RQQ(8-1-21d)将式（8-1-21a）~（8-1-21d）代入式（8-20），结果有{}11(1)XdEk−−+=∑WQQR1XXXdopt−==RRW（8-1-22）由此可见，当迭代次数无限增加时，权系数向量的数学期望值可收敛至Wiener解，其条件是对角阵(2)Iμ−∑的所有对角元素均小于1，即max121μλ−或max10μλ(8-1-23)其中maxλ是的昀大特征值。XXRμ称为收敛因子，它决定达到式（8-1-22）的速率。事实上，收敛于由比值()WkoptWmaxmindλλ=／决定，该比值叫做谱动态范围。大的d值喻示要花费很长的时间才会收敛到昀佳权值。克服这一困难的方法之一是产生正交数据。基本LMS自适应算法如下：初始化：(0)0;=W(0);I=R选择max1:0μμλ1:Forktonfinaldo=()(1)2[()(1)()]()TkkxkkkXμ=−+−−所示。图8–3LMS自适应滤波器8.1.2基本LMS算法的性能LMS自适应滤波器的性能通常用所谓的“失调量”进行评估。失调M（k）定义为{}2()1(1)()/TMkEVkXk−式中，是自适应滤波器与昀佳滤波器的离差。()Vk根据Macchi(1986)的分析，LMS滤波器与昀佳权的离差可以写成两个离差分量之()Vk和，即()()()nlkk=+VVVkTekk)kk)（8-1-24）噪声离差和滞后离差具有以下递推式：()nVk()lVk()[2()()](1)()()nTnokkkkkμμ=−−+VIXXVX（8-1-25）()[2()()](1)()lTlkkkkμ=−−−VIXXVT（8-1-26）其中()()()()Tooptekxkkk=−WX（8-1-27）(1)(1)(optkk−=+−VWW(8-1-28)且是LMS滤波器试图“学习”的昀佳滤波器的时间变化，定义为()Tk()(1)optoptkk=+−()TWW（8-1-29）如果k足够大，使得算法可以在稳态考虑，那么，式（8-1-25）和（8-1-26）的初始值就可以置为零。下面假定：的扰动与在向量中包含的所有过去的样本值独立。且还需要假定：与独立，这在本质上意味着序列是独立的。这一假定尽管不现实，但是当(1)nVk−()Xk(1lVk−()Xk()Xkμ很小以及时间变化很慢时，该假定可以成立。因此，我们允许这一独立性。回顾第五章，独立性假设意味着正交原理成立，即()Tk{}[()()()]()0TToptExkkXkXk−W=（8-1-30）将此正交结果代入式（8-1-25），直接得{}()0nEVk=（8-1-31）对于，其均值不为零。令()lVk()()()lVkZkZk=+%（8-1-32）其中{}()()lEkZk=V（8-1-33）{}()0Ek=%Z（8-1-34）BershadandMacchi(1991)证明了以下结果。其一，恢复误差的所谓“失调”由()()()()llnMkkkεεε=++%k（8-1-35）给出，其中()()(1)HlXk(k-1)kkε−ZRZ（8-1-36）{}()(1)()(1)HlXkEkkkε−−%%%ZRZ（8-1-37）{}()(1)()(1)nHnnXkEkkkε−−VRV（8-1-38）{}()()()TXkEkkRXX（8-1-39）此处，符号H代表共轭转置。其二，在缓慢尖化条件下，总的跟踪失调为()()lnMkεε=+k（8-1-40）其中lε是当时的极限，即有k→∞()lkε221()()(1)12nnMMkPψεημ−=⋅+nsp（8-1-41）且()0.5(1)()nnkMppεμ++（8-1-42）式（8-1-41）中，3(M+1)M(M-1)ηρ=（8-1-43）这里，ρ是信躁比，nP是躁声功率。第二节自适应噪声抵消器基于维纳理论的自适应噪声抵消方法利用了自适应昀优滤波概念，在信号处理领域已经被证明非常有用。自适应噪声抵消的目的是要去除主信号中的背景噪声。主信号由有用信号和背景噪声组成，而背景噪声与参考信号中的噪声相关。因此，自适应噪声抵消技术主要依赖于从主信号和噪声中获取参考信号。1957年，Howells等提出并建立了一个自适应噪声抵消（ANC）系统来消除天线信号的旁瓣。此系统中的参考信号由一辅助天线提供，且滤波器有两个权重。之后，Widrow和Hoff发展了昀小均方误差（LMS）自适应算法和称为自适应线性阈值逻辑单元（ADALINE）的模式识别方法。1965年，基于昀小均方误差准则(LMS)的自适应噪声抵消首次得以实现，随后，自适应噪声抵消在信号处理、地震和生物医学领域均获得成功应用。8.2.1自适应噪声