第七章自适应滤波器.

第７章自适应滤波器7.1LMS自适应滤波器的基本原理7.2Widrow-HoffLMS算法7.3自适应滤波器的应用我们已经研究了维纳滤波器与卡尔曼滤波器。维纳滤波参数是固定的，适用于平稳随机信号最佳滤波。卡尔曼滤波器参数可以是时变的，适用于非平稳随机信号。然而，只有对信号和噪声的统计特性先验已知条件下，这两种滤波器才能获得最优滤波。遗憾的是，在实际应用中，常常无法得到这些统计特性的先验知识。因此，这种情况下，用维纳滤波器和卡尔曼滤波器实现不了最优滤波。然而，自适应滤波能够提供卓越的滤波性能。所谓的自适应滤波，就是利用前一时刻已获得滤波器参数等结果，自动地调节现时刻的滤波器参数，以适应信号或噪声未知的或随时间变化的统计特性，从而实现最优滤波。设计自适应滤波器时可以不必要求预先知道信号和噪声的自相关函数，而且在滤波过程中信号与噪声的自相关函数即使随时间作慢变化它也能自动适应，自动调节到满足最小均方差的要求。这些都是它突出优点，因此近年来它被广泛的应用于各种信号处理中。ky7.1LMS自适应滤波器的基本原理如图7-1所示，其输入是一随机信号：其中表示信号的真值，表示噪声。其输出等于的估计值，用表示。维纳滤波器是具有这样的或的滤波器，它能使与间的均方误差最小，即从而达到最好地从噪声中提取信号的目的。而自适应滤波器则能自动调节它的值以满足上述最小均方误差的准则。)(nx)(nx)(ny)(nh图7-1维纳滤波器的输入-输出关系)(ns)(nv)(ny)(ˆns)(nh)(zH)(ˆns)(ns)]([2neEmin]))(ˆ)([()]([22nsnsEneE)(nh如果长为N，则从图7-1可以得到（7-1)这里，，。由此可见，输出是N个所有过去各输入的线性加权之和，其加权系数就是。在自适应滤波器中这个加权系数常用符号表示，所希望的输出常用表示，并为了书写简化，时间用下标表示，于是式(7-1)成为(7-2)由式(7-2)可见，自适应滤波器可看成是自适应线性组合器，如图7-2所示。)(nhiNmNiixhmnxmhny101)()()(1mi)1(ihhi)1(inxxi)(ny}{ihiwdnjNiijijjxwy1jx1jx2Njx1w2wNwjdjyje图7-2自适应系统中的线性组合器一般来讲，其可以是任意一组输入信号，并不一定要求当时，，…，，即并不一定要求其各是由同一信号的不同延迟组成延时线抽头形式的所谓横向FIR结构，如图7-3(a)所示。Njjjxxx,,,21jjxx112jjxx23jjxx1NjNjxxijxjx1jx11z1z1zjx2Njx1w2w1NwNwjy)(a自适应算法jyjw1jw2jw3Njw1z1zjxjx1jx2jx1Njxje)(b图7-3横向FIR结构的自适应滤波器图7-3(b)是它的原理图。自适应滤波器的要害在于按照及各值，通过某种算法寻找时的各，从而可自动地调节各值。自适应滤波器可以用图7-4的简化符号表示。图7-5表示包括个自适应横向滤波器的自适应系统，当所处理的输入信号来自不同信号源时，它实际上等于自适应线性组合器。jeijxmin][2jeEiwiwjxjyjeAFjx1jx2Njxjyjd图7-4自适应横向滤波器的简化符号图7-5具有n个自适应横向滤波器的自适应系统利用讨论维纳滤波器时域解时的相同方法可以求得在时的权系数。将式(7-2)写成矩阵形式有(7-3)这里(7-4)(7-5)所以(7-6)令(7-7)min])[(][22jjjydEeEjjjyXWWXj21WNjjjjxxx21XjjjjjdydeXWWXXWWX][][2][])[(][222jjjjjjjjEdEdEydEeE的互相关矢量与jjNjjjjjjjjdxdxdxdEdEXXP],,[][21=输入的自相关矩阵(7-8)于是式(7-6)可以写成(7-9)注意，对于平稳输入，式(7-9)的是权矢量的二次方函数，因此~是一个凹的抛物体曲面，它具有唯一的极小点。可以用梯度方法沿该曲面调节权矢量的各元素，得到这个均方误差的最小点。均方误差的梯度（用表示）可以通过将式(7-9)，对权矢量的各进行微分得到(7-10)NjNjjNjjNjNjjjjjjNjjjjjjjjxxxxxxxxxxxxxxxxxxEE212221212111][XXRjXR2][][22jjdEeE][2jeEW][2jeEW][2jeEijwRWP22][,][,][22212NjjjjweEweEweE置就可得到最佳权矢量，用表示，即(7-11)式(7-11)是维纳-霍夫方程的矩阵形式。满足式(7-11)的即为最佳权矢量或称维纳权矢量。将式(7-11)代回式(7-10)，得最小均方误差为(7-12)实际上，上述这套方程与维纳滤波器推出的结果完全相同。自适应滤波器与维纳滤波器比较，其差别在于它加了一个识别控制环节，将输出与所希望的值比较，看是否一样。如果有误差，则用去控制，使为的。因此它的关键在于怎样能简便地寻找，或者说用什么样的算法来求得，最常用的算法是所谓最小均方(LeastMeanSquare)算法，简称LMS算法。0j*WPRWWRWP1**022*WPW*2min2][])[(jjdEeEjyjdjejeWjWmin][2jeE*W*W*W7.2Widrow-HoffLMS算法自适应滤波器的自适应过程的实际目的是要寻求，虽然按式(7-11)可求得准确的。但需要预先知道相关矩阵P和R。当P和R不能预先获得时，就只能直接用数值计算的方法。在权的数目很大或者输入数据率很高时，这种方法将会遇到计算上的严重困难。这种方法不仅需要计算矩阵的逆，而且还需要测量或估算这么多个自相关和互相关函数才能得到P和R的矩阵元素。不仅如此，当输入信号的统计特性在慢慢地变化时，还必须从头重新计算。由于这些原因，人们宁愿应用另外一些更有使用价值的递推估计的算法。*W*WPRW1**WNN2/)1(NN7.2.1最陡下降法原理Widrow-HoffLMS算法正是求最佳权矢量的一个简单和有效的递推方法，它是Widrow与Hoff二人于1959年提出的，此法不需要求相关矩阵，也不涉及矩阵求逆，而是运用最优化的数学算法最陡下降法（Steepestdescentmethod）。按照这种方法，下一个权矢量等于现在的权矢量加一个正比于梯度的负值的变化量，即(7-13)其中是一个控制稳定性和收敛速度的参量，称之为收敛因子。在作必要的推导之前，我们先讨论一下这个方程的物理意义。由式(7-9)可见是的二次方程，并且是一个多维矢量，因此随的变化关系可以画成一个“碗形”的“曲面”，自适应过程正是连续地调节去寻找“碗”的底点1jWjWjjjjWW1][2jeEWW][2jeEWW为了简单，我们假设是一维的，则与的关系成为一个抛物线，如图7-6所示。抛物线底部这点正是我们要寻找的由得出的的点。我们可以用梯度下降法来找到这一点。如果现在时，，则必在的左边如图7-6所示。为了使下一个值更接近，应有（设）(7-14)如果时，，则必在的右边，此时为了使下一个值更接近于，应有(7-15)W][2jeEW0][2dWedEj*WW1jjWW0][12jWWjdWedE1jW*W11jW*W01112jWW0][22jWWjdWedE2jW*W12jW*212式(7-14)与式(7-15)可合并为(7-16)这里μ0。按式(7-16)，不论原来在的左边还是右边，都使下一个值比更接近于。式(7-16)中的可以用点的梯度来表示，即(7-17)当是多维的情况，梯度可以用列矩阵表示如下：(7-18)于是对于多维的权矢量式(7-17)成为jWWjjjdWedEWW][21jW*W1jWjW*WjWWjdWedE][2jWjjjjWW1WjjWWNjjjjweEweEweE][,][,][22212jjjWW1这就是前面的式(7-13)。因为某点梯度方向是代表该点变化率最大的方向，在这里即是下降最快的方向，因此这种方法称为最陡下降法。按式(7-13)，当时，将以的方向，即最陡下降的方向向靠拢，靠拢的步距由确定，当达到~的最小点时，，。将式(7-18)中，求导与求期望值次序对换，得(7-19)再考虑到式（7-5）的关系，即(7-5)得(7-20)][2jeE*WWj1jWj][2jeE*W][2jeEW*W0j*1jjNjjjjjweweweeE,,221jjjdeXWjjjjjweweweX,,21于是，式(7-20)约束了改变的走向，将式(7-20)代入式(7-19)，得(7-21)令，即(7-22)由此可解得这个凹的抛物体曲面的最小点。式(7-22)正是维纳滤波器理论中所讨论到的正交性原理。因此令，从而得出及的结论是与维纳滤波理论一致的。这个方法求是比较简单和有效的，不用预先求得相关矩阵，也不用作矩阵的求逆运算，关键是如何适时地求得（或估计得）。W][2jjjeEX0j0][jjeEX0j*WWjmin22][][jjeEeE*Wj在实际中，为了便于实时系统实现，取单个样本误差的平方的梯度作为均方误差梯度的估计。如用表示的估计，则有将式(7-20)代入上式，得(7-23)将上式与式(7-21)比较，有(7-24)2jejˆjNjjjjwewewe22212,,Njjjjwewewee22212,,,2jjjeX2ˆ][2]ˆ[jjjjeEEX在实际中，为了便于实时系统实现，取单个样本误差的平方的梯度作为均方误差梯度的估计。如用表示的估计，则有将式(7-20)代入上式，得(7-23)将上式与式(7-21)比较，有(7-24)即的期望等于其真值，故这种对的估计是无偏估计。的估计值是用的瞬时值代替它的期望值得到的。2jejˆjNjjjjwewewe22212,,Njjjjwewewee22212,,,2jjjeX2ˆ][2]ˆ[jjjjeEEXjˆjjjjˆ][jjeX][jjeEX于是，将作为代入式(7-13)，得(7-25)其中(7-26)式(7-25)与式(7-26)的这种算法即称为Widrow-HoffLMS算法。这种算法对于每一个输入样本，只需对其进行式(7-25)与式(7-26)中的二个乘法与二个加法运算，因此该算法易于用实时系统实现。应用Widrow-HoffLMS算法的自适应横向滤波器示于图7-7。jjˆjjjjjeX2ˆ1jjjjdeXWjyjw1jw2jw3Njw1z1zjxjx1jx2jx1NjxjdjejjjjxeWW21图7-7自适应横向滤波器7.2.2能使LMS算法收敛于的μ值范围本节我们将证明：当μ的值选择在一定范围时，Widrow-HoffLMS算法