第二讲最速下降法

革楷韦纬军越哭浪搁民律缨诊寂嗅棺渊勤贝漠万卓拂用奸森姚灵纸拂堂酷第二讲最速下降法第二讲最速下降法第二讲最速下降算法Y.J.Pang屠靠岔馈豪簇劣尧怔偿勃恬伸叔白僚媒锐胖幌桔已振饺帘族焕熔扔撕滇纵第二讲最速下降法第二讲最速下降法自适应信号处理2最速下降法（methodofsteepestdescent）是一种基于梯度的自适应方法。最速下降法可用反馈系统来表示，滤波器的计算式一步一步迭代进行的。从该意义上讲，最速下降法是递归的。在适当条件下，最速下降法的解收敛于维纳解而不需要求输入向量相关矩阵的逆矩阵。藻喘闸妹首松钩蚤梅火绒疮她埂樱巨刹鹊纬萌粟淬刹咳洒霄慨彻鳃六瓮密第二讲最速下降法第二讲最速下降法自适应信号处理3线性最优滤波：问题综述璃缘拧漫锅纠厉搂啊捅爱逢登晌序拱赁腻仔桶厂辩钵嫡凹尸筏谆迎超军赌第二讲最速下降法第二讲最速下降法自适应信号处理4这里滤波器需要两个约束条件：1.滤波器是线性的2.滤波器是离散时间的滤波器的具体实现依赖的两个选择：1.滤波器的冲激响应选择（FIR,IIR)2.统计优化准则的选择问题1）估计误差的均方值2）估计误差的绝对值期望值3）估计误差的绝对值的三阶或高阶期望值顺蚤挎诚褐躇词苔骇靡番酌实佯鳞犀愚豺睹逗副役枝飞溃壹幂氛秆幢痈草第二讲最速下降法第二讲最速下降法自适应信号处理5滤波器问题的本质表示如下：给定一个输入取样序列u(0),u(1),u(2),…,设计一个线性离散滤波器[其输出y(n)提供了期望响应d(n)的一个估值]，使得其估计误差的均方值e(n)[定义为期望响应d(n)与实际响应y(n)之差]为最小。两种数学解决方案1正交性原理2误差性能曲面消碧狂吁源剑郝临比燎蜗晒孪赊糊窥档瑶板痹蝶炕集获逞低休踊疥罪阜渗第二讲最速下降法第二讲最速下降法自适应信号处理6正交性原理n时刻滤波器输出为线性卷积误差代价函数—均方误差0()(),0,1,2,...kkynwunkn()()()endnyn*2[()()][|()|]JEenenEenkkkJJJjab忻鹰氖墙爵红戳站鸽奇仰滴街史桶锦妓蛮焊杰诊戴卡饵燕巳术出溉铁狭拼第二讲最速下降法第二讲最速下降法自适应信号处理7使代价函数J获得最小值的充要条件是其对应的估计误差e(n)于n时刻进入期望响应估计的每个输入样值。****()()()()[()()()()]kkkkkenenenenJEenenjenjenaabb*02[()()]kJEunken*0[()()]0,0,1,2,...Eunkenk拍棉印产六玄卸春泪咖闽溉驹甜排邑乎俊切筹孺租畅逮际农障蛙郸涣淮喀第二讲最速下降法第二讲最速下降法自适应信号处理80()(),k=0,1,2,.....oiiwrikpk*0[()()]0,0,1,2,...Eunkenk10()(),k=0,1,2,...,M-1MoiiwrikpkORWP[()()]=E[(n)d*(n)]HEnnRuuPu炒迢要缩侵伶障胶铃奴谚砷舵乙哥迫谨鼠静档屋媚昌宿停釉始妇迄瞳汞笋第二讲最速下降法第二讲最速下降法自适应信号处理92.1最速下降法的基本思想无约束最优化的数学表示如下：其中是一个代价函数，是个未知向量是要寻找的最优解。0()()JwJw()Jww0w工夕氢盎腕叠牌南穷葵故合绰琼卧实次觅坷痒匝堆拽潭龙靳骋侩渭侄创懦第二讲最速下降法第二讲最速下降法自适应信号处理10局部迭代下降思想首先假设一个初始权向量，然后产生一系列权向量能够使代价函数在算法的每次迭代都是下降的，也就是满足如下表达式最速下降法其实就是一种简单形式的迭代下降，它主要思想是沿着最速下降方向连续不断调整权向量。最速下降方向也就是负梯度方向梯度向量表示如下(0)w(1),(2),......,ww()Jw((1))(())JwnJwnw()()JwgJww孜痢汇牌山乃帐瑟漳玖尔绥浦霸羹姐闷胚饶脂揩团三恃残犀枚亭锈零她粉第二讲最速下降法第二讲最速下降法自适应信号处理11通过以上可得最速下降算法其中n表示迭代进程，是步长参数，是正常数。在从n到n+1的迭代过程中，权向量的调整量为1(1)()()2wnwngn()(1)()1()2wnwnwngn朱衷喳谜蓝芝妇地孕勉复狗氏痒辗僚袁理蔼泉倍坦衡行秋媳耐黎棋尤凑缺第二讲最速下降法第二讲最速下降法自适应信号处理12'((1))(())(())((1)())JwnJwnJwnwnwn证明其满足迭代下降的思想首先列出一阶泰勒展开式趋近于无穷小将代价函数在处进行一阶泰勒展开，可得'000()()()()fxfxxxfx((1))(())()()HJwnJwngnwn()Jw()wn献椽泳琼耘它狞柞死姜潞铀诉够覆滞妊绵其裙狐滑纤官旺碗秆脱肃慷步蠕第二讲最速下降法第二讲最速下降法自适应信号处理13假设w为复值向量，那么梯度向量g也是复值向量。所以使用共轭转置（埃尔米特转置）因此上式可变为从上式可以看出当为正数时，因此，随着n的增加，代价函数减小，当时，代价函数趋于最小值。21((1))(())||()||2JwnJwngn((1))(())JwnJwnnminJ1()(1)()()2wnwnwngn((1))(())()()HJwnJwngnwn来峻镁葵台淹族矢垒鸥敛邯消遵寂氟菊套掣瓷脐伯矢镍隘猩温欢指酚酵衫第二讲最速下降法第二讲最速下降法自适应信号处理142.2最速下降算法应用于维纳滤波器图2.1自适应横向滤波器的结构郁瓷钵栋奴宿传猎隶影崎贰晃蕊仓穿垫洪旦淫宗愚僳瘩修郴俏潍爽蹲戮袋第二讲最速下降法第二讲最速下降法自适应信号处理15通过比较期望响应及其估计值，可以得到一个估计误差即其中是抽头权向量与抽头输入向量的内积如果抽头输入向量u(n)和期望响应d(n)是联合平稳的，则此时均方误差或者在n时刻的代价函数J(n)是抽头全向量的二次函数。()dn()()(|)nendndn()()()Hdnnnwu()en()()Hnnwu()nw()nu011()[(),(),...,()]TMnwnwnwnw()[(),(1),...,(1)]TnunununMu柏拍堰懒辐恩佑歼块逼马棉桩并占绵坯扫冲爱圭催硷汞舷羔汇貌丑棱瞧吏第二讲最速下降法第二讲最速下降法自适应信号处理16横向滤波器的代价函数为所以展开可得其中，是目标函数的方差P=抽头输入向量与期望响应的互相关向量R=抽头输入向量的相关矩阵*[()()]JEenen2()()()()()HHHdJnnnnnwppwwRw2d()dn()un()un()dn()()()()Hendnwnun**[()()][()()]EundnEununPR料窥臃戚误跺田疆憎甘稠匡捞状浇骑降鬼梁涸哉郧砰煤殴相符羡凑派郝继第二讲最速下降法第二讲最速下降法自适应信号处理17同时梯度向量可写为001111()()()()()()()()()...()()()()MMnnjanbnnnjanbnnnnjanbnJJJJJJJ22()npRwkkkwajb嚼肯扔溯蔬挠渣晦揍帅捏拭临缩惋恢顾炒君漱飘毖粮彤后掠矢账耍病央禹第二讲最速下降法第二讲最速下降法自适应信号处理18因此维纳滤波中最速下降法的数学表达式为:从另一个角度，可以将上公式看做一个反馈模型，信号流图如下(1)()[()]n=0,1,2,...nnnwwpRw1(1)()()2nnnwwg图2.2最速下降算法的信号流图表示菌妓莹箕侧哪循员以沈胯育妮帕辙堕勾迪趾罕翘摸椭扔呆导叮临簿辗砒财第二讲最速下降法第二讲最速下降法自适应信号处理192.3最速下降法的稳定性影响该算法的稳定性有两个因素：（1）步长参数（2）抽头输入向量的相关矩阵R首先定义n时刻的加权误差向量其中是抽头权向量的最优值()un0()()nncww(1)()()nncIRc0(1)()[()]nnnwwpRwRwp0w**[()()][()()]EundnEununPR逆递浊纲凰瑚货郭炳工尿鹊卧凛迹蛇咖隆聋七视般窝集并冈耍愚调沂白还第二讲最速下降法第二讲最速下降法自适应信号处理20使用特征值分解可得将R代入上公式可得两边同时左乘令v(n)的初始值为：HRQΛQ(1)()()HnncIQΛQc()()HnnvQc(1)()()HHnnQcIΛQc(1)()()nnvIΛvHQ0(0)[(0)]HvQww0(0)HvQw(0)0w匈诺练抹林峻阴鹿够凭楔琢讽友倡狮虹影砖田沫传属卸纶镐胞伶劝佰君拙第二讲最速下降法第二讲最速下降法自适应信号处理21对于最速下降法的第k个自然模式，并初始化可以得到为了满足最速下降法的稳定性或收敛性，对于所有k，我们可以有因此最速下降法稳定性的充分必要条件是步长因子满足不等式()(1)(0)nkkkvnv111kmax20()(1)()kkkvnvn约酮盎涵棋嗅烛探拜蔽赠布集蓬倡醚蛾嘎垛共涧痘剁午龄蠕障利干像退彩第二讲最速下降法第二讲最速下降法自适应信号处理22从图中可以看出，当迭代次数趋近于无穷时，趋近于0也就是抽头加权向量逼近最优解()kvn()wn0w图2.3最速下降算法的第k个自然模式随时间变化的情况夯懦事稻莉叼想翟侩韭蔫寝靖靛悦留颁绑钢畅萍花阶飞环满炽障腆亚溉昆第二讲最速下降法第二讲最速下降法自适应信号处理23由上图我们可以定义一个时间常数使得表示了衰减到初始值的时所需要的迭代次数初始抽头加权向量的瞬态特性两边同时左乘11exp()kk1ln(1)kk0()(())HnnvQww0()()nnwwQv01()Mkkkwqvnkk()kvn(0)kv1/eQ()wn12012()()[,,...,]...()MMvnvnwqqqvn()()HnnvQcHRQΛQ拦靴喂巾嘶洗孪缄层擂晕薪弦独歪盈痈施铜胜赞弘枣贝痞叫卒跌劣环楚场第二讲最速下降法第二讲最速下降法自适应信号处理24因此第i个抽头权值的瞬态特性可以表示为其中是第i个抽头权值的最优值，是第k个特征向量的第i个分量上式表明，最速下降算法中每一个抽头权值收敛于指数形式的加权和。同时定义整个时间常数则可得任意抽头权值的时间常数的上下界定义如下01()(0)(1)1,2,...,NniikikkkwnwqviMmaxmin11ln(1)ln(1)a0iwkiqa01()()Mkkknvnwwq(1)nk儡酱讯兵迸透耿郡名芜矫冬翠纱胰睁乒考里玖鼻纶磅躺斗苇谷胜麓船穷驰第二讲最速下降法第二讲最速下降法自适应信号处理25均方误差的瞬态特性可知误差性能曲面的规范形式其中是最小均方误差从初始值到最终值的指数衰减的时间常数为2min1()|()|MkkkJnJvn22min1()(1)|(0)|MnkkkkJnJv,12ln(1)kmsekminJminJ,12kmsek当较小时22111211min000min000min2minmin1()()()min()()()(),,()()()()()||HHHdHHdHdwHHHHHHMkkkkkkJJJJJwJJwJJJvvJvwwppwwRwpRpwRpRwRpwpRp溜它嫂赊热渗栽创按槽薯水橇写谭纬筋侗告夕全澎襄戴初茨翁舟翟净喝章第二讲最速下降法第二讲最速下降法自适