算法的收敛性和收敛速度的定义式

5.优化设计5.2优化方法的数学基础西南科技大学网络教育系列课程5.2.1函数的方向导数和梯度1、函数的方向导数实例：一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)。在坐标原点处有一个火焰，它使金属板受热。假定板上任意一点处的温度与该点到原点的距离成反比。在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？问题的实质：应沿由热变冷变化最剧烈的方向（即梯度方向）爬行．西南科技大学网络教育系列课程讨论函数在一点P沿某一方向的变化率问题．),(yxfz（如图）。引射线内有定义，自点的某一邻域在点设函数lPPUyxP)(),(),(yxfz),(,).(p/UP/lyyxxPlxD+D+/上的另一点且为并设为的转角轴正向到射线设j1）方向导数的定义||PP,)()(22yxD+D当沿着趋于时，PPl),(),(lim0yxfyyxxfD+D+是否存在？且),(),(yxfyyxxfzD+D+D考虑zD}0,1{1er依定义，函数),(yxf在点P沿着x轴正向、y轴正向}1,0{2er的方向导数分别为yxff,；沿着x轴负向、y轴负向的方向导数是yxff,..),(),(lim0yxfyyxxflfD+D+的方向导数。沿方向则称这极限为函数在点在，时，如果此比的极限存趋于沿着当之比值，两点间的距离与函数的增量定义lPP/lPyxP/PD+D22)()(记为),(),(yxfyyxxfD+D+证明由于函数可微，则增量可表示为)(),(),(oyyfxxfyxfyyxxf+D+DD+D+两边同除以,得到2）方向导数的计算定理如果函数),(yxfz在点),(yxP是可微分的，那么函数在该点沿任意方向L的方向导数都存在，且有，其中j为x轴到方向L的转角。jjsincosyfxflf+jcosjsin)(),(),(oyyfxxfyxfyyxxf+D+DD+D+故有方向导数),(),(lim0yxfyyxxfD+D+.sincosjjyfxf+lf对于三元函数),,(zyxfu，它在空间一点),,(zyxP沿着方向L的方向导数，可定义为,),,(),,(lim0zyxfzzyyxxflfD+D+D+推广可得三元函数方向导数的定义222)()()(zyxD+D+D其中同理：当函数在此点可微时，那末函数在该点沿任意方向L的方向导数都存在，且有.coscoscoszfyfxflf++设方向L的方向角为,,,cosDx,cosDy,cosDz推导出n元函数f(x)在点X(k)处沿任意给定方向S的方向导数表达式为：nkkkkXfXfXfXfcosx)(cosx)(cosx)(S)(n)(22)(11)()(+++SXfXfXfXfTknkkk)]([cos:coscosx)(,,x)(,x)()(21n)(2)(1)(西南科技大学网络教育系列课程2、梯度1）梯度的定义函数在点X(k)的梯度是由函数在该点的各个一阶偏导数组成的向量。2）梯度的表达式TnkkkkxXfxXfxXfXf)(,,)(,)()()(2)(1)()(西南科技大学网络教育系列课程函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。梯度的模为结论gradfgradfP222121),(+xfxfxxgradfx轴到梯度的转角的正切为12tanxfxf当不为零时，xf在几何上表示一个曲面),(21xxfz曲面被平面所截得cz,),(21czxxfz所得曲线在xoy面上投影如图o2x1x221),(cxxf1),(cyxfcxxf),(21等高线),(21xxgradf梯度为等高线上的法向量P3、方向导数和梯度的关系根据矢量代数的概念，方向导数的表达式可写成：1coscoscos22212+++nSSXfSXfTkk)()()()(SXfSXfkk),(cos)()()(西南科技大学网络教育系列课程2)(22)(21)()()()()()(+++nkkkkxXfxXfxXfXfSXfXfSXfkkk),(cos)()()()()(由上式表明：函数在某点沿方向S的方向导数等于该点的梯度在方向身上的投影。见下图。西南科技大学网络教育系列课程当方向S与梯度的夹角为零时，方向导数达到最大值，即)()()()(kkXfSXf从图中可以看出：当方向S与点X(k)的梯度相垂直时，函数在该点沿S的方向导数等于零，即0)()()()(SXfSXfTkk当方向S与梯度方向的夹角为锐角时有：0)()()()(SXfSXfTkk当方向S与梯度方向的夹角为钝角时有：0)()()()(SXfSXfTkk西南科技大学网络教育系列课程这说明，与梯度成锐角的方向是函数值上升的方向，而与梯度成钝角的方向则是函数值下降的方向。西南科技大学网络教育系列课程综上所述，函数的梯度具有以下性质(1)函数在一点的梯度是一个向量。梯度的方向是该点函数值上升得最快的方向，梯度的大小就是它的模长。(2)一点的梯度方向为过该点的等值线或等值面的切线或切平面相垂直的方向，或者说是该点等值线或等值面的法线方向。(3)梯度是函数在一点邻域内局部性态的描述。在一点上升得快的方向，离开该领域后就不一定上升得快，甚至可能下降。西南科技大学网络教育系列课程例1求函数f(X)＝(x1－2)2十(x2－1)2在点X(1)＝[3,2]T和X(2)＝[2,2]T的梯度并作图表示。解：根据定义，梯度为2242/)(/)()(2121xxxXfxXfXf则222242)(2321)1(xxXf202242)(2221)2(xxXf西南科技大学网络教育系列课程解：梯度的模为：2222)(22)1(+Xf220)(22)2(+Xf单位梯度的向量为：2/22/222221)()()1()1()1(XfXfS102021)()()2()2()2(XfXfS西南科技大学网络教育系列课程在设计平面x1ox2内标出点(2,2)和点(0,2)，并将此两点分别与原点相连得到向量[2,2]T和[0,2]T。将这两个向量各自平移至点X(1)和X(2)，所得新的向量就是点X(1)和X(2)的梯度。图5.11例1的梯度西南科技大学网络教育系列课程5.2.1函数的方向导数和梯度例题2一般二元二次函数的矩阵式为CXBAXXXfTT++21)(，其中22211211aaaaA21bbB21xxXC为常数，求梯度。)(Xf西南科技大学网络教育系列课程5.2.1函数的方向导数和梯度解：将二元二次函数的矩阵式展开CxbxbxaxxaxaXf+++++2211222221122111)2(21)(其中，于是梯度为2112aa+++++2121222112112222121121211121)()()(bbxxaaaabxaxabxaxaxXfxXfXf西南科技大学网络教育系列课程5.2.1函数的方向导数和梯度即同理，推广到n元二次函数，则一般n元二次函数梯度的矩阵表达式为BAXXf+)(BAXXf+)(nnnnnnaaaaaaaaaA.....................212222111211nbbbB:21nxxxX:21西南科技大学网络教育系列课程式中5.2.2多元函数的泰勒展开由高等数学知、一元函数f(x)着在点xk的邻域内n阶可导，则函数可在该点的邻域内作如下泰勒展开：nkkkkkRxxxfxxxfxfxf++++2)()(!21)()()()(多元函数f(x)在xk点也可以作泰勒(Taylor)展开,其展开式一般取三项,其形式与一次函数的形式的前三项是相似的.西南科技大学网络教育系列课程))(()(21)()()()()()(1,)()(1)()(kjjkiinjijikkiiniikkxxxxxxXfxxxXfXfXf++5.2.2多元函数的泰勒展开写成矩阵形式：))(()(21)()]([)()()()(2)()()()(kkTkkTkkXXXfXXXXXfXfXf++式中2212122122)(...)(:...:)(...)()()(nnnxXfxxXfxxXfxXfXHXf称为f(x)的海森(Hessian)矩阵，常用H(x)表示。西南科技大学网络教育系列课程5.2.2多元函数的泰勒展开例3一般二元二次函数CXBAXXXfTT++21)(，求H(X)。解：CXBAXXXfXHTT2222)()21()()(++2222211221112122211211212xaxxaxaxxaaaaxxAXXT++西南科技大学网络教育系列课程++2221121122222112211122)]2(21[)21(aaaaxaxxaxaAXXT5.2.2多元函数的泰勒展开AaaaaXfXH222112112)()(02C0)()(221122+xbxbXBT西南科技大学网络教育系列课程22112121xbxbxxbbXBT+5.2.2多元函数的泰勒展开例4用泰勒展开的方法将函数f(X)＝x13-x23+3x12+3x22-9x1在点X(1)=[1,1]T简化成线性函数和二次函数。解：(1)求函数在点X(1)的函数值、梯度为：3)()1(Xf西南科技大学网络教育系列课程++3063963)(11222121)1(xxxxXf5.2.2多元函数的泰勒展开(2)求得二阶导数矩阵为：而且++00012660066)(1121)1(2xxXf11112121)1(xxxxXX代入线性泰勒展开式得简化的线性函数：63)1(3311303)()]([)()(2221)1()1()1(+++xxxxXXXfXfXfT西南科技大学网络教育系列课程5.2.2多元函数的泰勒展开(3)得到泰勒展开式的二次项为：212121)1()1(2)1()1(611000121121))(()(21xxxxxXXXfXXT代入泰勒展开式得简化的二次函数：++)()]([)()()1()1()1(XXXfXfXfT2121212)1()1(2)1(3126)1(663))(()(21xxxxxXXXfXXT++西南科技大学网络教育系列课程5.2.3二次函数1、二次函数的表达式二次函数是最简单的非线性函数，可以写成以