2 最优化设计的数学基础

最优化设计的数学基础向量与矩阵n个有序的数x1,x2,…,xn所组成的数组成为n维向量。n×m个有序的数aij（i=1,2,…,m,j=1,2,…,n）排成的m行n列的数表成为m行n列矩阵。向量、矩阵之间的加、减、乘法。方向导数一块长方形的金属板，四个顶点的坐标是(1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰，它使金属板受热．假定板上任意一点处的温度与该点到原点的距离成反比．在(3,2)处有一个蚂蚁，问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？问题的实质：应沿由热变冷变化最骤烈的方向（即梯度方向）爬行．方向导数的定义．引射线内有定义，自点的某一邻域在点设函数lPPUyxPyxfz)(),(),().(),(,pUPlyyxxPlx上的另一点且为并设为的转角轴正向到射线设oyxlPxyp的方向导数．沿方向则称这极限为函数在点在，时，如果此比的极限存趋于沿着当之比值，两点间的距离与函数的增量定义lPPlPyxPPyxfyyxxf22)()(),(),(.),(),(lim0yxfyyxxflf记为梯度的定义定义设函数),(yxfz在平面区域D内具有一阶连续偏导数，则对于每一点DyxP),(，都可定出一个向量jyfixf，这向量称为函数),(yxfz在点),(yxP的梯度，记为),(yxgradfjyfixf.梯度与方向导数函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值．梯度的模为22|),(|yfxfyxgradf.函数梯度的特征函数在一点的梯度是由函数在该点的所有一阶偏导数组成的向量。梯度的方向是该点函数值上升最快的方向，梯度的大小就是它的模。函数在一点的梯度方向与函数过该点的等值线的切线相垂直，或者说是该点等值线的外法线方向。梯度是函数在一点邻域内局部性态的描述。在邻域内上升得快的方向，离开邻域后就不一定上升得快，甚至可能下降。函数的泰勒展开作用：将复杂的非线性函数简化成线性函数或二次函数。...!...!200200000nnxxnxfxxxfxxxfxfxf多元函数f(X)在点Xk处也可作泰勒展开，展开式一般取三项，形式与一元函数展开式的前三项相似。称为函数f(X)的泰勒二次近似式kkTkkTkkXXXfXXXXXfXfXf)(21)()()(2正定二次函数最简单的非线性函数一般的二次函数可写为以下向量形式：其中：B是常数向量，相当于函数梯度；H为n阶常数矩阵，相当于函数的二阶导数矩阵。XTHX称为二次型。cXBHXXXfTT21)(矩阵有正定、负定、不定之分。对于任意非零向量X：若有XTHX0，则称矩阵H是正定矩阵；若有XTHX0，则称矩阵H是负定矩阵；若有时XTHX0，有时XTHX0，则称矩阵H是不定矩阵。矩阵的正定性还可通过矩阵的各阶主子式进行判断。正定二次函数的性质正定二次函数的等值线（面）是一族同心椭圆（球）。椭圆（球）族的中心就是该二次函数的极小点。非正定二次函数在极小点附近的等值线（面）近似于椭圆（球）。无约束问题的极值条件一元函数极值必要条件：函数在该点的一阶导数为零充分条件：对应的二阶导数不等于零多元函数f(X)在点Xk取得极小值必要条件：函数在该点的梯度为零充分条件：函数的二阶导数矩阵正定正定)(0)(*2*XfXf约束问题的极值条件约束问题的极值形态众多讨论等式约束和不等式约束两种情况等式约束问题的极值条件等式约束Minf(X)S.t.hv(X)=0可建立如下拉格朗日函数令)()(),(1XhXfXLvmvv得,0),(XL不全为零vmvvvXhXf0)()(1上式是等式约束问题在点X取得极值得必要条件。概括为：在等式约束的极值点上，目标函数的负梯度等于诸约束函数梯度的非零线性组合。不等式约束问题Minf(X)S.t.gu(X)=0引入p个松弛变量xn+u=0，可将问题变为约束问题Minf(X)S.t.gu(X)+X2n+u=0极值条件)(00)()(kiIiiiIiXgXfk不等式约束问题的极值条件，其意义可概括为：在不等式约束问题的极小点上，目标函数的负梯度等于起作用约束梯度的非负线性组合。其几何意义是在不等式约束问题的极小点上，目标函数的负梯度位于起作用约束梯度所成的夹角或锥体之内。在非极小点上，目标函数的负梯度位于起作用约束梯度所成的夹角或锥体之外。上面两式称为k-t条件。是约束问题极值得必要条件。一般情况下，满足k-t条件的点（k-t点）就是约束问题的最优点。K-t条件可用作约束问题的终止条件，也可用来直接求解简单的约束最优化问题。