02 优化设计的数学基础

1第二章优化设计的理论基础第三周2优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。为便于后续各章优化方法的学习，有必要研究这些非线性函数的性质和变化规律。32.1函数的泰勒(Taylor)表达式工程设计的优化问题中，所列的目标函数往往很复杂，为了简化问题，常将目标函数在所讨论点附近展开成泰勒多项式来近似原函数。一元函数f(x)在点X(k)的某个领域内具有直到（n+1）阶导数，其Taylor展开式可表示为一个多项式与一个余项的和：nnkknkkkkkRxxnxfxxxfxxxfxfxf)()(2)()()()()(!!2!14多元函数f(x),X=[x1,x2,…,xn]T,在x(k)点的Taylor展开式为：矩阵形式为：...)()()(21)()()(1,)()(21)()()(kjjnjikiijiknikiiikkxxxxxxXfxxxXfXfXf))(()(21)()()(.)(,,)(,)()(,,)(,)()(,,)(,)(,,,21.)(,...,)(,)()()(2)()()()()()(22)(112)(22)(21)(22)(222)(212)(21)(221)(221)(2)()(22)(11)()(22)(11)(2)(1)()(kkTkkTkkknnkknknknknkkknkkkknnkkknnkknkkkkXXXfXXXXXfXfxxxxxxxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfxxxxxxxxxxxxxXfxXfxXfXfXf5TnkkkkxXfxXfxXfXf)(,,)(,)()(2)(1)()(2)(22)(21)(22)(222)(212)(21)(221)(221)(2)(2)(,,)(,)(,,)(,,)(,)()(,,)(,)(nknknknkkknkkkkxXfxxXfxxXfxxXfxXfxxXfxxXfxxXfxXfXf称为f(X)在点x(k)的梯度,它是f(X)在该点的一阶偏导数的列向量。称为f(X)在点x(k)的Hessian矩阵,它是f(X)在该点的二阶偏导数所组成的方阵。它是一个实对称矩阵，也记作H(x(k))。6Taylor展开式若取到二次项，函数可近似用一个二次函数来逼近，称为平方近似：若只取一次项，可得到函数的一次Taylor近似式：该式也称为线性展开式或函数的线性化。))(()(21)()()()()(2)()()()(kkTkkTkkXXXfXXXXXfXfXf)()()()()()(kTkkXXXfXfXf72.2二次型与正定矩阵一、二次型与实对称矩阵将关于变量x1,x2,…,xn的二次齐次函数称为x1,x2,…,xn的二次型。用矩阵表示，则上述二次型可表示为：其中：为n阶实对称矩阵。)(221,1,12112222222111jiijnjijiijnnnnnnnaaxxaxxaxxaxaxaxaXf12T12X,,,AXAXnnxxfxxxxnnnnnnaaaaaaaaa,,,,,,,,A2122221112118二、正定矩阵若任何一个非零向量X=[x1,x2,…,xn]T都使二次型则称该二次型为正定二次函数,称矩阵A为正定矩阵。反之，如果实对称矩阵A是正定的，则二次型对于所有非零向量X，其值总为正。若二次型则A为半正定矩阵；若二次型则A为负定矩阵；若二次型则A为半负定矩阵；若二次型有些X使它为正,有些X使其为负,则A为不定矩阵。0AXX22XT1,12112222222111nnnnnnnxxaxxaxaxaxaf0AXXXTf0AXXXTf0AXXXTfAXXXTf9判断矩阵A是正定或负定的方法：若矩阵A的行列式|A|的各阶顺序主子式都大于零，即：则矩阵A为正定矩阵。若矩阵A的行列式|A|的各阶顺序主子式负、正交替地变换符号，则矩阵A为负定矩阵。0,,,,,,,,,,,0,,,02122221112112221121111nnnnnnaaaaaaaaaaaaaa102.3函数的等值面或线对一般的二次函数若，则其等值线为椭圆族；若，则其等值线为双曲线族；若，则其等值线为抛物线族；若目标函数是线性的，则其等值线是一族平行线。对于二次函数，若有极值点存在，则在该点附近的等值线为一族同心椭圆。对高次非线性函数，等值线形状复杂，有时不只一个线族中心。例如：222121)X(cxxbxaxf240bac240bac240bac4429222)X(2121222122141xxxxxxxxxf11123450123-1-22x1x有两个等值线族心。122.4函数的最速下降方向函数的等值线或面只能从几何图形方面定性地表示函数值的变化情况，如何定量反映函数在某点的变化形态？1.方向导数函数f(x1,x2)在X(0)处沿某一方向S的变化率：||S||),(),(limS)x()0(2)0(12)0(21)0(10||S||(0)xxfxxxxff||S||),(),(||S||),(),(lim22)0(21)0(12)0(21)0(111)0(2)0(1)0(21)0(10||S||xxxxxfxxxxfxxxxfxxxf1xS121x2x)0(2)0(1(0)Xxx)1(2)1(1(1)Xxx2x1322(0)11(0)cos)x(cos)x(xfxf上式称为函数f(x1,x2)在X(0)点处沿方向S的方向导数。式中：为向量S的模分别为向量S与x1,x2轴的夹角。当时当时2221||S||xx21,90,0211(0)(0))x(S)x(xff0,90212(0)(0))x(S)x(xff偏导数是方向导数的特例14n元函数f(x1,…,xn)在X(0)点处沿方向S的方向导数:nxfxfxffcos)x(cos)x(cos)x(S)x(n(0)22(0)11(0)(0)niixf1i(0)cos)x(nxfxfxfcoscoscos)x(,,)x(,)x(21n(0)2(0)1(0)S)X(T(0)f其中Tn(0)2(0)1(0)(0))x(,...,)x(,)x()X(xfxfxffT21cos,,cos,cosSn为函数在X(0)的梯度为一个单位向量152.函数在某点沿一方向的方向导数等于函数在该点处的梯度与方向单位向量的内积。写成向量模的形式：)S,cos(||S||||||SS)X(S)X(TT)0((0)fffffniixff12)0()X(||||1cos||S||12nii1x2x)0(X(*)X)f(X)0()f(X)0(tt当1)S,cos(f所取方向同梯度的方向相同，方向导数为最大值。梯度方向是函数值增长最快的方向。当所取方向为梯度向量的负方向时，,方向导数最小。负梯度方向为目标函数在该点的最速下降方向。1)S,cos(f)X((0)f16对于一般二元二次函数fxdxdcxxbxaxxxff221122212121),()X(fddcbbaxxC,B,22A,X2121令CXBAXX21)X(TTf则梯度公式BAX(X)f172.5凸集、凸函数一、局部最优和全局最优函数极值点是局部区域中各点相比较而言。当点X*邻近的所有点X都满足：称X*和f(X*)分别为局部极小点和局部极值。局部最优点可能有多个，例如：最优化问题是求全域最优解。)X()X()X((X)**ffff或1x)(xf23227)40(sin(X)xxxf18二、凸集1、函数的凸性函数的凸性表现为单峰性。2、凸集定义：设集合DEn，若任意两点X(1)D,X(2)D,所连成的线段上的点X对任意实数a[0,1]都在集合D内，则称集合为凸集，否则称为非凸集。1x)(xfab*x(2)(1))X-(1XX凸集非凸集非凸集193、凸函数D为En中的一个凸集，f(x)为定义在D上的函数，若对任意实数和D中任意两点X(1),X(2)都有则称函数f(x)为定义在D上的一个凸函数。凸函数的性质：)10(]X)1(X[)X()1()X((2)(1)(2)(1)fff1x)(xfab)1(x)2(x)(kx数。上的凸函也是定义在则数上的一个凸函是凸集D(X),D(X),0.1ff上的凸函数。定义在也是则其和数上的两个凸函是凸集和D(X)(X)(X),D(X)(X).22121fffff20上的凸函数。也是定义在，函数和对任意两个正数D(X)(X)(X).3221121fff上的全域最小点。。在也必是极小点，则上的一个在是上的凸函数，而是凸集设D)X(XD)X(XD(X).4**fff点都是函数的最小点。则这两点连线上的所有上的两个最小点，在凸集是凸函数和设D(X)XX.5(2)(1)f212.6约束函数的性质1.约束函数的集合满足所有约束条件的点X组成的集合称为约束函数的集合，可表示为：式中gu(X)和hv(X)为连续的，qn。约束条件把设计空间分割成两个区域：可行域D和非可行域。不等式约束函数在n维设计空间中形成的可行域是由一些超曲线、超曲面、超平面包围而成的n维设计空间的一个子集。q个等式约束形成的可行域是一个(n-q)维的光滑超曲面。如果约束函数都是线形函数，则D必是一个凸集。qvmuhv,,2,1;,,2,1,0)X(,0)X(g|XDu222.适时约束定义：可行点X(k)落在代表一个不等式约束g(X)≤0的约束边界上，即X(k)使该约束g(X(k))=0，则称这个约束为点X(k)的一个适时约束或起作用约束。边界点或极限设计点可行设计点或内点外点或非可行设计点每个等式约束都是适时约束约束最优解X*常常发生在适时约束上。1x2x0)X(g10)X(g20)X(g30)X(g4)(Xk)1(X)2(X0(X)g20(X)g2232.7最优解与最优解条件1.无约束优化设计问题的最优解条件无约束优化问题的最优解的实质是求目标函数的最小值：对一维问题x*为极值点的必要条件f’(x)=0。一阶导数等于零的点为驻点，极值点是驻点，但驻点不一定是极值点。驻点是极值点的充分条件是：nEXXfXf)()(min*极小点极大点0)(''0)(''0)('***xfxfxf24练习：有一二级减速器，总传动比，问如何分配两级传动