共轭方向

共轭方向共轭方向1.共轭方向的概念2.共轭向量的概念3.共轭向量的几何意义和性质1.共轭方向的定义120TSAS设A为n×n阶实对称正定矩阵，如果有两个n维非零向量S1和S2，满足：则称向量S1和S2对于矩阵A共轭，S1和S2称之为共轭方向。若A为单位矩阵，则两个向量是什么关系？共轭是正交的推广2.共轭向量的概念若有一组非零向量S1，S2，…，Sn，满足：则称向量系Si(i=1,2…,n)称为矩阵A的共轭向量系0()TijSASij注：若A=I，则向量系Si(i=1,2…,n)称为正交向量系。3.共轭方向的几何意义共轭方向是指若干个方向矢量组成的方向组，各方向具有某种共同的性质，他们之间存在着特定的关系。首先以二元二次正定函数为例说明共轭方向概念，设函数式中2*2阶对称正定矩阵由于A矩阵对称正定，所以等值线为一组椭圆，如下图按任意给定的方向S1，做F(x)=F1与F(x)=F2两条等值线的切线，两切线互为平行，切点为x(1),x(2)。连接两切点构成新的矢量:函数F(x)在两点处的梯度分别为3.共轭方向的几何意义按梯度的特性，梯度是等值线的法矢量，所以x(1)，x(2)点的梯度必须与矢量S1相垂直，因正交矢量点积为0，故有：或故有3.共轭方向的几何意义3.共轭方向的几何意义同心椭圆簇的几何性质：任意做两条平行线，与椭圆组中的两椭圆切于点x(1)，x(2)。该两点必通过椭圆的中心；或者说，过椭圆中心做任意直线与任意两个椭圆相交，通过交点作椭圆切线必互相平行。切线的方向S1与两切点连线的方向S2，就是一对共轭方向。正定二次二元函数，经过两次共轭方向搜索，就可搜到极小点为简化，设目标函数为二次齐次函数，等值线中心在坐标原点AxxxFT)(222121212),(cxxbxaxxxF展开函数值分别为d1，d2的两条等值线Ⅰ，Ⅱ，方程为：021222121dcxxbxax022222121dcxxbxax等值线任意点切线斜率为，可对上式求导而得，12dxdx0)(222122121dxdxcxbxbxax则切线斜率为212112cxbxbxaxdxdxk过点,椭圆切线斜率分别记为k1，k2Txxx)1(2)1(1)1(Txxx)2(2)2(1)2(则有：)1(2)1(1)1(2)1(11cxbxbxaxk)2(2)2(1)2(2)2(12cxbxbxaxk当所引的两条直线平行，且切于等值线（椭圆)于点x(1)，x(2)，则该两条切线斜率相等，k1=k2，即)2(2)2(1)2(2)2(1)1(2)1(1)1(2)1(1cxbxbxaxcxbxbxax④分别将切点x(1)、x(2)与坐标原点相连接，两直线Ox1，Ox2的斜率分别记为(1)021(1)1xkx)2(1)2(202xxk如果有，说明两点连线必通过坐标原点O（椭圆中心），将式④写成0201kk)2(1)2(2)2(1)2(2)1(1)1(2)1(1)1(2xxcbxxbaxxcbxxba02020101ckbbkackbbka或将上式展开整理后得0))((01022kkacb由于函数F(x1，x2)是二次齐次函数，图形为椭圆，所以，则必有。由此证明得出，点x(1)，x(2)连线必定通过椭圆中心点O。acb20102kk4.共轭方向在最优化问题中的应用若在切于椭圆的直线上取方向S1，连接两个切点x(1)，x(2)为方向S2，则S1，S2为共轭方向。如果从某任意初始点出发，依次沿方向S1，S2做两次一维搜索，即可达到椭圆中心——此函数F(x)的极小点对于一般的二元二次正定函数数，按其共轭方向进行两次搜索也必定达到函数的极小点。此情况目标函数等值线仍是椭圆，但其中心不在坐标原点AxxxBCxFTT21)(4.共轭方向在最优化问题中的应用二次收敛性是指一种算法，如果对于二次正定函数，从理论上只要进行有限次一维搜索，就可以达到理论极小点，把这种算法称为具有二阶收敛性（二次收敛性）或有限步收敛法。对于一般的n元二次正定函数F(x)，依次按共轭矢量系(S1，S2，…。Sn)中各矢量方向进行n维一次搜索，就可达到等值线（椭圆）中心——理论极小值点例题例题2：设二维目标函数，给定方向S1=e2，2122212)(xxxxxF初始点。求与S1相共轭的S2，并求函数的极小点。(0)1[2,2]Tx解：⑴第一个搜索方向101S⑵函数的海塞矩阵2114A对称正定可知函数F(x)为二次正定函数，如果按共轭方向S1，S2，进行两次一维搜索就达到目标函数的极小点x*例题⑶从x1(0)点沿S1方向求极小点x(1)，即)()(min)1(1)0(xFSxF沿S1方向(0)12222202212()22(2)28min()min(28)xxSFxFx11（）则1210)1(22)1()1()0()1(Sxx例题⑷任取初始点x2(0)=[1,1]T，沿S1方向一维搜索求得该方向极小点x(2)(2)[1,0.5]Tx⑸求与S1相共轭的方向S2(2)(1)2[1,0.5]TSxx核验计算12411010120.5TSAS矢量S1与S2为对A矩阵共轭例题⑹从x(1)点出发，沿S2方向作一维搜索，得极小点Tx00*5.共轭方向的几个性质1.若矢量系S1，S2，…，Sn对于对称正定矩阵A共轭，则它必为线性独立（线性无关）矢量系。—共轭向量的个数最多等于维数n2.对于一般的n元二次正定函数F(x)，依次按共轭矢量系(S1，S2，…。Sn)中各矢量方向进行n维一次搜索，就可达到等值线（椭圆）中心—理论极小值点