北京交通大学(最优控制理论与算法研究生课程)第四章-极大值原理

极大值原理(1/4)第4章极大值原理前一章讨论的最优控制问题都基于以下基本假定:控制量u(t)的取值范围U不受任何限制,即控制域U充满整个r维控制空间,或者U是一个开集。即控制量u(t)受等式条件约束但是,大多数情况下控制量总是受限制的。例如,控制量可能受如下大小限制|ui(t)|ai=1,2…,r式中,a为已知常数。极大值原理(2/4)上述约束条件即相当于容许控制空间U是一个超方体。甚至,有些实际控制问题的控制量为某一孤立点集。例如,继电器控制系统的控制输入限制为ui(t)=±ai=1,2,…,r一般情况下,可将控制量所受的约束用不等式来表示Mi(u(t),t)0,i=1,2,…当控制变量u(t)受不等式约束条件限制时,古典变分法就无能为力了。最优控制往往需要在闭集的边界上取值。这就要求人们去探索新的理论和方法。极大值原理(3/4)应用古典变分法的另一个限制条件是要求函数L(x,u,t),f(x,u,t),S(x(tf),tf)对其自变量的连续可微性,特别是要求H/u=0存在。因此,对于有较大实际意义的性能指标泛函就无能为力了。所以,类似消耗燃料最小这类常见最优控制就无法用古典变分法来解决。fttttuJ0d|)(|极大值原理(4/4)鉴于古典变分法的应用条件失之过严,引起了不少数学界和控制界学者的关注。贝尔曼的动态规划和庞特里亚金的极大值原理是较为成功的,应用很广泛,成为解决最优控制问题的有效工具。本节主要介绍极大值原理的结论及其启发性证明。讲授内容为自由末端的极大值原理极大值原理的证明极大值原理的几种具体形式约束条件的处理自由末端的极大值原理(1/8)4.1自由末端的极大值原理最优控制问题的具体形式是多种多样的,在第2章的讨论中可知,3种泛函问题(拉格朗日问题、波尔扎问题和麦耶尔问题)的表达形式可以互相转换。这里，研究泛函为定常的末值型性能指标的最优控制问题(麦耶尔问题),然后将结论逐步推广至其他最优控制问题。下面,就定常的末值型性能指标、末态自由的控制问题来叙述极大值原理。自由末端的极大值原理(2/8)—定理7-9定理9(极大值原理)设u(t)U,t[t0,tf],是一容许控制。指定的末值型性能指标泛函为J[u(·)]=S(x(tf)),式中,x(t)是定常的被控系统相应于控制量u(t)的状态轨线,tf为未知的末态时刻。设使该性能指标泛函极小的最优控制函数为u*(t)、最优状态轨线为x*(t)。则必存在不恒为零的n维向量函数(t),使得1)(t)是方程00()((),()),()ttttxfxuxx)())(),((τ)(tttHtλxuxfxλ自由末端的极大值原理(3/8)满足2)边界条件的解,其中哈密顿函数为3)则有即(())()()fffStttxλx***()((),(),())min((),(),())tUHtttHtttuxλuxλu))(),(()())(),(),((ttttttHuxfλuλx***0((),(),())((),(),()),[,],()fHtttHtttttttUxλuxλuu自由末端的极大值原理(4/8)4)沿最优轨线哈密顿函数应满足下面先对上述极大值原理的涵义作简单的解释,再给出该定理的启发性证明。*********((),(),())0((),(),())((),(),())ffffffffHttttHtttHtttt自由常值固定xλuxλuxλu自由末端的极大值原理(5/8)1)容许控制条件的放宽。古典变分法应用于最优控制问题,要求控制域U=Rr,即控制域U充满整个r维控制空间。然后,从控制量的变分u(t)的任意性出发,导出极值条件H/u=0。这一条件是非常严格的。其一,它要求哈密顿函数H对控制量u(t)连续可微;其二,它要求控制量的变分u(t)具有任意性,即控制量u(t)不受限制,或仅在受等式约束条件限制的开集中取值。自由末端的极大值原理(6/8)2)定理9中的式(93)和(94)同样称为协态方程和横截条件,其相应求解方法与基于古典变分法的最优控制求解方法类似。变分法的极值条件是一种解析形式,而极大值原理的极值求解条件(96)是一种定义形式,不需要哈密顿函数H对控制量u(t)的可微性加以约束,而且对于通常的对u(t)的约束都是适用的,例如,u(t)受不等式约束条件约束,即在闭集中取值。***()τ((),())()()(93)(())()(94)()((),(),())min((),(),())(96)ffftUHttttStttHtttHtttufxuλλxxxλxxλuxλu自由末端的极大值原理(7/8)3)由极值求解条件(96)可知,极大值原理得到的是全局最小值,而非局部极值,而古典变分法中由极值条件H/u=0得到的是局部极小值。再则,如果把条件(96)仍称为极值条件,则极大值原理得到的是强极值。而古典变分法在欧拉方程推导时,对极值曲线x*(t)和其导数都引入变分,得到的是弱极值。不难理解,当满足古典变分法的应用条件时,极值条件H/u=0只是极大值原理的极值求解条件(96)的一个特例。***()((),(),())min((),(),())(96)tUHtttHtttuxλuxλu自由末端的极大值原理(8/8)4)在上述定理中,最优控制u*(t)使哈密顿函数取最小值。所谓“极小值原理”一词正源于此,称“极大值原理”是习惯性叫法。若实际控制问题需求极大值,可将极值求解条件的求最小(min)改为求最大(max)即可。5)极大值原理只给出最优控制的必要条件,并非充分条件。得到的解是否能使泛函J最小,还有待证实。极大值原理更没有涉及解的存在性问题。如果实际问题的物理意义已经能够判定所讨论的问题的解是存在的,而由极大值原理所求出的控制仅有一个,可以断定,此控制就是最优控制。实际遇到的问题往往属于这种情况。极大值原理的证明(1/2)7.4.2极大值原理的证明庞特里亚金对极大值原理作了严格的证明,涉及拓扑学、实函数分析等很多数学问题,这是作为工科教材难以详细论述的。本教材利用增量法给出极大值原理的一个启发性证明。证明中所作的假设是:1)函数f(x,u)和S(x(tf))都是其自变量的连续函数;2)函数f(x,u)和S(x(tf))对于x是连续可微的,即f/x和S/x(tf)存在且连续,但并不要求函数f(x,u)对u可微;极大值原理的证明(2/2)3)为了保证微分方程解的存在和惟一性,假定f(x,u)在任意有界集上对自变量x满足如下李普希茨(Lipschitz)条件‖f(x1,u)-f(x2,u)‖‖x1-x2‖0,x1,x2XRn,uURr下面叙述用增量法证明极大值原理的过程,证明步骤为:构造泛函J的增量求取x(t)的表达式对x(t)进行估计极值条件的推证tf的考虑然后介绍一基于极大值原理的最优控制算例泛函J的增量(1/2)(1)泛函J的增量假定末态时刻tf已知,根据S(x(tf))对x(tf)的连续可微性泛函J的增量J可表示为式中u*(t)和x*(t)分别表示最优控制函数及相应的最优轨线;x(t)为x(t)在最优轨线x*(tf)附近的变分;o(‖x(tf)‖)表示泰勒展开式中x(tf)的高阶项。)()()()()()()()()()(*****ffffffftotttStSttSJJJxxxxxxxuuuJ[u(·)]=S(x(tf))泛函J的增量(2/2)要从J[u*(·)]0的条件导出最优控制必要条件,首先应找出x(t)与控制量u(t)的变分u(t)的关系,进而对x(t)作出估计。下面为表述更简洁,时间函数x(t)与u(t)的时间变量t略去不写。x(t)的表达式(1/3)(2)x(t)的表达式根据f(x,u)对x的可微性,由状态方程(92)可得如下由控制量的变分u(t)引起的状态方程(92)的变分********************((,)(,)(,)(,)()(,)(,)(,)(,)),(,())ooxfxuxfxxuufxufxuufxuuxxfxuxfxuuxfxuxfxufxuuxxx()((),())(92)tttxfxux(t)的表达式(2/3)令矩阵函数Φ(t,s)为线性状态方程的状态转移矩阵,即Φ(t,s)满足如下微分方程组考虑到x(t0)=0,则x(t)在t=tf时的解为**((),())()()ttttfxuxxxIsssttttst),(),())(),((d),(d**xuxf000********()(,)((),()())((),())d((),()())((),())(,)()d(,)(())dffftffttfttftttsssssssssssstssstsossxfxuufxufxuufxuxxxxx(t)的表达式(3/3)将上述方程代入式(98),则得泛函J的增量J为上式虽然给出了泛函增量J与（u,x）的关系,但是对一般形式的u,还很难估计上式的J。然而，对任意的u,上式均成立,故对特定的u也应成立。为此,下面讨论时取一特定的变分u,以利于对上式的估计。000***********()(,)(,)(,)d()()(,)(,)(,)()d()()(,)(())d()()ffftfftftfftftffftfStJtsstSttssstSttsossottxfxuufxuxxfxuufxuxxxxxxxx*()()()(98)()ffffStJtottxxxx对x(t)的估计(1/11)(3)对x(t)的估计设u(t)是控制u(t)的任意变分,对应x(t)的增量x(t)应满足如下方程将上式的第一式改写为0()(,)(,)()0ttxfxxuufxux(,)(,)(,)(,)xfxxuufxuufxuufxu对x(t)的估计(2/11)对于给定的u(t)和u(t),由于它们的分段连续性,必存在有界的U1U及XRn,使u(t)+u(t)U1,x(t)X,对所有的t[t0,tf],根据李卜希茨条件,必存在0,满足‖f(x+x,u+u)-f(x,u+u)‖‖x‖且由f(x,u)对u的连续性,对有界的u(t)和u(t),存在b(t)0,则‖f(x,u+u)-f(x,u)‖|b(t)|t[t0,tf]其中于是由式(105)可知,x(t)满足0()0()0()0tbtbtuu()()()tatbtxx(,)(,)(,)(,)(105)xfxxuufxuufxuufxu对x(t)的估计(3/11)—引理2为了作进一步的估计,下面先引入一个引理。引理2证明由欧几里德范数(2-范数)的定义,有从而有证毕ddtxx1d12d2niiixxtxxxxxxxxx1/221niixx对x(t)的估计(4/11)因此,由引理2和式(109),有即将两边乘以e-t,得解得d()()()dtatbttxxd()()datatetebttxd()()()dtatbtt