7.3-变分法在最优控制中的应用

Ch.7最优控制原理目录(1/1)目录7.1最优控制概述7.2变分法7.3变分法在最优控制中的应用7.4极大值原理7.5线性二次型最优控制7.6动态规划与离散系统最优控制7.7Matlab问题本章小结变分法在最优控制中的应用(1/2)7.3变分法在最优控制中的应用7.1.2小节所定义的动态系统的最优控制问题是一类有状态方程(微分方程)约束、目标集的等式或不等式约束、以及容许控制的开集或闭集性约束的泛函极值问题。本节将基于泛函极值问题的欧拉方程和横截条件,讨论最优控制中的泛函极值问题求解。内容为变分法在最优控制中的应用(2/2)具有等式约束条件下的变分问题末态时刻固定、末态无约束的最优控制问题末态时刻和末态固定的问题末态时刻固定、末态受约束的问题末态时刻未定的问题具有等式约束条件下的变分问题(1/10)7.3.1具有等式约束条件下的变分问题具有等式约束条件下,多个宗量函数的泛函极值问题可表示如下。等式约束变分问题寻找一条连续可微的极值曲线,使性能泛函达到极值,极值曲线x(t)满足微分方程形式的等式约束式中,为m维(mn)关于t,x和的非线性向量函数。0(,(),())dfttJFttttxx(,(),())0tttxx(,(),())tttxx具有等式约束条件下的变分问题(2/10)这里,极值曲线x(t)除满足边界条件和古典变分学中规定的连续可微条件外,还须满足该等式约束条件。由于动态系统的状态方程可归为等式约束,因此该等式约束变分问题是研究最优控制的基础。下面就给出并证明处理等式约束变分问题的等式约束变分定理。具有等式约束条件下的变分问题(3/10)—定理7-4定理7-4(等式约束变分定理)如果n维向量函数x(t)能使等式约束变分问题取极值,那么,必存在待定的m维拉格朗日乘子向量函数(t),使泛函达到无条件极值,即极值曲线x(t)是上述泛函所满足的欧拉方程和等式约束条件(7-47)的解,其中01(,(),(),())dfttJHtttttxxλd0dHHtxx))(),(,()())(),(,())(),(),(,(τtttttttFttttHxxΨλxxλxx(,(),())0(747)tttxx具有等式约束条件下的变分问题(4/10)引进拉格朗日乘子可以将泛函的条件极值问题化为一个无条件的极值问题,基于前面的变分法原理可以证明等式约束变分定理（略）。引入该定理的作用,仅仅是表明泛函J在等式约束条件下的极值曲线x(t),同时使得泛函J和J1达到无条件极值。在后面还要详细讲解具有约束条件下求解极值问题的泛函变分问题。具有等式约束条件下的变分问题(5/10)—例7-6上述欧拉方程和约束条件共有n+m个方程,恰好可以解出n+m个未知函数x(t)和(t)。通过边界条件确定x(t)和(t)中的积分常数。随着终端条件的不同,边界条件也不同。在7.2.4节和7.2.5节所讨论横截条件就能解决这个问题。例7-6火箭在自由空间里的运动作用可用下列微分方程描述式中，u(t)为推力;(t)为角位移。)()(θtut具有等式约束条件下的变分问题(6/10)令x1(t)=(t),x2(t)=(t),可建立状态方程如下试求控制函数u(t),使系统从初始状态经过t=2s转移到状态空间原点,即且使如下性能指标取极小。uxxx22112(0)=θ(0)=1,(0)=θ(0)=1xx12(2)=θ(2)=0,(2)=θ(2)=0xx202d)(21ttuJ具有等式约束条件下的变分问题(7/10)解该问题属于终端固定的极值问题。选择向量拉格朗日乘子函数(t)=[1(t)2(t)],由定理7-4,利用拉格朗日乘子法可得如下辅助泛函指标式中，式中状态变量x(t)、控制函数u(t)和向量拉格朗日乘子函数(t)都为该泛函的宗量。在一般形式中没有宗量u(t),实际上,我们可以把u(t)和x(t)一样来处理,比如,在本例中可以定义u(t)=x3(t)。01(,(),(),(),())dfttJHtttutttxxλ2121221(,,,,)λ()λ()2Htuuxxuxxxλ具有等式约束条件下的变分问题(8/10)那么,这些泛函的宗量必须满足如下欧拉方程111212221211222d0λ()0dd0λ()λ()dd0()λ()dd0()()dd0()()dHHtxtxHHttxtxHHuttutuHHxtxttHHxtutt具有等式约束条件下的变分问题(9/10)联立求解上述欧拉方程,可得111212221211222d0λ()0dd0λ()λ()dd0()λ()dd0()()dd0()()dHHtxtxHHttxtxHHuttutuHHxtxttHHxtutt11211212221232121234λ()λ()λ()d()1()()d211()()d62tCtttCtCutCtCxtuttCtCtCxtxttCtCtCtC具有等式约束条件下的变分问题(10/10)利用边界条件可解得因此,最优控制函数和状态的最优轨线12*32*27*()3217θ*()()12437θ*()()22utttxtttttxtttt123473112CCCC末态时刻固定、末态无约束的最优控制问题(1/12)7.3.2末态时刻固定、末态无约束的最优控制问题这一节着重讨论末态不受约束的最优控制问题。所谓末态不受约束,是指末态x(tf)可在Rn空间中取任何值,即目标集为整个状态空间。因此,该问题可描述如下。末态无约束最优控制问题求一容许控制u(t)U,t[t0,tf],在末态时刻tf固定,状态x(tf)无约束,初始状态x(t0)=x0以及被控系统等约束条件下,使如下复合型性能泛函指标达到最小值。()((),(),)ttttxfxu0[()]((),)(,(),())dftfftJSttLttttuxxu末态时刻固定、末态无约束的最优控制问题(2/12)对该最优控制问题,若将动态系统的状态方程改写成等式约束条件则可根据等式约束变分定理(定理7-4)求解该泛函极值问题，两问题只是边界条件不同而已。引入拉格朗日乘子向量函数(t),将等式约束条件和原有的性能指标泛函结合成一个新的泛函泛函J1的极值问题与原泛函J的极值问题等价。((),(),)()0ttttfxux0τ1[()]((),){((),(),)()[((),(),)()]}dftfftJSttLtttttttttuxxuλfxux末态时刻固定、末态无约束的最优控制问题(3/12)为方便起见,定义一标量函数如下该标量函数H称为哈密顿(Hamilton)函数。因此,泛函J1可记为。τ((),(),(),)((),(),)()((),(),)HttttLtttttttxuλxuλfxu00τ1ττ00τ[()]((),){((),(),(),)()()}d((),)()()()(){((),(),(),)()()}dfftfftffffttJSttHtttttttSttttttHtttttttuxxuλλxxλxλxxuλλx末态时刻固定、末态无约束的最优控制问题(4/12)求泛函J1的极值问题,可以直接用欧拉方程(7-49)来求得极值条件,并且通过边界条件确定由极值条件得到方程解的积分常数,如例7-6中,边界条件为系统起点和终点状态。后面将会给出不同情况下的边界条件。当然在确定泛函J1的极值条件时,不是一定要利用欧拉方程(7-49)来求解,可以根据实际情况进行必要的简化。就泛函J1而言,其宗量有以及u(t)和(t)。前面已经指出,不必对宗量(t)变分,因为对(t)的变分结果就是约束条件(系统状态方程)。d0(749)dHHtxx0,,(),()fttxtxt末态时刻固定、末态无约束的最优控制问题(5/12)考虑到初始状态(t0,x(t0)),末态时刻tf固定以及x(tf)自由,泛函J1对其所有的可变宗量的一阶变分为当选择(t)满足时，可惟一确定拉格朗日乘子函数(t)。于是,泛函J1的一阶变分可变为fftttttHHSJ0d1uuxλxxλx((),),()()ffffSttHttxλλxxftttHJ0d1uu末态时刻固定、末态无约束的最优控制问题(6/12)根据泛函极值的必要条件J1=0,考虑到变分u(t)的任意性,由变分学的基本预备定理可得联立上述方程以及动态系统的状态方程和初始状态条件x(t0)=x0,可解得最优控制函数u*(t)、最优状态轨线x*(t)和适当的拉格朗日乘子函数(t)。上述结果可归纳成如下定理。0HuftttHJ0d1uu末态时刻固定、末态无约束的最优控制问题(7/12)—定理7-5定理7-5(末态无约束最优控制定理)末态无约束最优控制问题的最优控制函数u*(t)、最优状态轨线x*(t)和适当选择的拉格朗日乘子函数(t)须满足如下条件:1)规范方程2)边界条件3)极值条件()((),(),)τ()HttttHLtxfxuλfλλxxx00((),)(),()()ffffStttttxxxλx0uH末态时刻固定、末态无约束的最优控制问题(8/12)在末态无约束最优控制定理的结论中,由上述微分方程以及边界条件可惟一确定出最优状态轨线x*(t)和适当选择的拉格朗日乘子函数(t)。上述关于x(t)和(t)的微分方程通常被称为规范方程,其中(t)的微分方程又称为协态方程(或共轭方程,伴随方程),相应地,拉格朗日乘子函数(t)又称为协态变量或共轭变量。极值条件H/u=0是一代数方程,由它联立规范方程的解可求得具体的最优控制函数u*(t)和最优状态轨线x*(t)。末态时刻固定、末态无约束的最优控制问题(9/12)下面讨论哈密顿函数的一个重要性质。哈密顿函数对时间t的全导数为考虑到规范方程,则有再考虑到极值条件H/u=0,于是哈密顿函数对时间t的全导数可表示为τττddHHHHHttxλuxλu0ττττxλλxλλxxHHHHHHtHtHdd末态时刻固定、末态无约束的最优控制问题(10/12)—例7-7上式表明,沿最优轨线哈密顿函数H对时间的全导数等于对时间的偏导数。因此,当哈密顿函数H不显含时间变量t时,则有H(t)=常数t[t0,tf]例7-7已知被控系统为求最优控制u*(t)使如下性能指标泛函取极小。00,()xuxtx02211()()d022ftftJCxtuttCtHtHdd末态时刻固定、末态无约束的最优控制问题(11/12)解这是一个具有tf固定,x(tf)自由的终端约束的极值问题。首先构造哈密顿函数如下。由极值条件H/u=0可解得u=-。将其代入规范方程,可得并满足如下边界条件x(t0)=x0(tf)=Cx(tf)从而解得21(,,,)λ2Htxuλuuλλ-0Hxux末态时刻固定、末态无约束的最优控制问题(12/12)式中，tf为某一确定的常数。将u*(t)代入哈密顿函数H得其中(t)为常数。*00*00*0000*0()1()λ()λ()()1()()λ()1