动态最优化第7讲-最优控制理论极大值原理

动态最优化方法——第7讲最优控制理论极大值原理第七讲最优控制理论最大值原理（一）最优控制引论变分法：寻找目标泛函的状态路径y的最优时间路径最优控制理论：寻找控制变量u的最优时间路径。发现了最优控制路径，就可以找到相应的最优状态路径。注意力集中在控制变量上，这些控制变量充当最优化的工具手段。第七讲最优控制理论最大值原理（一）最优控制引论一个例子：假设经济中有一种可耗尽资源，储量为：当资源被开采时，资源的储量随时间的变化为：：为t时的开采量。具有两个特性：1）能够由决策者控制；2）能够影响存储量变量（状态变量）。资源使用的效用函数：00SStEdttdStEtSUtEU或第七讲最优控制理论最大值原理（一）最优控制引论假设企业的目标：在给定时间[0,T]上最大化使用这种资源的总效用。（1）变分法模型：（2）最优控制理论模型：自由）（状态变量的运动方程TSSStEdtdSTSdttEUMaxT000..自由TSSSTSdtetSUMaxTt000..第七讲最优控制理论最大值原理（二）最优控制的基本问题（1）基本思想控制变量（u）：是一个政策或操作工具，使实施主体能够影响状态变量（y）。主体的任务是：选择最优容许控制路径，与相应的最优容许状态路径一起在给定时期[0,T]上最优化目标泛函。tU*ty*第七讲最优控制理论最大值原理（二）最优控制的基本问题（2）特殊性质1）控制路径不必要求是连续的，仅需要它是分片连续的（允许包含跳跃间断）；状态路径在整个时期中必须是连续的，允许具有有限个尖点（分片可微）。T0控制路径ut1t2tbacdeT0状态路径yt1t2tABCufdtdy第七讲最优控制理论最大值原理（二）最优控制的基本问题（2）特殊性质2）可以直接处理关于控制变量u的约束如：（有界控制集合）2,1tu,Ttttu,ttttu,tttu2*21*1*,2,10,2对于对于对于碰碰解：T0控制路径ut1t2t12第七讲最优控制理论最大值原理（二）最优控制的基本问题（2）特殊性质3）最简单问题是垂直终结线问题，而不是固定终结点问题AT0ytTy不自由给定，TuyTAt=TT0yt自由自由，TuyT第七讲最优控制理论最大值原理（二）最优控制的基本问题（3）最简单问题的形式（垂直终结线）控制变量为，运动方程（或状态方程）：控制变量通过运动方程影响状态变量TttuTATyAyuytfdtdyTSdtuytFVMaxT,0,,0,,..,,0对于所有给定）（自由tuuytfdtdy,,ty第七讲最优控制理论最大值原理（二）最优控制的基本问题（4）一个特例（运动方程为：）消去u，得：化为垂直终结线的变分法问题给定）（自由TATyAyudtdyTSdtuytFVMaxT,0..,,0udtdy给定）（自由TATyAyTSdtyytFVMaxT,0..,,0第七讲最优控制理论最大值原理（三）最大值原理最优控制理论的一阶必要条件称为最大值原理。（1）共态变量和汉密尔顿函数汉密尔顿函数：共态变量：（类似拉格朗日乘子）uytftuytFH,,,,tTttuTATyAyuytfdtdyTSdtuytFVMaxT,0,,0,,..,,0对于所有给定）（自由第七讲最优控制理论最大值原理（三）最大值原理（2）最大值原理的条件（最优控制理论求一阶必要条件需满足的条件）件）（垂直终结线的横截条的运动方程）（的运动方程）（对于所有的0,0,,,TyHdtdyHdtdyTtuytHMaxu第七讲最优控制理论最大值原理（三）最大值原理（2）最大值原理的条件注意条件：指：是一般性的描述对于所有的TtuytHMaxu,0,,,是其它控制是最优控制，对于所有uu,TtuytHuytH**0,,,,,,第七讲最优控制理论最大值原理（三）最大值原理（2）最大值原理的条件对于条件：TtuytHMaxu,0,,,对于所有的是凹函数验证再用二阶条件：首先使用一阶条件求解条件：则可用条件：且最优控制是内点解，可微，关于），是上凹函数（曲线）如果（HuHuHuytHMaxuHuHHu00:,,,01122cau,假设：uc0H1曲线ba2曲线3曲线4曲线第七讲最优控制理论最大值原理（三）最大值原理（2）最大值原理的条件uc0H1曲线ba2曲线3曲线4曲线值的大小，取最大的边界时和然后比较或解：则确定最优控制为边界如果算得求解条件：或最优控制取决于边界解得出的是最小值，但可微关于），尽管是下凸函数（曲线）如果（HcuaucuauuHuytHMaxcuauuHuHHu****22**,0,,,:0,22第七讲最优控制理论最大值原理（三）最大值原理（2）最大值原理的条件uc0H1曲线ba2曲线3曲线4曲线cuHuHuHauHuHuH**,40:4,30:3右边界：的最大值取控制变量的，是线性函数，斜率为正关于）（曲线常数）如果算得（左边界：的最大值取控制变量的负，是线性函数的，斜率为关于）（曲线常数）如果算得（第七讲最优控制理论最大值原理（三）最大值原理（3）例子——算例1给定）（自由TATyAyudtdyTSdtuVMaxT,0..102/12第七讲最优控制理论最大值原理（三）最大值原理（3）例子——算例1步骤1：求汉密尔顿函数：H是可微和非线性的，可用一阶条件得到：用二阶条件验证最优解是否是最大值：,,,uytHMaxuuuH2/1210uH2/12*2221222/121111102121tuuuuuuuH0111112/32222/322/3222/1222uuuuuuuuH第七讲最优控制理论最大值原理（三）最大值原理（3）例子——算例1步骤2：求共态变量的运动方程步骤3：求状态变量的运动方程（常数）1*0CtyHdtdyHdtdHdtdyuHdtdyuuH2/121汉密尔顿函数：第七讲最优控制理论最大值原理（三）最大值原理步骤4：利用边界条件和横截条件确定定解由横截条件，得：最优控制路径：udtdyHdtdyCtyHdtdtuuH1*2/12*100T0,0*1*tCT从而：012/12*tuAtyAyCtydtdytuudtdy*2**000代入，得：把初始条件：和由第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例22,0240..3220tuyyuydtdyTSdtuyVMax自由第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例2步骤1：求汉密尔顿函数：汉密尔顿H关于u是线性的，不能用条件,,,uytHMaxuuyuyuyH32323/uH得：*0/uuH，确定最优控制第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例2分类讨论：1）如果2）如果32,0/*uuH则300/*uuH，则uu20Hab31曲线32曲线uyHMaxu323/uH2,0tu第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例2步骤2：求共态变量的运动方程步骤3：求状态变量的运动方程yHdtd2221teCtdtdyHdtdHdtdyuyHdtdyuyH32第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例2步骤4：利用边界条件和横截条件求最优路径由横截条件：，得：共态变量最优路径定解：uydtdyHdtdyeCtyHdtduuuytHMaxtu23,0;3,2,,,1**如果如果0T21212022eCeC222*tet第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例21）由共态变量最优路径求控制变量的最优路径：是减函数关于所以得：ttedttdt*2*,02222*tet由：1.084ln2.5-23222*tet令：tt当当所以有：3,,330222,3788.12220*2*终点值：初始值：e第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例21）由共态变量最优路径求控制变量的最优路径：和得控制变量的最优路径：tt当当3,,33,03,2,,,**如果如果由uuuytHMaxu）（）（32,030,2*tttu20最优控制路径*ut2第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例22）由控制变量最优路径求状态变量的最优路径：uydtdyHdtdyy的运动方程：tteCtyydtdyuteCtyydtdyutu3**2***,0,2222,2,01从而有：）当（从而有：）当（的路径知：由第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例23）由初始条件和状态变量连续性确定状态变量的定解：,26,01642240*222*ttetytCCeCtyy时）当（得：代入，得：把初始条件：tetyteCCeCey324.5,22324.526,626*323*时）当（解得：点时：在由状态变量的连续性，20最优状态路径*yt226*tetytety324.5*第七讲最优控制理论最大值原理（三）最大值原理（4）例子——算例2最优共态路径：最优控制路径：最优状态路径：2,00,2*tttu2,324.50,26*tetetytt）（1.08420最优控制路径*ut220最优状态路径*yt226*tetytety324.5*222*tet第七讲最优控制理论最大值原理（四）最大值原理的理论基础对于最优控制问题：（给定）000,,..,,yyuytfdtdyTSdtuytFVMaxT第七讲最优控制理论最大值原理（四）最大值原理的理论基础步骤1：如果变量y总是服从运动方程：在每个时刻t，都有：新的泛函：uytfdtdy,,0,,0Tdtdtdyuytft从而：0,,uytfdtdyTTdtdtdyuytftuytFdtdtdyuytftVv00,,,,,,就具有相同的值和只要运动方程成立，Vv第七讲最优