最优控制课程课件II-5.HJB方程-

........................................第九讲：Hamilton-Jacobi-Bellman⽅程最优控制的数学理论之五张杰⼈⼯智能学院中国科学院⼤学复杂系统管理与控制国家重点实验室中国科学院自动化研究所2017年10月17日Jie,Zhang(CASIA)OptimalControl最优控制的数学理论1/67........................................TableofContents1回顾：Bellman⽅程2Hamilton-Jacobi-Bellman⽅程3动态规划求解连续最优控制4离散时间线性⼆次性最优控制5连续动态规划求解线性⼆次型6动态规划v.s.极值原理Jie,Zhang(CASIA)OptimalControl最优控制的数学理论2/67........................................周四，10月19日随堂考试开卷考试，禁⽌电⼦设备，自带纸笔计算题、证明题、问答题包括截⽌考试当日的所有内容折算占平时成绩中的10分考试时间，10月19日课上后半节Jie,Zhang(CASIA)OptimalControl最优控制的数学理论3/67........................................回顾：Bellman⽅程TableofContents1回顾：Bellman⽅程2Hamilton-Jacobi-Bellman⽅程3动态规划求解连续最优控制4离散时间线性⼆次性最优控制5连续动态规划求解线性⼆次型6动态规划v.s.极值原理Jie,Zhang(CASIA)OptimalControl最优控制的数学理论4/67........................................回顾：Bellman⽅程回顾：Bellman⽅程离散时间最优控制问题问题1(离散时间最优控制问题)状态变量为x(k):N!Rn，控制变量为u(k):N!Rm(1)控对的状态⽅程x(k+1)=fD(x(k);u(k);k);k=0;:::;N1:(1)(2)容许控制：u(k)2U;x(k)2X:(2)(3)目标：x(N)2S:(3)(4)性能指标：J(u;x(k);k)=hD(x(N);N)+N1∑i=kgD(x(i);u(i);i):(4)Jie,Zhang(CASIA)OptimalControl最优控制的数学理论5/67........................................回顾：Bellman⽅程回顾：Bellman⽅程动态规划的最优性原理定理1(最优性原理,Bellman1954)过程的最优有如下性质：不论初始状态和初始如，其的对于由初始所形成的状态来，必定也是⼀最优上海南京天津北京[,]J上海南京[,]J南京北京[,]J南京天津,北京如果南京-天津-北京是南京到北京的最短路，上海-南京-北京会是最短路吗Jie,Zhang(CASIA)OptimalControl最优控制的数学理论6/67........................................回顾：Bellman⽅程回顾：Bellman⽅程Bellman⽅程定理2(Bellman⽅程)x0为初值k0为初始时刻，最优控制下的性能指标记为值函数V(x0;k0)=minu2UJ(u;x0;k0)(5)最优性原理，最优控制满⾜下Bellman⽅程：V(x(N);N)=hD(x(N);N):(6)V(x(k);k)=minu(k)2UfgD(x(k);u(k);k)+V(x(k+1);k+1)g;k=N1;:::;0:(7)Jie,Zhang(CASIA)OptimalControl最优控制的数学理论7/67........................................回顾：Bellman⽅程回顾：Bellman⽅程HJB⽅程和PMP、经典变分的关系拉格朗日变分法⇕等价哈密尔顿⽅程组,哈密尔顿雅各比⽅程++控制++控制极值原理(V⼆次可微特况HJB⽅程Jie,Zhang(CASIA)OptimalControl最优控制的数学理论8/67........................................Hamilton-Jacobi-Bellman⽅程TableofContents1回顾：Bellman⽅程2Hamilton-Jacobi-Bellman⽅程3动态规划求解连续最优控制4离散时间线性⼆次性最优控制5连续动态规划求解线性⼆次型6动态规划v.s.极值原理Jie,Zhang(CASIA)OptimalControl最优控制的数学理论9/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程Hamilton-Jacobi-Bellman⽅程定理3(Hamilton-Jacobi-Bellman⽅程)若最优控制问题有解，值函数是以t0为初始时刻，x0为初始状态，在最优控制下的性能指标：V(x0;t0)=minuJ(u;x0;t0):(8)若值函数⼆阶连续可微，则如下Hamilton-Jacobi-Bellman⽅程（简称HJB⽅程）是最优控制的充分必要条件：@V@t(x(t);t)=minu(t)2RmH(x(t);u(t);@V@x(x(t);t);t);(9)V(x(tf);tf)=h(x(tf);tf)（终端代价）:(10)Jie,Zhang(CASIA)OptimalControl最优控制的数学理论10/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的必要条件1/4HJB⽅程必要性-最优性原理将性能指标分成[t;t+∆t]和[t+∆t;tf]两段V(x(t);t)=minu();2[t;tf]fh(x(tf);tf)+∫tftg(x();u();)dg=minu();2[t;tf]fh(x(tf);tf)+∫t+∆ttgd+∫tft+∆tgdg由最优性原理，若u是以x(t);t为初始状态、初始时刻的最优控制，则u也是x(t+∆t);t+∆t为初始状态初始时刻的最优控制，于是，后半性能指标等于值函数V(x(t);t)=minu();2[t;t+∆t]f∫t+∆ttgd+V(x(t+∆t);t+∆t)g:Jie,Zhang(CASIA)OptimalControl最优控制的数学理论11/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的必要条件2/4HJB⽅程必要性-泰勒展开假定V⼆阶连续可微，将值函数在x(t);t泰勒展开V(x(t);t)=minu();2[t;t+∆t]f∫t+∆ttgd+V(x(t+∆t);t+∆t)g=minu();2[t;t+∆t]f∫t+∆ttgd+V(x(t);t)+@V@t(x(t);t)∆t+[@V@x(x(t);t)]T[x(t+∆t)x(t)]+o(∆t)gJie,Zhang(CASIA)OptimalControl最优控制的数学理论12/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的必要条件3/4HJB⽅程必要性-简单整理对较小的∆t,对2[t;t+∆t]，u()u(t)V(x(t);t)=minu(t)fg(x(t);u(t);t)∆t+V(x(t);t)+@V@t(x(t);t)∆t+[@V@x(x(t);t)]T[f(x(t);u(t);t)]∆t+o(∆t)g于是@V@t(x(t);t)∆t=minu(t)fg(x(t);u(t);t)∆t+[@V@x(x(t);t)]T[f(x(t);u(t);t)]∆t+o(∆t)gJie,Zhang(CASIA)OptimalControl最优控制的数学理论13/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的必要条件4/4HJB⽅程必要性-取极限两边同除∆t，取∆t!0，即可得对于t2[t0;tf]都有HJB⽅程@V@t(x(t);t)=minu(t)fg(x(t);u(t);t)+[@V@x(x(t);t)]Tf(x(t);u(t);t)g令t=tf，得到边界条件V(x(tf);tf)=h(x(tf);tf):(11)Jie,Zhang(CASIA)OptimalControl最优控制的数学理论14/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的充分条件1/3HJB⽅程必要性-命题表述定理4(HJB⽅程的充分条件)若存在函数V(x;t):Rn[t0;tf]!R满⾜HJB⽅程：@V@t(x(t);t)=minH(x(t);;@V@x;t);及边界条件V(x(tf);tf)=h(x(tf);tf):则，V(x0;t0)是以t0为初始时刻，x0为初始状态的值函数若存在x(t);u(t)恰满⾜哈密尔顿函数最小化，那对其他u′(t)，性能指标均不优于VJie,Zhang(CASIA)OptimalControl最优控制的数学理论15/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的充分条件2/3HJB⽅程必要性-处理极值条件设u(t)是满⾜HJB⽅程的控制变量，x(t)是对应的状态@V@t(x(t);t)=minH(x(t);;@V@x(x(t);t);t)=H(x(t);u(t);@V@x(x(t);t);t)=g(x(t);u(t);t)+@V@x(x(t);t)
f(x(t);u(t);t);0=g(x(t);u(t);t)+ddt[V(x(t);t)]:0=∫tft0g(x(t);u(t);t)+[V(x(tf);tf)V(x(t0);t0)]V(x0;t0)=h(x(tf);tf)+∫tft0g(x(t);u(t);t)=J(u;x0;t0)(12)Jie,Zhang(CASIA)OptimalControl最优控制的数学理论16/67........................................Hamilton-Jacobi-Bellman⽅程HJB⽅程是最优控制的充分条件3/3HJB⽅程必要性-最优性对于其他x′(t);u′(t)，@V@t(x′(t);t)=minH(x′(t);;@V@x(x′(t);t);t)g(x′(t);u′(t);t)+@V@x(x′(t);t)
f(x′(t);u′(t);t);0g(x′(t);u′(t);t)+ddt[V(x′(t);t)]:0∫tft0g(x′(t);u′(t);t)dt+[V(x′(tf);tf)V(x′(t0);t0)]V(x0;t0)h(x′(tf);tf)+∫tft0g(x′(t);u′(t);t)=J(u′;x0;t0)(13)于是u是最优控制，V是值函数Jie,Zhang(CASIA)OptimalControl最优控制的数学理论17/67........................................Hamilton-Jacobi-Bellman⽅程HJB)PMP1/3HJB)PMP上述证明过程中出现了极值条件，即对于最优控制x(t);u(t)H(