第0章、数学基础：拉格朗日法

动态规划的基础：拉格朗日法我们首先学习多元函数的微分，然后使用多元函数的微分学习无约束的极值问题，并推广到有约束的极值问题，最后学习包络定理、动态规划的基本原理和Ito引理。这些数学知识是非常重要的。我们只需要掌握它们就可以求解绝大部分经济学和金融学中的动态规划问题。第1节多元函数微分定义：设列向量12(,,...,)'nxxxx，此处上标“’”表示矩阵的转置（有时我们也用上标T表示矩阵的转置），多元函数（向量函数）:nfRR，那么多元函数的微分()fxx定义为如下n维列向量1()/()()/nfxffxxxxx例：基于两种商品的效用函数为12()UAxxx，那么11211221()AxxUAxxxx例：基于劳动和资本的生产函数为()FALKz，那么11()ALKFALKzz引理：a和x都是n维列向量，A是n维矩阵，那么如下等式成立：（1）、1(')naxax；（2）、()'AxAx；（3）、(')(')xAxAAxx。证明：因为a’x和x’Ax都是一维的，所以都可以视为关于x的多元函数。因此，使用多元函数微分的定义就可以很容易证明（1）和（3）。对（1）使用n次，就可以得到（2）。证明结束。定义：多元函数()fx的海塞（Hessian）矩阵2()'fxxx定义为22()'ijnnffxxxxx即矩阵的第i行第j列是函数f关于ix和jx的二阶偏导数。第2节无约束极值问题由于研究函数()fx的极大值问题与研究函数()fx的极小值问题是等价的，所以为了方便，我们主要研究函数的极大值问题。定义：称向量x为多元函数()fx的（局部）极大值，如果对于向量x附近的任意向量x，都有()()ffxx。定理（极值问题的一阶条件）：如果向量x为函数()fx的局部极大值，那么有()()|ffxxxx0xx此处的0表示n维全0列向量。证明：显然。证明结束。定理（极值问题的二阶条件）：如果向量x为函数()fx的局部极大（小）值，那么函数()fx在x处的海塞矩阵2()|'fxxxxx是负定（正定）矩阵。证明：将函数()fx在x处进行泰勒展开，得到2()1()()()'()'2'ffdfdddxxxxxxxxx显然，当海塞矩阵为负定矩阵时，()fx在x处取局部极大值。证明结束。第3节有约束极值问题：拉格朗日方法定理（有等式约束的极值问题）：具有等式约束的极值问题max()fxx，s.t.1()0,...()0mggxx等价于如下无约束的极值问题111max(,,...,)()()...()mmmLfggxxxxx其中()0igx为第i个等式约束方程，i为相应的拉格朗日乘子，L为拉格朗日方程。1定理（有不等式约束的极值问题：Kuhn－Tucker条件2）：具有不等式约束的极值问题max()fxx，s.t.1()0,...()0mggxx等价于如下无约束的极值问题1证明参见Mas-colell,Whinston,andGreen（1995）第957页。2证明参见Mas-colell,Whinston,andGreen（1995）第959页。111max(,,...,)()()...()mmmLfggxxxxx此处拉格朗日乘子i都是正数，1,...,im，并且如果x是局部极大值，那么不等式取严格不等号时，拉格朗日乘子等于0，即()0iigx，1,...,im。第4节包络定理引理（包络定理）：定义值函数为规划问题的最优解所对应的极值：()max(,)Vfxaxa，此处x为规划问题的控制变量，a为状态变量。若()xa为最优解，则()((),)Vfaxaa。那么，值函数关于状态变量的导数为()(,)|dVfdx=x(a)axaaa证明：由求偏导数的链式法则，有()((),)()((),)dVffdaxaaxaxaaaxaa由一阶条件，有((),)fxaa0x代入上面的方程，得到()((),)(,)|dVffdx=x(a)axaaxaaaa证明结束。第5节动态规划原理动态规划（DynamicProgramming）的一般模型可以表示为如下规划问题：00{}max(,)ssttttuxxas.t.1(,)tttagxa0a给定此处01是贴现因子，tx是控制变量（ControlVariable）向量，ta是状态变量（StateVariable）向量。动态规划问题的最优解是如下政策函数（PolicyFunction）()ttxha注意到政策函数是时间不变的函数。政策函数、约束方程和初始的状态变量一起组成了递归的最优解路径。定义值函数（ValueFunction）为使用状态变量初始值所达到的期望终身最大值，即000{}()max(,)ssttttVuxaxa约束方程不变，状态变量初始值是给定的。因此，动态规划问题可以转化为求解值函数和政策函数，使之满足如下贝尔曼方程（贝尔曼最优性原理，BellmanOptimalityPrinciple）：1()max(,)()tttttVuVxaxaa约束方程为1(,)tttagxa将约束方程代入贝尔曼方程，得到如下无约束的方程()max(,)((,))ttttttVuVxaxagxa关于控制变量的一阶条件为(,)((,))(,)(,)ttttttttttuVxagxagxa0xgxax对状态变量使用包络定理，得到()(,)((,))(,)(,)ttttttttttttVuVaxagxagxaaagxaa上述两个方程合并就可以得到描述跨期优化行为的欧拉方程。在动态规划问题中，有一类非常广泛的问题就是家庭的优化问题。众所周知，跨期动态一般均衡模型必然需要考虑家庭的效用最大化问题和厂商的利润最大化问题。因而，家庭优化问题在动态规划问题中是非常常见和非常重要的。在宏观经济学、微观经济学和金融经济学学会遇到大量的家庭优化问题。虽然这些优化问题所要研究的问题是不同的，因而模型的设定是不同的，但是主要体现在效用最大化目标的具体设定上和预算约束方程的具体构造上。无论怎样，只要是家庭的效用最大化问题，两个变量就必不可少：作为控制变量的家庭消费和作为状态变量的家庭资源（或者财富等）。我们将家庭的控制变量记为(,)tttCxz，其中tz是非消费的其它控制变量向量；将状态变量记为(,)tttad，其中td是非资源的其它状态变量向量。家庭的规划问题可以记为11,(,)max(,,,)(,)ttttttttttCVuCVzdzdd预算约束方程则可以分解为不同时期的两个约束方程。然后使用预算约束方程将消费表示为其它变量的函数，将下一期的状态变量表示为其它变量的函数，再代入到贝尔曼方程，从而减少了消费这个控制变量和资源这个状态变量。我们将在第3章的大量例子中反复使用这个技巧。第6节布朗运动和Ito引理1、标准布朗运动定义：称随机过程)(tX为独立增量过程，若任给4321tttt增量)()(34tXtX与)()(12tXtX相互独立。定义：称连续时间随机过程()Bt是布朗运动或Wiener过程，若其为独立增量过程，并且其增量服从正态分布。均值和方差分别定义为[()()]0tEBtdtBt和2var[()()]||tBtdtBtdt，即()()|~(0,)tBtdtBtNdt。若1，称()Bt为标准布朗运动。我们还可以知道布朗运动是几乎处处不可导的，因为00()()limlim,ttBttBtttt其中),0(~N。2、Ito引理（a）一维情形若随机过程)(tX服从Ito过程，)(),(),(tdBtXdttXdX，其中()Bt为标准布朗运动，那么连续函数),(tXf服从如下Ito过程)()21(),(2tdBdtffftXdfXXtX当漂移项(,)Xt和波动项(,)Xt都是X的比例线性函数时，称随机过程)(tX是几何布朗运动。（b）多维情形若多维随机过程()tX服从多维Ito过程，(,)(,)dtdttdXμXGXB，其中X、μ和B是N维列向量，1000000NG是N维对角矩阵，那么()tX和时间的连续函数(,):FtXRRN),0(服从如下Ito过程1(,)()()2TtdFtFdtFdtrFdtXXXXXΩ,其中)(tr表示矩阵的迹，即iininnAAtr1)(，Ω表示多维随机过程()tX的协方差矩阵。证明：（a）使用泰勒展开公式，利用标准布朗运动的性质：()tEdBdBdt，并消去dt的高阶无穷小，得到),(),(),(tXfdttdXXftXdfdXdXfdtfdXfXXtX21dtfdtftdBdtfXXtX221)]([)()21(2tdBdtfffXXtX（b）使用与（a）中一样的方法。11(,)(,)(,)1()()21()()21()()2TTtTTtTTtdFtFdtdtFtFdtFddFdFdtFdtrdFdFdtFdtrddFXXXXXXXXXXXXXXXXXXXXXX其中最后一个等式使用了公式)()(BAtrABtr。注意到()()()TTTTdddddddtXXGBBGGBBGΩ,因此得证。3、几何布朗运动的性质如果风险资产i的价格)(tPi服从几何布朗运动，那么价格服从对数正态分布。下面我们给出简单的证明。我们假定风险资产i的价格)(tPi服从几何布朗运动，设有)(/tdBdtPdPiiiii。我们对风险资产i的价格的对数))(log(tPi使用Ito引理，并注意到))(log(tPi不显性含有时间变量t，可以得到2222[log(())][log(())]1[log(())]()()()()2()()1[(())]()()()21()()2iiiiiiiiiiiiiiiiiPtPtdPtdPtdPtdPtPtPtdPtPtdPtdPtPtdtdBt显然))(log(tPi服从正态分布，因此)(tPi服从对数正态分布。几何布朗运动可以极大地简化模型。我们在以后将采用这一假定以求取模型的显示解。