第五章 连续时间的Markov链

第五章《连续时间的马尔可夫链》1第五章连续时间的马尔可夫链第四章我们讨论了时间和状态都是离散的Markov链，本章我们研究的是时间连续、状态离散的Markov过程，即连续时间的Markov链.连续时间的Markov链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留.这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.5.1连续时间马尔可夫链的基本概念定义5.1设随机过程{(),0}Xtt，状态空间{,1}nIin，若对任意的正整数1210nttt及任意的非负整数121,,,niiiI，条件概率满足111122()|(),(),,()nnnnPXtiXtiXtiXti11()|()nnnnPXtiXti（5.1）则称{(),0}Xtt为连续时间的Markov链.由定义知，连续时间的Markov链是具有Markov性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻nt及一切过去时刻所处状态的条件下，将来时刻1nt的状态只依赖于现在的状态而与过去的状态无关.记(5.1)式条件概率的一般形式为{()|()}(,)ijPXstjXsipst（5.2）它表示系统在s时刻处于状态i，经过时间t后在时刻st转移到状态j的转移概率，通常称它为转移概率函数.一般地，它不仅与t有关，还与s有关.定义5.2若(5.2)式的转移概率函数与s无关，则称连续时间Markov链具有平稳的转移概率函数，称该Markov链为连续时间的齐次（或时齐）Markov链.此时转移概率函数简记为(,)()ijijpstpt.相应地，转移概率矩阵简记为()(()),(,,0)ijPtptijIt.若状态空间{0,1,2,}I，则有000102101112012()()()...()()()()()............()()()............ijnnnptptptptptptPtptptptpt（5.3）假设在某时刻，比如说时刻0，Markov链进入状态i，在接下来的s个单位时间内过程未离开状态i（即未发生转移），我们要讨论的问题是在随后的t个单位时间中过程仍不离开状态i的概率是多少？由Markov性知，过程在时刻s处于状态i的条件下，在区间[,]sst第五章《连续时间的马尔可夫链》2中仍处于状态i的概率正是它处在状态i至少t个单位时间的（无条件）概率，若记i为过程在转移到另一状态之前停留在状态i的时间，则对一切,0st有{|}{}iiiPstsPt可见，随机变量i具有无记忆性，因此，i服从指数分布.因此，一个连续时间的Markov链，每当它进入状态i，具有如下性质：（1）在转移到另一个状态之前处在状态i的时间服从参数为iv的指数分布；（2）当过程离开状态i时，接着以概率ijp进入状态j,且1ijjip.当iv时，称状态i是瞬时状态，因为过程一旦进入状态就离开；若0iv，称状态为吸收状态.因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i，0iv.因此，考虑连续时间Markov链，可以按照离散时间的Markov链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i停留的时间与下一个状态必须是相互独立的随机变量.定理5.1齐次Markov链的转移概率函数具有下列性质：（1）()0ijpt；（2）()1ijjIpt；（3）()()()ijikkjkIptsptps.（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov链的ChapmanKolmogorov方程，简称CK方程.证明（1）和（2）由概率定义及()ijpt的定义易知，下面只证明（3）式由全概率公式和Markov性可得(){()|(0)}ijptsPXtsjXi{(),()|(0)}kIPXtsjXtkXi{()|(0)}{()|()}kIPXtkXiPXtsjXtk{()|(0)}{()|(0)}kIPXtkXiPXsjXk()()ikkjkIptps对于转移概率函数，我们约定第五章《连续时间的马尔可夫链》301,,lim()0ijijtijptij（5.4）称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ijpt在边界点0t处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.定义5.3连续时间Markov链{(),0}Xtt在初始时刻（即零时刻）取各状态的概率(0){(0)},iippPXiiI（5.5）称为它的初始分布.{(),0}Xtt在t时刻取各状态的概率(){()},jptPXtj,0jIt称为它在时刻t的绝对（概率）分布.初始分布和绝对分布都是概率分布，对于任意0t，()jpt总满足：（1）0()1jpt；（2）()1jjpt.利用全概率公式容易得到()(0)(),jiijiIptpptjI（5.6）（5.6）式表明：连续时间Markov链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法.例5.1证明Poisson过程{(),0}Ntt是连续时间的齐次Markov链.证明先证明Poisson过程具有Markov性.由Poisson过程的独立增量性和()0Nt，对任意1210nntttt，有1111{()|(),,()}nnnnPNtiNtiNti=1111{()()|()(0),nnnnPNtNtiiNtNi212111()(),,()()}nnnnNtNtiiNtNtii11{()()}nnnnPNtNtii另一方面，因为11{()|()}nnnnPNtiNti=11{()()|()(0)}nnnnnnPNtNtiiNtNi=11{()()}nnnnPNtNtii第五章《连续时间的马尔可夫链》4因此1111{()|(),,()}nnnnPNtiNtiNti=11{()|()}nnnnPNtiNti即Poisson过程是连续时间的Markov链.再证齐次性.当ji时，由Poisson过程的定义，得到{()|()}{()()}PNstjNsiPNstNsji()()!jitteji当ji时，由于过程的增量只取非负整数值，因此，(,)0ijpst，故(),(,)()()!0,jitijijtejipstptjiji即转移概率函数只与t有关，因此，Poisson过程具有齐次性.容易看出，固定,ij时，()ijpt是关于t的连续可微函数。5.2Kolmogorov微分方程对于离散时间齐次Markov链，如果已知其一步转移概率矩阵()ijPp，则k步转移概率矩阵由一步转移概率矩阵的k次方即可求得.但是，对于连续时间齐次Markov链，由于“步长”的概念失效，转移概率函数的求法较为复杂，一般通过解微分方程求出转移概率函数.为此，我们首先讨论()ijpt的可微性及所满足的Kolmogorov微分方程.定理5.2设齐次Markov链满足连续性条件(5.4)，则对于任意固定的,,ijI转移概率函数()ijpt是t的一致连续函数.证明设0t，由CK方程，有()()()()()ijijikkjijkIpttptptptpt()()()()()iiijijikkjkiptptptptpt[1()]()()()iiijikkjkiptptptpt由此可知()()[1()]()[1()]ijijiiijiipttptptptpt以及()()()()()1()ijijikkjikiikikipttptptptptpt因此|()()|1()ijijiipttptpt第五章《连续时间的马尔可夫链》5对于0t，可得到类似的不等式.因此|()()|1(||)ijijiipttptpt.由连续性条件，令0t可得到证明.定理5.3设()ijpt是齐次连续时间Markov链的转移概率函数，则有0()(1)lim,ijijtptqijt；(5.7)01()(2)lim,iiiitptqiIt(5.8)证明：略定理5.3中定义的ijq是齐次连续时间Markov链从状态i到状态j的转移概率密度或称转移速率（transitionrate）.也可称为从状态i到状态j的跳跃强度.转移速率函数刻画了Markov链的转移概率函数在零时刻对时间的变化率.定理中极限的概率意义为：在长为t的时间区间内，过程从状态i转移到状态j的概率()ijpt，等于.ijqt加上一个比t高阶的无穷小量；从状态i到转移到另一其它状态的转移概率1()iipt等于iiqt加上一个比t高阶的无穷小量.转移速率函数也可以表示为以下形式：当t充分小时{()|(0)}()1()iiiiPXtiXiptqtt{()|(0)}()(),ijijPXtjXiptqttij推论对有限齐次Markov过程，有iiijjiqq（5.9）证明由定理5.1，()1ijjIpt，即1()()iiijjiptpt由于求和是在有限集上进行，因此00()1()limlimijiiijttjijiptptqtt即iiijjiqq.证毕.对于状态是无限的齐次Markov过程，一般只有iiijjiqq.若连续时间齐次Markov链是具有有限状态空间{0,1,2,,}In，则其转移概率速率可构成以下形式的Q矩阵第五章《连续时间的马尔可夫链》6000101011101.....................nnnnnnqqqqqqQqqq（5.10）由(5.10)知，Q矩阵的每一行元素之和为0，主对角线元素为负或为0，其余ji时，0ijq.利用Q矩阵可以推出任意时间间隔t的转移概率函数所满足的方程组，从而可以求出转移概率函数.下面我们给出转移概率函数()ijpt满足的微分方程.定理5.4(Kolmogorov向后方程)设()ijpt是满足连续性条件的有限齐次Markov链的转移概率函数，则对一切,ij及0t，有()()()ijikkjiiijkiptqptqpt0,1,2,,in(5.11)证明由CK方程0()()()()()nijijikkjijkpttptptptpt()()()()()ikkjiiijijkiptptptptpt()()1()()ikkjiiijkiptptptpt于是，由速率函数ijq的定义，得0()()()limijijijtpttptptt00()1()lim()lim()ikiikjijttkiptptptpttt()()ikkjiiijkiqptqpt定理5.4中()ijpt满足的微分方程组称为向后方程（或称后退方程）（backwardequation），是因为在计算时刻tt状态的概率分布时，我们对退后时刻t的状态取条件，即我们从(){()|(0),()}i