第五章--连续时间马尔可夫链

随机过程讲义第五章连续时间的马尔可夫链第五章连续时间的马尔可夫链§5.1连续时间的马尔可夫链§5.2科尔莫哥洛夫微分方程§5.3生灭过程随机过程讲义第五章连续时间的马尔可夫链§5.1连续时间的马尔可夫链定义5.1设随机过程{X(t),t0},状态空间I={0,1,2,},若对任意0t1t2tn+1及非负整数i1,i2,,in+1,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in},则称{X(t),t0}为连续时间马尔可夫链.随机过程讲义第五章连续时间的马尔可夫链定义5.2过程在s时刻处于状态i,经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}称为转移概率.若转移概率与起始时刻s无关,只与时间间隔t有关,则称连续时间马尔可夫链具有平稳的或其次的转移概率,记为pij(s,t)=pij(t),其转移概率矩阵简记为记为P(t)=(pij(t)),(i,jI，t0).随机过程讲义第五章连续时间的马尔可夫链连续时间马尔可夫链的性质若i为过程在状态转移之前停留在状态i的时间,则对s,t0有(1){|}{};iiiPstsPt(2)i服从指数分布.证ss+t0iiiiti(1)如图所示,有{}{(),0|(0)},isXuiusXi{}{(),0,istXuius(),|(0)}XvisvstXi随机过程讲义第五章连续时间的马尔可夫链{|}{(),0,iiPstsPXuius(),|(),0}XvisvstXuius{(),|(),0}PXvisvstXuius{(),|()}PXvisvstXsi{(),0|(0)}PXuiutXi{};iPt(条件概率)(马尔可夫性)(齐次性){}{|}iiiPtPsts{,}{}iiiPstsPs(2)设(){}(0).iGtPtt由于可得{},{}iiPstPs随机过程讲义第五章连续时间的马尔可夫链{}{}{},iiiPstPsPt()()().GstGsGt由此可推出G(t)为指数函数,设i的分布函数为F(x),(x0),则有即有故i服从指数分布.().itGte()1()1.itFtGte1)当i=时,()1,{}1()0,iiiFxPxFx的停留时间i超过x的概率为0,则称状态i为瞬时状态；2)当i=0时,()0,{}1()1,iiiFxPxFx的停留时间i超过x的概率为1,则称状态i为吸收状态.两点说明：状态i状态i随机过程讲义第五章连续时间的马尔可夫链定理5.1齐次马尔可夫过程的转移概率具有下列性：(1)pij(t)0;(2)()1;ijjIpt(3)()()()ijikkjkIptsptps证由概率的定义,(1)(2)显然成立,下证(3).(){()|(0)}ijptsPXtsjXi{(),()|(0)}kIPXtsjXtkXi{()|(),(0)}kIPXtsjXtkXi{()|(0)}PXtkXi{()|()}{()|(0)}kIPXtsjXtkPXtkXi()()()().kjikikkjkIkIpsptptps随机过程讲义第五章连续时间的马尔可夫链注：转移概率的正则性条件01,,lim()0,.ijtijptij正则性分布律转移方程时间离散时间连续(0)(0)1,0()iiijppij01,lim()0,ijtijptij()()0,1nijnijjIpp()0()1ijijjIptptIkkjikijsptpstp)()()(Iklnkjliknijppp)()()(时间离散与时间连续马尔可夫链的比较随机过程讲义第五章连续时间的马尔可夫链定义5.3(4)绝对分布(1)初始概率设为连续时间的马尔可夫过程,则{(),0}Xtt(0){(0)},;jjppPXjjI(2)绝对概率(3)初始分布(){()},,0;jptPXtjjIt{,};jpjI{(),}(0).jptjIt定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：(1)()0;jpt(2)()1;jjIpt(3)()();jiijiIptppt(4)()()();jiijiIptptp(5)11{(),,()}nnPXtiXti11211211()()().nniiiiiiinniIpptpttptt随机过程讲义第五章连续时间的马尔可夫链例5.1证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链.证先证泊松过程的马尔可夫性.根据定义知,泊松过程是独立增量过程,且X(0)=0,意0t1t2tntn+1,有1111{()|(),,()}nnnnPXtiXtiXti1111{()()|()(0),nnnnPXtXtiiXtXi212111()(),,()()}nnnnXtXtiiXtXtii11{()()}.nnnnPXtXtii另一方面11{()|()}nnnnPXtiXti11{()()|()(0)}nnnnnnPXtXtiiXtXi11{()()}.nnnnPXtXtii对任随机过程讲义第五章连续时间的马尔可夫链所以1111{()|(),,()}nnnnPXtiXtiXti11{()|()},nnnnPXtiXti即泊松过程是一个连续时间马尔可夫链.再证齐次性.当ji时，{()|()}{()()}PXstjXsiPXstXsji().()!jitteji当ji时,因过程的增量只取非负整数值,故pij(s,t)=0,所以(),(,)()()!0,jitijijtejipstptjiji转移概率与s无关,泊松过程具有齐次性.随机过程讲义第五章连续时间的马尔可夫链§5.2科尔莫哥洛夫微分方程引理5.1设齐次马尔可夫过程满足正则性条件01,,lim()0,,ijtijptij则对于任意i,jI,pij(t)是t的一致连续函数.定理5.3设pij(t)是齐次马尔可夫过程的转移概率,则下列极限存在01()(1)lim;iiiiitptqt0()(2)lim,.ijijtptqjit注：以下讨论均假定马尔可夫过程满足正则性条件.呵称为齐次马尔可夫过程从状态i到状态j的转移速率(跳跃强度).一、转移概率pij(t)的性质随机过程讲义第五章连续时间的马尔可夫链推论对有限齐次马尔可夫过程,有.iiijjiqq证()1,ijjIpt1()().iiijjiptpt01()limiiiitptqt0()limijjitptt.ijjiq由定理5.1知即由于求和是在有限集中进行,故有说明对状态空间无限的齐次马尔可夫过程,一般只有.iiijjiqq随机过程讲义第五章连续时间的马尔可夫链二、柯尔莫哥洛夫方程若连续时间齐次马尔可夫链具有有限状态空间为问题：I={0,1,2,,n},则其转移速率可构成矩阵10001010111201.nnnnnnnQqqqqqqQQqqqQ能否由Q可求转移概率矩阵P？定理5.4(柯尔莫哥洛夫向后方程)假设,iiikkiqq()()().ijikkjiiijijkiptqptqptQP则对一切i,j及t0,有随机过程讲义第五章连续时间的马尔可夫链由切普曼-柯尔莫哥洛夫方程有证()()()ijikkjkIpthphpt()()()().ikkjiiijkiphptphpt()()()()[1()]()ijijikkjiiijkipthptphptphpt0()()()limijijijhpthptpth00()1()lim()lim()ikiikjijhhkiphphptpthh()().ikkjiiijkiqptqpt随机过程讲义第五章连续时间的马尔可夫链定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有()()().ijikkjijjjkjptptqptq向前方程的矩阵形式:说明：向后方程的矩阵形式:()();PtQPt()().PtPtQ000102101112202122()()()()()(),()()()ptptptptptptPptptpt000102101112202122qqqqqqQqqq()()ijPtpt()0()()!nQtnQtPten若Q是一个有限矩阵,则有:随机过程讲义第五章连续时间的马尔可夫链定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程:证()()().jkkjjjjkjptptqptq()(),jiijiIptppt()().jiijiIptppt由向前方程可得()()()ijikkjijjjkjptptqptq()()(),iijiikkjiijjjkjpptpptqpptq()()(),iijiikkjiijjjiIiikjiIpptpptqpptq()()()jiikkjiijjjkjiIiIptpptqpptq()().kkjjjjkjptqptq随机过程讲义第五章连续时间的马尔可夫链三、极限分布与平稳分布定理5.7设连续时间马尔可夫链是不可约的,则有定义5.4设pij(t)是连续时间马尔可夫链的转移概率,若存在时刻t1和t2,使得pij(t1)0,pji(t2)0,则称状态i与j是互通的.若所有状态都是互通的,则称此马尔可夫链为不可约的.类似地可以定义常返性与非常返性等概念.j0,jI.这里j是方程组(1)若它是正常返的,则极限存在且等于lim()ijtpt,1jjjkkjjkjjIqq的唯一非负解,此时称{j0,jI}是该过程的平稳分布,且有lim().jjtpt(2)若它是零常返的或非常返的，则lim()lim()0,,.ijjttptptijI随机过程讲义第五章连续时间的马尔可夫链例5.2设两个状态的连续时间马尔可夫链,状态转移概率满足0110()(),()().phhohphhoh(1)求转移概率矩阵00011011()()();()()ptptPtptpt(2)讨论其平稳分布;(3)若存在平稳分布,取初始分布为其平稳分布,求过程在时刻t的绝对分布.解先求Q矩阵.(1)由定理5.3,有()0()()!nQtnQtPten若Q是一个有限矩阵,则有:随机过程讲义第五章连续时间的马尔可夫链000001()limhphqh010()lim;hphh01q111101()limhphqh100()lim,hphh10q00011011,qqQqq于是22222Q()(),Q1[