第五章 马尔可夫过程-3

5马尔可夫过程马尔可夫过程的概念离散参数马尔可夫链连续参数马尔可夫链生灭过程及应用5马尔可夫过程连续参数马尔可夫链定义;转移概率;转移速率;转移概率与转移速率的关系;绝对概率与转移速率的关系;平稳分布5.3连续参数马尔可夫链定义参数集T连续和状态空间E离散的随机过程。T=[0,∞]，E={i1,i2,…}.t1t2t3t4t55.3连续参数马尔可夫链连续参数马尔可夫链定义：设随机过程{X(t),t≥0}的状态空间为E={i1,i2,…},若对于任意的0t1t2…tn-1tntn+1及任意i1,i2,…,in,in+1∊E,有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,…,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}则称随机过程{X(t),t≥0}为连续参数马尔可夫链。5.3连续参数马尔可夫链5.3.1概率与性质转移概率及其矩阵：连续参数马尔可夫链{X(t),t≥0}在时刻s处于状态i的条件下，在时刻s+t处于状态j的条件概率，称为该马尔可夫链的转移概率，记为pij(s,t)=P{X(s+t)=j|X(s)=i}显然，0≤pij(s,t)≤1(,)1ijjEpst∈=∑5.3连续参数马尔可夫链5.3.1概率与性质转移概率及其矩阵：对于有限状态空间E={1,2,…,N},由连续参数马尔可夫链{X(t),t≥0}在时刻s处于状态i的情况下，经过时间t转到状态j的转移概率pij(s,t)形成的下列矩阵称为该马尔可夫链的转移矩阵。111212122212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)NNNNNNpstpstpstpstpstpststpstpstpst⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P####5.3连续参数马尔可夫链5.3.1概率与性质连续参数齐次马尔可夫链及其转移概率：如果连续参数马尔可夫链{X(t),t≥0}的转移概率pij(s,t)只与状态i和j,及转移所用时间t有关，而与时间起点s无关，即pij(s,t)=P{X(s+t)=j|X(s)=i}=pij(t)则称为连续参数齐次马尔可夫链。一般假设转移概率满足下列连续性条件：显然，0≤pij(t)≤1,。01,lim()0,ijijtijptijδ→=⎧==⎨≠⎩()1ijjEpt∈=∑5.3连续参数马尔可夫链5.3.1概率与性质连续参数齐次马尔可夫链转移矩阵：对于有限状态空间E={1,2,…,N},连续参数马尔可夫链{X(t),t≥0}的转移矩阵为且0≤pij(t)≤1，。111212122212()()()()()()()()()()NNNNNNptptptptptpttptptpt⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦P####1()1Nijjpt==∑5.3连续参数马尔可夫链5.3.1概率与性质连续参数齐次马尔可夫链转移概率性质：(1)0≤pij(t)≤1，i,j∈E,t∈[0,∞](2),i,j∈E,t∈[0,∞](3)()1ijjEpt∈=∑01,lim()0,ijijtijptijδ→=⎧==⎨≠⎩(在原点连续)5.3连续参数马尔可夫链5.3.1概率与性质连续参数齐次马尔可夫链转移概率性质：(4)满足切普曼－柯尔莫哥洛夫(C-K)方程：矩阵形式：(5)矩阵形式：()()(),,ijirrjrEptsptpsijE∈+=∈∑()()()tsts+=PPP(0)=PI(0)0(),(0)1ijiipijp=≠=5.3连续参数马尔可夫链5.3.2概率与性质初始概率和绝对概率：连续参数齐次马尔可夫链{X(t),t≥0}在开始时刻（t=0）取各状态的概率：pi=P{X(0)=i},(i∈E)称为它的初始概率分布。连续参数齐次马尔可夫链{X(t),t≥0}在第t时刻取各状态的概率分布：pi(t)=P{X(t)=i},(i∈E)称为它在时刻t的绝对概率分布。当t=0时，绝对概率分布变为初始概率分布。5.3连续参数马尔可夫链5.3.1概率与性质绝对概率性质：(1)0≤pi(t)≤1，i∈E,t∈[0,∞](2),i∈E,t∈[0,∞](3)(4)(5)()1iiEpt∈=∑(){(0)}{()|(0)}(0)()jiEiijiEptPXiPXtjXippt∈∈=====∑∑()()()jiijiEptsptps∈+=∑112111221211{(),(),,()}(0)()(),,()mmmmiiiiiiimmiEPXtiXtiXtipptpttptt−−∈====−−∑5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率定义：如果连续参数齐次马尔可夫链{X(t),t≥0}的转移概率函数pij(t)在t=0处的导数存在，即则称导数值qij为由状态i转移到状态j的转移速率或跳跃强度。当i≠j时，当i=j时，称为在时刻t通过状态i的通过速率或通过强度。'0()(0)(0)limijijijijtptppqt+→−==0()limijijtptqt+→=0()1limiiiitptqt+→−=01()limiiiiitptqqt+→−==−5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率性质：（1）当i≠j时，qij≥0；当i=j时，qij=qii≤0。（2）[证]0ijjEq∈=∑()1ijjEpt∈=∑()()1ijiijiptpt≠+=∑iiijjiEqq≠∈=−∑00()()1limlimijiittjiptpttt++→→≠−=−∑ijiijiEqq≠∈=−∑0ijijiijEjiEqqq∈≠∈=+=∑∑(对有限状态)iiijjiEqq≠∈≥−∑(对无限状态)5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率性质：（3）如果qii=0,pii=1,i为吸收态;如果qii=∞,pii=0,i为瞬时态;如果-∞qii0,将在i状态停留一段时间τ,停留时间服从参数为-qii的指数分布,在i状态上的平均停留时间为1[|(0)]iiEXiqτ==−5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率矩阵：若有限状态的连续参数齐次马尔可夫链的状态空间为E={0,1,2,…,N}，其状态转移速率矩阵（Q矩阵）定义为其中，每一行的所有元素之和为零；对角线上各元素为负或零；当j≠i时，qij≥0。000101011101(1)(1)NNNNNNNNqqqqqqqqp+×+⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦Q####5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率矩阵：例：设N(t)是强度为λ的齐次泊松过程，是独立增量过程，为连续参数马尔可夫链。（状态无限）(){()|()}{()()}(),0()!0,0ijjitptPNstjNsiPNstNsjitejijijiλλ−−=+===+−=−⎧≥≥⎪=−⎨⎪≤⎩5.3连续参数马尔可夫链5.3.2连续参数齐次马尔可夫链的转移速率转移速率矩阵：例：'0()(0)(0)limijijijijtptppqt+→−==,0(0),1,00,ijijjiqpjiiλλ−=≥⎧⎪′===+≥⎨⎪⎩其他0000λλλλλ−⎡⎤⎢⎥−⎢⎥=⎢⎥−⎢⎥⎣⎦Q####5.3连续参数马尔可夫链5.3.3柯尔莫哥洛夫微分方程方程推导()()()()()()()ijikkjkEijjjikkjkjEptptpptpptpττττ∈≠∈+==+∑∑当τ很小时，()()()kjkjpqOkjτττ=+≠()1()jjjjpqOτττ=++()()[1()]()[()]ijijjjikkjkjEptptqOptqOτττττ≠∈+=++++∑0()limkjkjpqτττ+→=0()1limjjjjpqτττ+→−=5.3连续参数马尔可夫链5.3.3柯尔莫哥洛夫微分方程令τ→0，两边取极限，()()()()ijijikkjkEptptOptqττττ∈+−=+∑d()(),,,0dijikkjkEptptqijEtt∈=∈≥∑初始条件：pii(0)=1,pij(0)=0(i≠j)5.3连续参数马尔可夫链5.3.3柯尔莫哥洛夫微分方程定理：对于连续参数的齐次马尔可夫链，（1）若对状态j，，则转移概率函数pij(t)满足微分方程该方程称为柯尔莫哥洛夫前进方程。（2）若对状态i，，则转移概率函数pij(t)满足微分方程该方程称为柯尔莫哥洛夫后退方程。ijijq≠+∞∑d()()dijikkjkEptptqt∈=∑ijjiq≠+∞∑d()()dijikkjkEptqptt∈=∑()()tt′=PPQ()()tt′=PQP(0)=PI初始条件5.3连续参数马尔可夫链5.3.4福克-普朗克(Fokker-Plank)方程定理：连续参数的齐次马尔可夫链的绝对概率pj(t)(j=0,1,2,…)满足微分方程即该微分方程称为福克-普朗克方程。d()()djiijiEptptqt∈=∑0101[()()()][()()()]NNptptptptptpt′′′=Q()()tt′=PPQ5.3连续参数马尔可夫链5.3.4福克-普朗克(Fokker-Plank)方程[证]已知初始概率分布为pi(0),由绝对概率pj(t)与转移概率的关系有：两边对t求导：根据柯尔莫哥洛夫前进方程：()(0)()jiijiEptppt∈=∑()(0)()jiijiEptppt∈′′=∑()(0)()(0)()()()jiikkjiEkEiikkjkkjiijkEiEkEiEptpptqpptqptqptq∈∈∈∈∈∈′====∑∑∑∑∑∑5.3连续参数马尔可夫链5.3.5平稳分布与极限分布定义：若,则称状态i为常返态;否则,称非常返态.设i为常返态,若,则称i为正常返态;若,称i为零常返态.lim()0iitpt→+∞0()iiptdt∞=+∞∫lim()0iitpt→+∞=5.3连续参数马尔可夫链5.3.5平稳分布与极限分布定义：如果连续参数的齐次马尔可夫链的一维概率分布{pj(t),j=0,1,2,…}不依赖于t，即对j=0,1,2,…pj(t)=pj均为常数，则称{pj,j=0,1,2,…}为平稳分布。如果绝对概率的极限存在，且，则称{pj,j=0,1,2,…}为连续参数的齐次马尔可夫链的极限分布。lim()jjtptp→+∞=1jjEp∈=∑5.3连续参数马尔可夫链5.3.5平稳分布与极限分布定理：如果连续参数的齐次马尔可夫链{X(t),t≥0}的平稳分布{pj,j=0,1,2,…}存在，它必满足线性方程组定理：设连续参数的齐次马尔可夫链{X(t),t≥0}的状态空间E为有限集，如果转移概率的极限存在，且与出发状态i无关，那么极限值{pj,j=0,1,2,…,N}必为该链的极限分布。00,1,2,0,iijijpq+∞===∑0,1,2,,lim(),ijjtjNptp→+∞==5.3连续参数马尔可夫链5.3.5平稳分布与极限分布马尔可夫定理：对于任何有限的连续参数齐次马尔可夫链，若存在一个t0，使得对任何i,r∈E,有pir(t0)0,那么，极限存在，且与出发状态i无关。（遍历链）由以上定理可知：对于任何有限的连续参数齐次马尔可夫链，若存在一个t0，使得对任何i,r∈E,有pir(t0)0,则lim()ijjtptp→+∞=lim()lim()ijjtjjtptpptp→∞→∞==极限分布存在性5.3连续参数马尔可夫链5.3.5平稳分布与极限分布即当t→∞时，转移概率和绝对概率均趋于一个常数pj,这时，它们的导数趋于0，转移概率和绝对概率满足的微分方程就变成一线性方程组。如前进方程，当t→∞时，根据这一线性方程组以及，就可求得当t→∞时各个状态的极限概率pj。d()()dijkjikkEptptqt∈=∑()0kjikkEptq∈=∑1ijjEp∈=∑5.3连续参数马尔可夫链例：机器维修问题。一台机器配有一名修理工，机器发生故障，立刻进行修理。机器从起动到首次故障的工作时间记为T1,设T1服从数