随机过程Ch5_连续时间的马尔科夫链（PDF64页）

第五章连续时间马尔可夫链2I马尔可夫链54321012345T35.1连续时间马尔可夫链定义5.1设随机过程{X(t)，t0}，状态空间I={0,1,2,}，若对任意0t1t2tn+1及非负整数i1,i2,,in+1I，有P{X(tn+1)=in+1|X(t1)=i1,X(t2)=i2,,X(tn)=in}=P{X(tn+1)=in+1|X(tn)=in}，则称{X(t)，t0}为连续时间马尔可夫链。转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率pij(s,t)=P{X(s+t)=j|X(s)=i}45.1连续时间马尔可夫链定义5.2齐次转移概率pij(s,t)=pij(t)(与起始时刻s无关，只与时间间隔t有关)•转移概率矩阵P(t)=(pij(t))，i,jI，t0，称为齐次马尔科夫过程性质：若i为过程在状态转移之前停留在状态i的时间，则对s,t0有(1)(2)i服从指数分布}{}|{tPstsPiii55.1连续时间马尔可夫链ss+t0iiiiti})0(|0,)({}{iXsuiuXsi})0(|,)(,0,)({}{iXtsvsivXsuiuXtsi证(1)事实上65.1连续时间马尔可夫链{|}{(),0,(),|(),0}{(),|(),0}{(),|()}{(),0|(0)}{}iiiPstsPXuiusXvisvstXuiusPXvisvstXuiusPXvisvstXsiPXuiutXiPt条件概率马尔可夫性齐次性75.1连续时间马尔可夫链(2)设i的分布函数为F(x),(x0),则生存函数G(x)=1-F(x)由此可推出G(x)为指数函数，G(x)=e-x,则F(x)=1-G(x)=1-e-x为指数分布函数。}{}{}{},{}|{}{sPtsPsPstsPstsPtPiiiiiiii)()()(}{}{}{tGsGtsGtPsPtsPiii85.1连续时间马尔可夫链•过程在状态转移之前处于状态i的时间i服从指数分布(1)当i=时，状态i的停留时间i超过x的概率为0，则称状态i为瞬时状态；(2)当i=0时，状态i的停留时间i超过x的概率为1，则称状态i为吸收状态。xiiexF1)(,0)(1}{,1)(xFxPxFiii,1)(1}{,0)(xFxPxFiii9正则性分布律转移方程时间离散时间连续(0)(0)1,0()iiijppij01,lim()0,ijtijptij()()0,1nijnijjIpp()0()1ijijjIptptIkkjikijsptpstp)()()(Iklnkjliknijppp)()()(105.1连续时间马尔可夫链•定理5.1齐次马尔可夫过程的转移概率具有下列性质：(1)pij(t)0;（非负性）(2)（行和为1）(3)（C-K方程）Ikkjikijsptpstp)()()(Ijijtp;1)(115.1连续时间马尔可夫链•注：此为转移概率的正则性条件。01,lim()0,ijtijptij含义：过程刚进入某状态不可能立即跳跃到另一状态。125.1连续时间马尔可夫链•定义5.3(1)初始概率(2)绝对概率(3)初始分布(4)绝对分布IjjXPppjj},)0({)0(0,},)({)(tIjjtXPtpjIjpj,(),0jptjIt135.1连续时间马尔可夫链(1)pj(t)0(2)(3)(4)(5)Iiijijtpptp)()(Iiijijptptp)()()(Ijjtp1)(IinniiiiiiinnttpttptppitXitXPnn)()()(})(,,)({1121111211•定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：145.1连续时间马尔可夫链•例5.1证明泊松过程{X(t),t0}为连续时间齐次马尔可夫链。证先证泊松过程的马尔可夫性。泊松过程是独立增量过程，且X(0)=0，对任意0t1t2tntn+1有})()({})()(,,)()(,)0()(|)()({})(,,)(|)({1111121211111111nnnnnnnnnnnnnnnniitXtXPiitXtXiitXtXiXtXiitXtXPitXitXitXP155.1连续时间马尔可夫链另一方面即泊松过程是一个连续时间马尔可夫链。})()({})0()(|)()({})(|)({111111nnnnnnnnnnnnnniitXtXPiXtXiitXtXPitXitXP})(|)({})(,,)(|)({111111nnnnnnnnitXitXPitXitXitXP所以165.1连续时间马尔可夫链再证齐次性当ji时，当ji时,因增量只取非负整数值,故pij(s,t)=0，所以转移概率与s无关，泊松过程具有齐次性。)!()(})()({})(|)({ijteijsXtsXPisXjtsXPijtijijijtetptspijtijij,0,)!()()(),(175.2柯尔莫哥洛夫微分方程•引理5.1设齐次马尔可夫过程满足正则性条件则对于任意i,jI，pij(t)是t的一致连续函数。•含义：在很短的时间内，不可能从一个状态转移到另一状态。01,lim()0,ijtijptijjijipij,0,1)0(18•定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在ijqttpqttpijijtiiiiit,)(lim)2()(1lim)1(005.2柯尔莫哥洛夫微分方程称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。195.2柯尔莫哥洛夫微分方程推论（1）对有限齐次马尔可夫过程，有∞∑≠=ijijiiqq转移速率矩阵为nnnnnnqqqqqqqqqQ101111000100行和为0，任意i,jI，qij≥0（2）对I无限齐次马尔可夫过程，有（行和非正）ijijiiqq205.2柯尔莫哥洛夫微分方程•若连续时间齐次马尔可夫链具有有限状态空间I={0,1,2,,n}问题：能否由Q可求转移概率？00001010111101nnnnnnnQqqqqqqQQqqqQ215.2柯尔莫哥洛夫微分方程•定理5.4(柯尔莫哥洛夫向后方程)假设，则对一切i,j及t0，有（固定最后状态j时用）ikikiiqq()()()ijikkjiiijijkiptqptqptQP•定理5.5(柯尔莫哥洛夫向前方程)在适当的正则条件下有jjijkjjkikijqtpqtptp)()()(（固定状态i时用，有限或生灭过程适用）用Q解微分方程求转移概率pij(t)的方法225.2柯尔莫哥洛夫微分方程向后方程的矩阵形式：P(t)=QP(t)向前方程的矩阵形式：P(t)=P(t)Q222120121110020100qqqqqqqqqQ)()(,)()()()()()()()()(222120121110020100tptPtptptptptptptptptpPij0)(!)()(nntQnQtetPQ则有是一个有限矩阵，若注：235.2柯尔莫哥洛夫微分方程定理5.6齐次马尔可夫过程在t时刻处于状态jI的绝对概率pj(t)满足方程：jjjkjjkkjqtpqtptp)()()(245.2柯尔莫哥洛夫微分方程•定义5.4设pij(t)是连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得pij(t1)0，pji(t2)0，则称状态i与j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。255.2柯尔莫哥洛夫微分方程•定理5.7设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限存在且等于j0，jI。这里j是的唯一非负解，此时称{j0，jI}是该过程的平稳分布，并且有(2)若它是零常返的或非常返的，则)(limtpijtjjttp)(lim1,IjjjkkjkjjjqqIjitptpjtijt,,0)(lim)(lim265.2柯尔莫哥洛夫微分方程•例5.2设两个状态的连续时间马尔可夫链，在转移到状态1之前链在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为μ的指数变量。求它的平稳分布和绝对分布。状态转移概率满足0001000100101111100011hhhhp(h)p(h)qlimlimqhhp(h)p(h)qlimlimqhh证明：0110p(h)ho(h)p(h)ho(h)275.2柯尔莫哥洛夫微分方程QQQQnn122222)]([)()(11100100qqqqQ285.2柯尔莫哥洛夫微分方程QeEnQtEnQtEnQtEnQtetPtnnnnnnnnnQt11!])([)(1!])([!)(!)()()(11110295.2柯尔莫哥洛夫微分方程转移概率为tttteeee)()()()(ttttetpetpetpetp)(11)(10)(01)(00)()()()(305.2柯尔莫哥洛夫微分方程转移概率的极限为平稳分布为)(lim)(lim)(lim)(lim11011000tptptptptttt)(lim)(lim)(lim)(lim1101110000tptptptptttt315.2柯尔莫哥洛夫微分方程若取初始分布为平稳分布，即则过程在时刻t的绝对概率分布为0100,pp0)()(1010000)()()(tteetpptpptp325.2柯尔莫哥洛夫微分方程0)()(1110101)()()(tteetpptpptp解：已知状态空间I={0,1}，两状态的停留时间τ0~E(λ)，τ1~E(μ)。（1）求平稳分布（π0=μ0，π1=λ0）当h→0时（h0），即33hehPhph~1}{)(001hehP