10第五章连续时间马尔可夫链

第五章：连续时间的马尔可夫链连续时间马尔可夫链定义无穷小转移概率矩阵柯尔莫哥洛夫向前方程与向后方程连续时间马尔可夫链的应用定义5.1设随机过程{X(t),t≥0}，状态空间I={in,n≥0}，若对任意0≤t1t2…tn＋1及i1,i2,…,in+1∈I，有})(|)({})(,,)(,)(|)({11221111nnnnnnnnitXitXPitXitXitXitXP则称{X(t),t≥0}为连续时间马尔可夫链。上式中条件概率可以写成转移概率的形式),(})(|)({tspisXjtsXPij定义：若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为其转移概率矩阵简记为)(),(tptspijij))(()(tptijP时间轴0ss+t状态i状态i持续时间τi}{}|{tPstsPiii在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？无记忆性一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：1.在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布；2.当过程离开状态i时，接着以概率pij进入状态j，1ijijp当vi=∞时，称状态i为瞬时状态；当vi＝0时，称状态i为吸收状态。x0()0x0xefx对于指数分布的随机变量X{|}{}?PxstxsPxt1x0()0x0xeFx}{}|{tPstsPiii定理5.1齐次马尔可夫过程的转移概率具有下列性质：1.2.3.证明0)(tpij1)(IjijtpIkkjikijsptpstp)()()(正则性条件01,lim()0,ijtijptij(){()|(0)}{(),()|(0)}{()|(0)}{()|()}()()ijkIkIikkjkIPtsPXtsjXiPXtsjXtkXiPXtkXiPXtsjXtkPtPs证明:定义5.3对于任一t≥0，记IjjXPppjtXPtpjjj},)0({)0(},)({)(为绝对概率和初始概率。分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：1.2.3.4.5.0)(tpj1)(IjjtpIiijijtpptp)()(Iiijijptptp)()()(IinniiiiiiinnttpttptppitXitXPnn)()()(})(,,)({1121111211例题5.1证明:泊松过程{X(t)}为连续时间齐次马尔可夫链。(1)先证明马氏性(2)再证明齐次性111111{()|(),...()}{()|()}nnnnnnnnPXtiXtiXtiPXtiXti{()|()}()ijPXstjXsiPtQ矩阵和柯尔莫哥洛夫方程引理5.1设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈I，pij(t)是t的一致连续函数。定理5.3设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：1.2.称为转移速率或跳跃强度iiiiitqvttp)(1lim0jiqttpijijt,)(lim0Q矩阵和柯尔莫哥洛夫方程若连续时间齐次马尔可夫链是具有有限状态空间I={1,2,…,n}，则其转移速率可构成以下形式的矩阵(称为Q矩阵）nnnnnnqqqqqqqqq101111000100QQ矩阵的每一行元素之和为0，对角线元素为负或0，其余qij≥0利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而可以求解转移概率。定理5.4（柯尔莫哥洛夫向后方程）假设，则对一切i,j及t≥0，有iiikikqq)()()(tpqtpqtpijiiikkjikij证明由C-K方程可以知道：Ikkjikijtphphtp)()()()()]([)()()()(tphp1tphptphtpijiiikkjikijij)()()(tpqtpqtpijiiikkjikij0h两边除以h，取极限可以得到：(t)pq(t)pq(t)pq(t)ph(h)p(t)pq(t)ph(h)ptphhp1htphphtphtpijiikjikikijiikjikik0hijiikjikik0hijii0hikkjik0hijij0hlimlimlimlimlim)()]([)()()()(即定理5.5（柯尔莫哥洛夫向前方程）在适当的正则条件下，则对一切i,j及t≥0，有jjijjkkjikijqtpqtptp)()()(利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t)0)0(1)0(ijiipp柯尔莫哥洛夫向后和向前方程的矩阵表达形式为QPPQPP)()((t))(ttt连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。柯尔莫哥洛夫向后方程的矩阵表达形式为(t))(QPPtnnnnnnqqqqqqqqq101111000100Q)()()()()()()()()(000000tPtPtPtPtPtPtPtPtPP(t)nnn1n1n111n1例题5.2考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为的指数分布，求转移概率P00(t),P01(t),P10(t),P11(t)。010101(){}1()(){}1()huhphPhehohphPheuhohP(t)Q(t)P'000100000011110111011011'()'()()()'()'()()()ptptptptptptptpqqqtq向前方程：0101000()limhphhqq1010110()limhphuhqq解：当h趋于0时0110111000000111'()('()'()'()()(()))ptptptpptptptutptu0000010100'()()()()1()ptptuptptpt0000()00'()()()()CutptuptuuptCeu为常数00(0)1p将代入可得：()00()utupteuu()01()utpteuu()10()utuupteuu()11()utupteuu同理：可求平稳分布和绝对概率分布Kolmogorov向后和向前方程所求得的解pij(t)是相同的在实际应用中，当固定最后所处状态j，研究pij(t)时（i=0,1,…），采用向后方程较方便；当固定状态i，研究pij(t)时（j=0,1,…），采用向前方程较方便；定理5.6齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程jkkjkjjjjqtpqtptp)()()(定义5.4设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2，使得0)(,0)(1tptpjiij则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。转移概率pij(t)在t→∞时的性质及其平稳分布关系定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质：1.若它是正常返的，则极限存在且等于πj＞0，j∈I。这里πj是方程组的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有2.若它是零常返的或非常返的，则)(limtpijt1Ijjjkkjkjjjqqlim()lim()ijjjttptptIjitptpjtijt,,0)(lim)(lim例题5.3：机器维修问题设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率为p01(h)=λh+o(h)；在h时间内，机器从有故障变为经修复后正常工作的概率为p10(h)=h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工作的概率。000100000011110111011011'()'()()()'()'()()()ptptptptptptptpqqqtq向前方程：5.3生灭过程设齐次马尔可夫过程的状态空间为转移概率为,如果：{(),0}Xtt{0,1,2,...}I,1,10,,()(),0()(),0,0()1()(),()(),2iiiiiiiiiiiiijphhohphuhohuuphuhohphohij则称为生灭过程.其中为出生率，为纯灭过程。为死亡率，为纯生过程。()ijpt{(),0}Xtti0iiu0iu作业:5.2