随机过程Ch5-连续时间的马尔可夫链

第五章连续时间的马尔可夫链内容连续时间的马尔可夫链柯尔莫哥洛夫微分方程有：及非负整数若对任意状态空间定义：随机过程，状态空间集为方便计，以下设参数一、定义和一般性质IiiitttIttXITnn121121,,,0,2,1,00,,2,1,0,0，为连续时间马尔可夫链，则称0/,,,/11221111ttXitXitXPitXitXitXitXPnnnnnnnn5.1连续时间的马尔可夫链.)(/)(),(为转移概率：记isXjtsXPtspij证明与前面类似或方程：显然为转移矩阵。，齐次的。记：称此连续参数马氏链为无关同样若转移概率与)()()(1)(,0)(0,,)()()(,,tPsPtsPsptpstpkctptptIjitptPtptspsIkkjikijIjijijijijijIjtp：jtXPtp：jj),()()(绝对分布绝对概率与Ijp：jXPp：jj),0()0()0(初始分布初始概率与分布具有以下性质：维氏链的绝对概率及有限定理：齐次连续参数马证明与前面类似IinnniiiiiiinnijIiijijIiijIjjjttpttptppitXitXPptptptpptptptpn1121111211)()0()(,,)(5)(4),()0()(31)(2,0)(1nnnnnnnnnnnnnnnnnniitXtXPiitXtXiitXtXiXtXiitXtXPitXitXitXPttttX1111121211111111121},,,0/{,,/000有对任意量过程，且因为泊松过程是独立增马氏性，再证齐次性。证：先证泊松过程具有为连续参数马氏链。，例：试证明泊松过程0ttX即具有马尔可夫性因为另一方面}/{,,/}{}0/{/111111111111nnnnnnnnnnnnnnnnnnnnnnitXitXPitXitXitXPiitXtXPiXtXiitXtXPitXitXP，0,!/tspijijteijsXtsXPisXjtsXPijijijt故整数，时由过程增量仅取非负当时，由泊松过程定义证：齐次性，当,,0,!0,jitijijtejitpstptjijis与无关，所以是齐次的。)(lim01lim)(.00正则性条件称此为连续性条件或规定正则性条件连续性条件一ItPjijitptijijt说明：过程刚进入某状态不可能立即又跳跃到另一状态，这正好说明一个物理系统要在有限时间内发生无限多次跳跃，从而消耗无穷多的能量这是不可能的，亦即经过很短时间系统的状态几乎是不变的。5.2柯尔莫哥洛夫微分方程上的一致连续函数。是；均有，则对一切使若有；，，则：马氏链满足正则性条件定理：设连续参数齐次,0)(30)(0)(200)(1000tptptttptttpijijijii二.Q矩阵对连续参数马氏链而言，担当一步转移概率角色的是转移强度，它是用转移概率函数在0点的导数来定义的。ijijijhijijhtijijqhhphphpdttdptp000lim0lim)(则下列极限存在：转移概率，是齐次马尔可夫过程的定理：设jiqhhpdttdpqqhhpdttdpijijhtijiiiiihtii0000lim21lim1:即hohqhphohqhpijijiiii1:也即1ijiiiiijijqijhiphqhohijphqhoh称为齐次马尔可夫过程从状态到状态的转移速率或跳跃强度，定理的概率含义为：在一个长为的时间区间内，从状态转移到其它状态的概率为：等于；而由状态转移到状态的概率等于。守的。称该马尔可夫过程为保可夫过程，有推论：对有限齐次马尔ijijiiqq状态空间有限即证：ijijiiijijijijhiihijijiiIjijqqqhhphhphphphp)(lim)(1lim)()(11)(00矩阵。为转移速率矩阵，简称称记有限，若状态空间为QQqqqqqqqqqqQN，INNNNNNij212222111211,,21尔可夫过程为保守的。为保守矩阵，对应的马称，满足若QqqIiqQiiijijij主对角线上元素为负，，，非负，，001000iiiiijijqhhpjiqhhp。各行元素之和都为负，其余元素非负，而矩阵主对角线上元素为又00111lim1limlim0110110QhhphhhpqhNjNjijijhNjNjijijhij有限马氏链。为连续参数，定理：设前进方程与后退方程三NIttX,,2,10,.0I!jjQtrjririjIrrjirijjQtetPtQPQtPdttdPtpqdttdpqtpdttdp或称为后退方程称为前进方程则。，解出则采用向前方程较方便时，，研究；当固定状态，，解出，采用向后方程较方便时，研究最后所处状态在实际应用中，当固定IrtpNjtpiIrtpNitpjirijrjij,,,2,1,0,,1,0年已证明。，费勒在但两者的解都是同一的同，退方程在形式上有所不注：虽然前进方程和后1940由柯尔莫哥洛夫向前方程的矩阵形式可得。，求时，当，，，时当，，状态空间为过程状态离散的马尔可夫例：设有一参数连续，tpNqNiNjiqjiNIttXijiiij)1(,,2,1,,2,1,1,,2,10,NrIrjririjrjirijtptpNqtpdttdp11解：由前进方程：IrijIrjririrtptptp11又NjiNcetptNptptpNdttdpNtijijijijij,,2,1,.1111jippijii0010，利用初始条件：NtijNtiieNtpNcjiNeNtpNcji11111111，时而当，时，当为不可约的。，则称此马尔可夫链若所有状态都是互通的。，互通：。，不可达，则称，；若对一切，使，可达：状态关系状态分类与平稳分布四ijjijijijitpttptjiijij0000.1.定理5.7设连续时间马尔可夫链是不可约的，则有下列性质：(1)若它是正常返的，则极限存在且等于j0，jI。这里j是的唯一非负解，此时称{j0，jI}是该过程的平稳分布，并且有(2)若它是零常返的或非常返的，则)(limtpijtjjttp)(lim1,IjjjkkjkjjjqqIjitptpjtijt,,0)(lim)(lim分布就等于极限分布。平稳分布，且此时平稳返的充要条件是它存在定理：不可约链是正常链。马氏链是一个齐次马氏的指数变量。显然该的时间是参数为在状态之前，它停留状态的指数变量，而在回到为停留的时间是参数之前马氏链在状态到状态续时间马氏链，在转移例：考虑两个状态的连1001得到。由指数分布的无后效性其状态转移概率为：hhhphhhp0010010,00,10xxexfXx的指数分布。服从参数为设器件寿命状态。状态，故障为为理由如下：设正常工作ttxedxetXPtt的概率为：正常工作，即寿命超过则器件在,0无关与起始时间器件不坏的概率为：即在，小时，器件寿命超过已知器件用了thheeetXPhtXPtXPtXhtXPtXhtXPhphtthtththt01,/,00hhhphphhhphhhphhhpn0101100000110110100状态状态状态状态Qhhpqhhpqhhpqhhpqhhhh10010010011101100000limlim1lim1limtptptptptptptptpQtPtP1110010011100100'程：由柯尔莫哥洛夫前进方ttetptpetptptptptptp00000001000001001cetpeetpedtdtttt0000tetpctp00001由tetp000000,则若记tttetpetpetptptptp110100011001010001由对称性知：解得：类似由前进方程000001000101110000,,0limlimlimlim:tppitpttptptptpijtttt则绝对分布：布：若取初始分布为平稳分，所以平稳分布为：无关，的极限存在且与时，由此可见，当转移概率的极限为