随机过程课件

1随机过程2关键词：无后效性(马尔可夫性)齐次马尔可夫链n步转移概率n步转移概率矩阵C-K方程马氏链的有限维分布律遍历性极限分布(平稳分布)第十一章马尔可夫链§1马尔可夫过程及其概率分布马尔可夫性(无后效性)过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。用分布函数表述马尔可夫性：12(),,,,3,niXttTITntttntT设随机过程其状态空间为对参数集中任意个数值111111()|()|nnnnnnnnPXtxXtxXtxPXtxXtx(),XttT则称过程具有或，并称此过程马尔可夫性无后效性马尔为可夫过程。41,000,0XttXXtt例：设是独立增量过程，且证明：是一个马尔可夫过程。121,nnTntttt证：对中任意个数值1111()|,,nnnnPXtxXtxXtx112211110,0,(),0nnnnnnXtXxXtXxPXtXtxxXtXx111111()()|0nnnnnnnnnnPXtXtxxPXtXtxxXtXx,0Xtt由定义知，是一个马尔可夫过程。证毕！11()|nnnnPXtxXtx•由上例知，泊松过程是时间连续状态离散的马氏过程，•维纳过程是时间状态都连续的马氏过程。51211111(),,......,2,()|()|nnnkinnnnnknknnnnXttTTnktttttktTPXtxXtxXtxPXtxXtx例2设是一马尔可夫过程证明：对参数集中任意个数值即马尔可夫过程的反向也具有马尔可夫性。612311332211223322(),,()()|()|()|XttTTtttPXtxXtxXtxPXtxXtxPXtxXtx例3设是一马尔可夫过程证明：对参数集中参数，，即已知“现在”，“过去”与“将来”独立。7123113322()()|TtttPXtxXtxXtx证明：对参数集中参数，，11223322(),()PXtxXtxXtxPXtx，11221122331122()|()()|()PXtxPXtxXtxPXtxPXtxXtxXtx，1122332222(),()|PXtxXtxPXtxXtxPXtx11223322()|()|PXtxXtxPXtxXtx8{(),0}1.((1.54)0.8(0.55)0.1,(0.98)1.3,(1.50)1)WttP2例4：设是一个维纳过程，求。((1.54)(1.50)0.2(1.50)1)P((1.54)0.8(1.50)1)PWW((1.54)0.8(0.55)0.1,(0.98)1.3,(1.50)1)P解：((1.54)(1.50)0.2)PWW0.20()(1)0.1587.0.049时间和状态都离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为：{Xn=X(n),n=0,1,2,…},参数集T={0,1,2,…}，记链的状态空间为：112212,0;,,|,,,|,rrrimnjtititimimnjmiijnrtttmtmmnTPXaXaXaXaXaPXaXaPmmn记为马尔可夫链用条件分布律来表示为：对任意的正整数和，有：＝＝12,,iIaaaR10,|ijmnjmiijPmmnPXaXamamna条件概率：称为马氏链在时间处于状态条件下，在时间转移到状态的转移概率112,1,1,2,,,ijjiPmmnjmamnaa转移概率性质：这是因为链在时刻以任何一个状态出发，到另一个时刻必然转移到诸状态中的某一个。111213212223313233,,,,,,,,,,1PmmnPmmnPmmnPmmnPmmnPmmnPmmnPmmnPmmnPmmn转移概率矩阵：此矩阵的每一行元素之和等于110,,,||ijijijijmnjminjiPmmnijnPnPnPmmnPXaXaPXaXna当只与及有关时，把它记为，即称此转移概率为马氏链的当转移概率具有这种平稳性时，称此链是步转移概率；齐次马氏链。1112132122233132331111121322122233313233()()()()()()()()()1|1ijijmjminPnPnPnPnPnPnPnPnPnPnPPPXaXaaPPPaPPPPPaPPP在齐次马氏链中，步转移概率矩阵为：一步转移概率记为：一步转移概率矩阵记为：的状态Xm123aaaXm+1的状态12例5：(0-1传输系统)如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p。并设一个单位时间传输一级，X0是第一级的输入，Xn是第n级的输出(n≥1)，那么{Xn,n=0,1,2…}是一随机过程，状态空间I={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵分别为：1|,0,1ijnnpjiPPXjXiijqji……n21X0X1X2XnXn-1pqPqp13例6：一维随机游动。设一醉汉Q(或看作一随机游动的质点)在直线上的点集I={1,2,3,4,5}作随机游动，且仅在1秒、2秒等时刻发生游动，游动的概率规则是：如果Q现在位于点i(1i5)，则下一时刻各以的概率向左或向右移动一格，或以的概率留在原处；如果Q现在处于1(或5)这一点上，则下一时刻就以概率1移动到2(或4)这点上，1和5这两点称为反射壁，这种游动称为带有两个反射壁的随机游动。以Xn表示时刻n时Q的位置，说明{Xn,n=0,1,2…}是一齐次马氏链，并写出它的一步转移概率矩阵。13134521314解：以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态；而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何到达i完全无关，所以{Xn,n=0,1,2…}是一马氏链，且是齐次的。它的一步转移概率矩阵为：11133311133311133312345110000200300400500010P11133311133311133312345101000200300400500010P13452如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远留在点1时，此时的转移概率矩阵为：15例7：排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。等候室服务台系统随机到达者离去者16现用马氏链来描述这个服务系统：设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统的状态。{Xn,n=0,1,2…}是一随机过程，状态空间I={0,1,2,3},且如前例2、例3的分析可知，它是一个齐次马氏链，它的一步转移概率矩阵为：012301001(1)(1)(1)(1)020(1)(1)(1)(1)300(1)(1)qqpqpqpqqpPpqpqpqqppqpqp等候室服务台系统随机到达者离去者17例8：设甲、乙两袋共装5个球，每次任取一袋,并从袋中取出一球放入另一袋(若袋中无球则不取)。Xn表示第n次抽取后甲袋的球数，n=1,2,….{Xn,n=1,2,…}是一随机过程，状态空间I={0,1,2,3,4,5},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，且是齐次的,一步转移概率矩阵为：112211221122112211221122012345000000000100002000030000400005P甲乙18例9：卜里耶（Polya)罐子模型。设一罐子装有r个红球，t个黑球，现随机从罐中取出一球，记录其颜色，然后将球放回，并加入a个同色球。持续进行这一过程，Xn表示第n次试验结束时罐中的红球数，n=0，1,2,….{Xn,n=0，1,2,…}是一随机过程，状态空间I={r,r+a,r+2a,…},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，但不是齐次的,一步转移概率为：1()10nnijiartnaiPXjXijirtna其它例10：某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24个小时的数(共作97次观察)，用1表示正常状态，用0表示不正常状态，所得的数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链.求(1)一步转移概率矩阵;(2)已知计算机在某一时段(15分钟)的状态为0，问在此条件下，从此时段起，该计算机能连续正常工作45分钟(3个时段)的条件概率.解:(1)设Xn为第n(n=1,2,…,97)个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间I={0,1}，96次状态转移情况是：0→0：8次；0→1：18次；1→0：18次；1→1：52次；因此一步转移概率可用频率近似地表示为：01118180|181826nnPPXX10118181|0,185270nnPPXX11152521|1185270nnPPXX001880|0,81826nnPPXX2112301,1,1|0PXXXX1020130120111111|01|0,11|0,1,1PXXPXXXPXXXXPPP1852520.38226707000,:X(2)某一时段的状态为0,定义其为初始状态,即所求概率为8182626:18527070P即2200,1,2,jjjpPXaaIj定义：记称它为马氏链的初始分布。0,1,2,,1,2,jnjjnTpnPXaaIj马氏链在任一时刻的一维分布：010011,|01,2,njinji