随机过程

第五章知识点回顾及习题讲解知识点一定理5.4（柯尔莫哥洛夫向后方程）假设1ikiikiqtp，则对一切的,ij及0t有ijikkjiiijkiptqptqp定理5.5（柯尔莫哥洛夫向前方程）在适当的正则条件下ijikkjijjjkjptptqptq向前向后方程的矩阵形式为,PtQPtPtPtQ习题一.设马尔科夫链,0Xtt的状态空间为1,2,,Im，当ij时，1,,1,2,,ijqijm当1,2,,im时1ijqm求ijpt解：根据柯尔莫哥洛夫向前方程,,0,1,,ijijjjikkjkjptptqptqijn有1ijijikkjdptmptptdt由于1ikkIpt则有1ikijkJptpt因此11ijijijdptmptptdt1,1,2,,ijmptijm解得1,1,2,,mtijptCeijmm利用初始条件01,00iiijppij，则当ij时11Cm而ij时1Cm于是1111,2,,mtiipteimmm11,,1,2,,mtijpteijijmm习题二.考察某一系统运作情况（例如机器运转）。如果运作正常，则认为系统处于状态1；如果系统正在调整（例如机器维修，计算机杀毒等），则认为系统处于0状态。系统运作一段时间后，会遇到不能正常运作的情况，此时系统需要调整。调整后又恢复运作。假定系统从开始运作直至遇到需要调整的运作时间是随机的，服从参数为的指数分布，密度函数为,0tet。而调整期也是随机的，服从参数为指数分布，密度函数为,0tet。假定运作期是相互独立的。如果令Xt为系统时刻t所处的状态，则由于在时刻t以后，系统所处的状态仅与在时刻t及以后的剩余运作时间或剩余调整时间有关。利用指数分布的无记忆性，知道Xt是时齐马尔科夫链，试求出其转移概率？解：当时间增量t很小时，如果系统在时刻处于状态0，而在时刻tt变为状态1，则只要求在时间区间tt内，是系统恢复，此时0101tttptedtetot所以00010limttpqt同理1010,pttotq于是得到Q从而柯尔莫哥洛夫向前方程为001101,0,1,,0,1iiiiiiptptptiptptpti由于011iiptpt，故将101iiptpt代入上式得00,iiptpt解法一对微分方程ypxyqx其解为pxdxpxdxyeqxedxC解法二0000tteptpte00ttdeptedt00tteptec在初始条件下0ijijp下，方程的解为0tiptce利用001001,00pp确定常数c得00tpte10tpte再利用101iiptpt得01tpte11tpte利用柯尔莫哥洛夫向后方程同样可以求出知识点二定义5.3设,0Xtt为连续参数齐次马尔科夫链，如果转移概率极限存在lim0,,ijjtptijE且与i无关，则称此连续参数齐次马尔科夫链为遍历的马尔科夫链，此时，我们说该链具有遍历性。定理5.7设连续时间的马尔科夫链是不可约的，则有下列性质：（1）若它是正常返的，则极限存在且等于0,jjI这里的j是方程组1jjjkkjkjkjIqq的唯一非负解，此时称,jjI是该过程的平稳分布，并且有limijjtpt（2）若它是零常返的或非常返的，则limlim0,,ijjttptptijI习题三.设有连个通信通道，每个通道正常工作时间服从参数为的指数分布.两个通道出故障的是统计独立的。若通道出故障，由两个维修人员独立维修。修理的时间服从参数为的指数分布。假设两个通道在0t时正常工作。设Xt表示时刻t时出故障的通道数。,0Xtt是状态空间0,1,2E的生灭过程。1求状态转移图；2状态转移速率矩阵；3平稳分布。解：12状态转移速率矩阵2200223平稳分布012012,,0,0,0,,1Q010121201220220201求解得220122222,,即22012122222,,,,知识点三生灭过程在排队论中的应用1.排队论的基本概念在现实生产和日常的生活中，存在着各种各样的随机服务系统。例如，火车站的售票处是一种服务系统，当旅客到达售票处时，如果售票窗有空，他就不必等待马上接受服务；如果售票窗口已有其他旅客在购票，他就按照一定的排队规则，排队等待服务。售票员在位每位购票顾客服务时，都要花一定的服务时间。旅客购票后，便离开售票处。2.随机服务系统的组成部分1输入过程：已用以表明顾客是按怎样的规律来到服务台的。常用的输入过程有：泊松过程：各个顾客来到时间间隔为指数分布，记为M;定长输入：每隔一定的时间到达一个顾客，记为D;2排队规则：用以表明来到顾客是按怎样的规则接受服务的。常用的规则有：损失制：当顾客来到时，若所有的服务设施都已被占用，该顾客就自行消失，不再进行排队等待行列；先到先服务：顾客按到达先后次序接受服务，记为FIFO后到先服务：后到的顾客先接受服务，记为LIFO随机选择服务：所有到达的顾客都有相同的概率接受服务，记为SIRO优先服务：顾客带有不同的优先规则的服务规则。3服务过程：用以表明在同一时刻有多少个服务台接纳顾客以及每个顾客所需要的服务时间服从怎样的分布。常用的分布有指数分布，定长分布等。3.各种排队模型的记号排队模型将如下六个特征顺序有各自的符号给出，并用斜线隔开：输入过程|服务分布|服务台个数|系统容量|顾客源数|派对规则例一|||||MMSnFIFO表示顾客按泊松过程来到，时间间距为指数分布，服务时间为指数分布，有S个服务员，系统容量为n个，顾客来源无限，排队规则是先到先服务二、损失制排队模型1.M/M/1损失制顾客按泊松过程到达，平均率（强度）为，时间间距服从参数为的指数分布，服务时间服从参数为的指数分布，服务强度为。只有一个服务员，服务规则是当顾客来到服务系统时，若服务台已被占用，顾客立即离开系统，所以是损失制。设Xt表示时刻t服务系统的顾客数，状态空间0,1,,0EXtt是一个生灭过程，状态转移图，状态转移矩阵Q平稳分布0101,0,0,1Q01服务台空台的概率0，由于是损失制，系统损失率就等于服务台被占用的概率1习题四、一条电话线，顾客呼唤按平均每分钟0.8次呼唤的泊松过程来到，通话时间服从参数为的指数分布到达，每次通话平均需时11.5min,Xt表示时刻t时通话占用的线路数。,0Xtt为生灭过程。1求此生灭过程的平稳分布；2该条线路每小时能接通对少次电话；3求每小时有多少次呼叫不通而档断。解：此系统为M/M/1损失制1平稳分布015116112系统处于无顾客状态的概率为0，换句话说，可以接通的概率为0511，因每分钟平均呼唤00.8次，故每分钟可接通的概率：044511每小时能接通的次数为：452406022511113电话的损失率为：1611每分钟不能接通的次数：462886026511112.M/M/n损失制M/M/n损失制是指顾客按泊松过程到达，服务时间服从指数分布，有n个服务员的损失系统。设Xt表示时刻t时随机系统的顾客数它是一个生灭过程，状态空间0,1,,En是状态转移速度图状态转移速率矩阵0000000022000000Qnn平稳分布10001!1,1,2,,!knkkkkknk010,,,0,1nnkkQ系统空间的概率：1001!knkk顾客损失的概率：01!nnn习题五、电话总机有3条中继线。设顾客按泊松过程到达平均每分钟呼叫1.5，通话时间服从指数分布，平均每次通话时间12min，通话与呼叫相互独立，顾客在线路沾满时，不再等待而离去，设Xt表示时刻t时占用的线路数，,0Xtt为生灭过程。求1求此过程的平稳分布；2电话总机空闲的概率；系统的损失率；3平均通话的线路数。解：1状态空间0,1,,En转移速度图状态转移矩阵0000220033Q平稳分布301230,,,0,0,0,0,1kkQ030011!1,1,2,3!kkkkkkk代入31,22故01231399,,,,,,131326262电话总机空闲的概率：0113系统的损失率39263平均通话的线路数3151226kkk二、.M/M/1等待制系统排队模型1.M/M/1等待制系统是指顾客按泊松过程到达，平均率（强度）为，服务时间服从指数分布，服务强度为，只有一个服务员的排队系统。系统按先到先服务的规则进行服务，当顾客来到系统时，若服务台已被占用，顾客就排队等待，顾客总体为无限源。设()Xt表示系统在t时的顾客人数，{(),0}Xtt是一个生灭过程。状态空间{0,1,2,}E状态转移速度矩阵0000Q三、混合制系统1.M/M/1有限等待空间系统是指顾客按泊松分布过程输入，平均率为；服务时间是平均率为的指数分布，只有一个服务员系统。服务规则是先到先服务，系统中能容纳顾客排队的最大数为N。当顾客来到系统时，若排队顾客已经等于N则自动离去，另求服务。因此，系统是混合制。设()Xt表示系统在t时系统中的顾客数，{(),0}Xtt是一个生灭过程。状态空间{0,1,2,,1}EN状态转移速度矩阵00Q习题六、设有一服务台，0,t内到达服务台的顾客数是服从泊松分布的随机变量，即顾客流是泊松过程。单位时间到达服务台的平均人数为。服务台只有一个服务员，对顾客的服务时间是按指数分布的随机变量，平均服务时间为1。如果服务台空闲时到达顾客立即接受服务；如果顾客到达时