随机过程4.2.1

湖南大学§4.2马氏链序列(一)设{X(t),t∈T}为马氏过程,为”称“xtX)(“过程在t时刻处于状态x”;记E={xX(t)=x,t∈T}称为过程的状态空间.若E是可数集,称{X(t),t∈T}是马氏链.若指标集T是可数集,称{X(t),t∈T}是马氏序列.湖南大学本节讨论状态空间E和参数集T都是可列集的马尔科夫链.马尔科夫链的理论系统而深入，在自然科学、工程技术及经济管理各领域有广泛的应用.定义4.2.1设{X(n),n≥0}为随机变量序列,状态空间E={0,1,2,…},如果对于任意非负整数k及n1n2…nrm，以及一、定义及例,,,,,,21Eiiiiikmmnnnr湖南大学P{X(m+k)=im+k|X(n1)=i1,…,X(nr)=inr,X(m)=im}=P{X(m+k)=im+k|X(m)=im}成立,称{X(n),n≥0}为离散参数马氏链.定理4.2.1(等价定义)随机变量序列{X(n),n≥0}的状态空间E={0,1,2,…},如果对于任意非负整数m，以及,,,,,110EiiiimmP{X(m+1)=im+1|X(m)=im,X(m－1)=im－1,…,X(0)=i0}=P{X(m+1)=im+1|X(m)=im}湖南大学注必要性显然，充分性自证.成立,是{X(n),n≥0}为离散参数马氏链的充分必要条件.定义4.2.2设{X(n):n≥0}为马氏链，状态空间为E={0,1,2,…},称条件概率为马氏链在m时刻的k步转移概率.})()({)()(imXjkmXPmpkij特别称为一步转移概率.})()1({)()1(imXjmXPmpij湖南大学表示在时刻m时X(m)取i值的条件下，在下一时刻m+1时,X(m+1)取j值的概率.注定理4.2.1说明可由一步转移概率验证时间序列的马氏性.EX.1在股票交易过程中令状态空间为E={－1,0,1}各状态分别代表“下跌”、“持平”、“上升”，时间集T={n=0,1,2,…}(单位：周),将股票交易过程转化马氏链{X(n),n≥0}.因对任意时刻m有湖南大学=P{X(m+1)=im+1|X(m)=im}P{X(m+1)=im+1|X(m)=im,X(m－1)=im－1,…,X(0)=i0});,,0(;0)()1)1(Ejimmpij及EjijmEimp).0,(,1)()2)1(注转移概率满足:由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态。湖南大学即有有限马氏链状态空间I={0，1，2，…，k})()()()()()(10111001001npnpnpnpnpnpPnn)()()()()()()()()(1011110001001npnpnpnpnpnpnpnpnpPkkkkkk3．一步转移矩阵称为在时刻n的一步转移矩阵。如果固定时刻Tn由一步转移概率为元素构成的矩阵1P湖南大学123状态空间E={1,2,3},X(n)为第n次观察时老鼠所处位置,记},)({)(jnXPnj根据全概率公式，对j=1,2,3有EX.2迷宫问题定时观察老鼠位于哪一个房间？.3,2,1,),,1()1()1(jinnppijij湖南大学)1(3)1(2)1(1321)1()1()1()(jjjpnpnpnnj在时刻n,老鼠处于各状态的概率只与第n－1次时所处状态与转移概率有关，而与第n－1次前的状态无关.老鼠的随机转移状态运动过程是一个马氏链.二、齐次马氏链定义4.5.3若马氏链{X(n),n≥0}的一步转移概率与起始时刻无关，即对任意m，ijijijppimXjmXPmp)1()1(})()1({)(称{X(n),n≥0}为齐次马氏链.与m无关湖南大学若状态空间为E={0,1,2,…}222120121110020100)(ppppppppppPij记称P为一步转移矩阵.矩阵中每个元素为非负数,且每行之和均为1..1)2,10)1成立和EjijijPp湖南大学凡满足以上两条的行向量称为概率向量.定义4.5.4称矩阵A=(aij)为随机矩阵,若满足对,Ei;0)1ija转移矩阵P是随机矩阵.转移矩阵P的行向量都是概率向量..1)2Ejija湖南大学pppppPij11)(.,},1,0{EjiEEX.4在某数字通信系统中传0和1两种信号,且传递要经过多级.若每级由于噪声的存在,送出0，1信号的失真概率均为p(0p1),则各级输入状态和输出状态的转移矩阵为数字传输过程是齐次马氏链.湖南大学EX.5Polya模型（传染病模型）设坛子中有b个黑球,r个红球.从坛子中随机地摸出一个球，然后将球放回并加入c只同色球，如此取和放,不断进行下去.研究坛子中黑色球个数.湖南大学分析设X(n)表示第n次摸球后坛子中的黑球个数.每取放一次后黑球或者增加c个黑球,或者不变.显然,{X(n),n≥1}是马氏链，但})()1({)()1(inXjnXPnpij.,0;,1;,其他ijncrbicijncrbin次转移概率与n有关,{X(n),n≥1}是非齐次马氏链湖南大学将一个小球投入无限大高尔顿钉板内,小球各以的概率向左或向右移动一格.21EX6.随机游动(高尔顿钉板试验).1;,1)(层向左位移一格在第，层向右位移一格在第kkkX湖南大学P{X(k)=i}－11X(k)2/12/1nkkXnY0),()(令随机游动n步所处的状态})(,)(,)()({112211nnnnjmYjmYjmYjmYP})()({11nnnnjmYjmYP状态空间,有NE{Y(n),n∈N}是马氏过程.湖南大学更进一步，因对任意m有，ijijijppimYjmYPmp)1()1(})()1({)(即马氏链{Y(n),n∈N}的一步转移概率与起始时刻无关，是齐次马氏链.210210210210P转移矩阵为湖南大学例设马氏链的状态空间I={0,1,2,…}，转移概率为解根据转移概率作出状态转移图2100p，211,iip，210ip，Ii…1/21/21/21/21/21/20121/231/2画出各状态间的转移图。湖南大学1/31/211/31/211/31234例．设马氏链的状态空间I={1，2，3，4}，其一步转移矩阵为0010021210000131313101P按一步转移概率，画出各状态间的转移图。湖南大学例不可越壁的随机游动设一质点在线段[1，5]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位，或停留在原处；（2）若移动前在1处，则以概率1移到2处；（3）若移动前在5处，则以概率1移到4处。31用nX表示在时刻n质点的位置，则{nX，0n}是一个有限齐次马氏链，试写出一步转移矩阵.湖南大学分析555453525145444342413534333231252423222115141312111pppppppppppppppppppppppppP01000313131000313131000313131000101P故12345湖南大学其一步转移矩阵为10000210210002102100021021000011P若将移动规则改为（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。21因为质点在1，5两点被“吸收”，故称有两个吸收壁的随机游动。湖南大学习题1．带有两个反射壁的随机游动如果状态空间I={0，1，2，…，m}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在m处，则下一步以概率q向左移动一个单位，以概率p停留在原处；（3）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，则{，}是一个齐次马氏链，写出其一步转移概率矩阵。nXnX0n湖南大学qp右反射壁m-1mpq左反射壁120pqpqpqpqpqP0000000000000000000000000000001湖南大学2．带有反射壁的随机游动设随机游动的状态空间I={0，1，2，…}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）；（2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。设表示在时刻n质点的位置，则{，}是一个齐次马氏链，写出其一步转移概率。nXnX0n湖南大学pq反射壁12300000000001pqpqpqP湖南大学3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格，以概率逆时针游动一格。试求转移概率矩阵。pq1000000000000000000001qppqpqpqqpP},,2,1{NI湖南大学4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且，试求转移概率矩阵。1qpr0000001qrpqrpP},2,1,0,1,2,{I湖南大学5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。解这是一个齐次马氏链，其状态空间为I={0，1，2，…，a}一步转移矩阵是01000101000202000101000101aaaaaaaaaP湖南大学三、切普曼－柯尔莫哥洛夫方程定理4.2.2马氏链{X(n),n≥0}的k步转移概率满足切普曼－柯尔莫哥洛夫方程Ersrjkirksijppp)()()(}.)()({)(isXjmsXPpmij其中)()()()()()()(BCPABCPCPBCPCPABCPCABP).()(BCAPCBP需用概率式:湖南大学分析图imm+k+sjm+k12r……})(,)({jskmXimX})(,)(,)({jskmXrkmXimXEr湖南大学})()({imXskmXP{(),()()}rEPXmkrXmksjXmi{()()}{()(),()}rEPXmkrXmiPXmksjXmiXmkr证{()()}{()()}rEPXmkrXmiPXmksjXmkr马氏性湖南大学Ersrjkirksijppp.)()()(即，若记)()()(kijkpPC－K方程的矩阵形式)()()(skskPPP则称k步转移矩阵齐次马氏链的n步转移矩阵为(一步)转移矩阵的n次幂.推论1nnPPPPP)(湖南大学证在C－K方程中，,32)1()2()3