随机过程 第四章1

第四章马尔可夫链1.马尔可夫链定义2.一步转移概率及多步转移概率3.Chapman-Kolmogorov方程4.初始概率及绝对概率5.马尔可夫链状态分类6.遍历的马尔可夫链及平稳分布函数有限维且其条件分布，及若对任意的正整数为随机过程设、定义0,111221121nnnxt，X，xt，XxtXPtttn，TttX马尔可夫过程111111//nnnnnnnnxtXxtXPxt，X，xtXxtXP为马尔可夫过程。则称TttX,2、马尔可夫性系统在已知现在所处状态的条件下，它将来所处的状态与过去所处的状态无关。§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念nT，n，aaXnXnttXaaItXn,,2,1,0,,,2,1,0,,)(,,2,1,0,,,2121即参数空间为：移可列个时刻发生状态转且过程只在之一，则所能取的状态必为所处状态记为：在每一时刻而的状态空间为假定马尔可夫过程即条件概率满足：时刻以前的状态无关过程在而与时刻的状态有关只与过程在的概率时刻处在任一状态在定义：若过程,,,)(.1mmakmtXkmimkmmmkmimikmiimimikmaXaXPaXaXaXaXP/,,,/1111简称马氏链。为马尔可夫链则称此随机过程，nXn0,§4.1马尔可夫链的概念及转移概率一、马尔可夫链的概念参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。2、马氏链的转移概率{/},mkjmiijPXaXapmmkkmmpakmkamijji,：状态的转移概率，记为转移到时刻步，在状态经时刻处于为马氏链在iajamkm称条件概率氏链。下面我们仅讨论齐次马次的，无关，则称马氏链为齐与若有关，与一般均为正整数mkmmpkmjikmmpkmjiijij,,,,,,,,,3、一步转移概率及矩阵即得一步转移概率在上面转移概率中，取1k}/{1,1imjmijijaXaXPmmpp构成的矩阵由所有的一步转移概率ijp称为马氏链的一步转移概率矩阵nnppppppP2122211211IjaiijjiijijIapIaapp1)2(,0)1(具有性质：矩阵称为随机矩阵。性质的、，满足和为即矩阵中任一和元素之个状态是必然事件，转移到状态空间的某一即从)2()1(1ia4.多步转移概率的确定npnpnpnpnpnpnP：naXaXPnmmpnpnnknnimjnmijij2222111211/,,)1(步转移概率矩阵为对应的步转移概率：即得时、在转移概率中取：，nP即也满足性质也为随机矩阵)(IanpIaanpiIaijjiijj.1)2(,.0)1(通常我们还规定：jijimmppijijij01,0(2)、切普曼—柯尔莫哥洛夫方程（Chapman-Kolmogorov）IarjirijjinrknpkpnpI，aan，nX)(,,00,有：整数则对任意的为齐次马氏链定理：设方程。简称柯尔莫哥洛夫方程，此乃有名的切普曼kcknPkPnP或ramjaiakmnm直观解释对照图imIarkmimjnmrkmimimIajnmrkmimimjnmimimjnmijaXPaXaXaXPaXaXPaXPaXaXaXPaXPaXaXPaXaXPnprr,/,,,,/马尔可夫性有：证明：利用概率公式及knpkpaXaXPaXaXPrjIairrkmjnmIaimrkmrr//用矩阵形式表示为：knPkPnPnPnPnPPPPnPPPPnnPPn，Pk)()2()1()3(3)1()1()2(2)1()(132为任意整数时有：一般当时：时有：则在上式取表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。全概率公式若有N个互斥事件Bn（n=1,2,…,N），它的并集等于整个样本空间，则NiiiBPBAPAP1)()|()(（1）离散型随机变量的条件分布律及条件期望iijjijjipyjipyYxXPYX02,1,,,，有若对于给定的联合分布律：是两个离散型随机变量设定义jiijiijiijyYPpxpxyYXE11//的条件分布律；关于为则称jjijjijiyYXppyYxXPp//的条件期望为：关于则jyYX5、初始概率与绝对概率。和为和分布和绝对分布，简记为马氏链的初始和绝对概率，并分别称为马氏链的初始概率和，和分别称为马尔可夫链定义：设)()0(),(),0()()()0(,0,)1(0nppIanpIapIaaXPnpaXPpnXjjjjjjjjnjjjn写成向量形式:),(,),(),()(),0(,),0(),0()0(2121npnpnpnpppppjj(2)绝对概率与初始概率的关系)()0()()()0()()1(nPpnpnppnpIaijiij或具有性质：，绝对概率和意的为马尔可夫链，则对任定理：设)(10,npnIanXjjnPnpnppnpnpIaijiji)1()()1()()2(或)()0(/,)()1(000nppaXaXPaXPaXaXPaXPnpijIaiijnIaiIajnijnjiii证：表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。IaijiinjnIainIajninjnjiiipnPaXaXaXPaXaXPaXPnp)1(/,)2(111（3）马氏链的有限维分布IaiiiiiiniiiiininnnnpppaXaXaXPnIaaa，nX1121210,,,1,,,0,21有：和则对任意的为齐次马氏链定理：设IaiiiiiiiiniiiniiiiiIaiiniiIainiiinnnnininppppaXaXaXaXPaXaXaXPaXaXPaXPaXaXaXUPaXaXaXP121111121121)0(},/{},/{}/{,,,},,,{1101020101021证：nnnnnniiiiiiniiiiiiiiniippaXaXaXaXPpppaXaXaXP：11002111001002110/,,,)2()0(,,,)1(推论总结：1）齐次马氏链多步转移概率可由一步转移概率确定；nPnP)(2)绝对概率可由初始概率及n步转移概率确定Iaijijinppnp)()0()(3)有限维分布可完全由初始概率及一步转移概率确定。赌徒输光问题，求甲输光的概率。，输的概率为的概率为甲赢光为止。设在每一局中局，直到两人中一个输者一元，没有和元，每赌一局输者给赢赌徒乙有元，列赌博，赌徒甲有两赌徒甲、乙进行一系pqpa16解：定义{Xn}为第n次时甲的赌资，其状态空间为：状态的概率。状态先于到达出发到达点，现在问题是求质点从，cabaccI0,,2,1,0，由全概率公式：，是吸收状态，故和，由于即要计算的概率，出发转移到状态表示甲从状态设01000caiuucuiu1i1ii0bapq11,,2,1,11ciqupuuiii和事件的概率。后再输光”这两事件的处于状态）去输了一局（概率为后再输光”和“他接下），处于状态概率为“他接下去赢了一局（等于元开始赌到输光的概率含义为：甲从有11iqipi程式实质上是一个差分方由于)1(,1qp21,,2,111ciuuruuiiii30,10cuu，pqr边界条件为其中cuuuiuuuuuuuuciuuuurcciiiiii010101201112,1,,2,1)2(1令等差数列式：由的情况，先讨论1,,2,11ciciuic，，uuc1100得代入最后一式将babu，b，qp，b故乙输光的概率为：由于甲、乙地位对称、性大，即赌本小者输光的可能成正比赌本甲输光的概率与乙的情况下在表明babca：uaia1,求得甲输光的概率为令赌博迟早要结束。人要输光，，表明甲、乙中必有一由于1bauu)4(1121110111rrruuuruuruuqprckckiickiiikc式得：由的情况。，即现讨论cccrrurruuuk11111111,0,0110有由于令ccbbccaacckkrrrurrruakckrrru1,11,,2,1,14得甲输光的概率令式得代入!,1光两人中总有一个人要输由bauu为随机游动。则称有相同的分布，令变量序列，且是整数值独立随机例：随机游动，设0,,,,,,,0210210nXXnnkkn是时齐马氏链。随机游动，随机游动是质点的位置，则表示在时刻，于是次移动的长度为整数间质点移动一次，第，每隔一个单位时为运动的质点，初始位置上作点在直线上的整数格点随机游动可以解释为质0,0,000nXnXnXkXnnnkknk111100110011110010,,,,,,/,,1nnnnnnnnniXiXiXPiXiXiXPiXiXiXiXPiii，n和整数对任意的.,,,,,121101100101100nnnnnnnnniiPiiiiiPiiiiiP111/nnnnnnniiPiXiXP同理：ijnnnijpijPiXjXPp1/一步转移概率为：是一随机过程。时质点的位置，则表示时刻若以格到达向左移一或以概率右移动一格到达向，则下一步质点以概率如某一时刻质点位于，点在直线上作随机游动无限制的随机游动：质例0,111.nXnX，ipq，ipinn，，，，，，I21012其状态空间为：齐次马氏链。为随机游动，它是一个则第次向左移动一格，第次向右移动一格令nknnkX01,1几种特殊的随机游动IjiijpIipqppp：iiiiii,1,110,01,1,一步转移概率为)(npnij步转移概率下面求它的次，则次，向左次转移中向右如果，次转移的结果是从，而向右的概率为，向左的概率为可能已知每次转移只有两种21mmnjinpq，ijmmnmm)1(121212,221ijnmijnm12121)(,mnCmmnijnmm：是任意的，选取方法为步向左步向右，哪步中哪偶数，且在必须是只能取整数，所以由于112,()0mmmnijCpqnjipnnji