随机过程4.3.2

湖南大学§4.3齐次马氏链状态的分类(二)三、状态间的关系定义4.3.8，若存在对1,,nEji,0)(nijp使称自状态i可达状态j,记为.ji同时成立，，若ijji称状态i与状态j互通，.ji记为注自i可达j表示从节点i出发，存在一条路径可到达节点j.湖南大学引理2可达具有传递性,,kjji且若.ki则ij…ijk;0,1)(rijprji使，则证……;0,1)(nijpnkj使，则由C－K方程湖南大学()()()()()0.rnrnrnikimmkijjkmEppppp.ki即有引理3若补充定义(0)0,;1,.ijijijpij则互通关系是状态空间E上的一个等价关系,即满足1)自反性(律);ii2)对称性,ji当且仅当;ij湖南大学3)传递性.,jijkki则且EX.4设马氏链的状态空间E={1,2,3,4,5},其一步转移矩阵为0100000001000000000212143412121P1234512345湖南大学0100000001000000000212143412121P1234512345121/21/21/43/434511/21/21其一步状态转移图如下湖南大学121/21/21/43/434511/21/21按互通性可将E分解为E={1,2}∪{3,4,5}=C1∪C2其中，Ci中的状态是互通的,质点运动一旦位于某一类，以后它的状态都保持在此类.不相交集湖南大学EX.5设马氏链的状态空间E={0,1,2,…,a},其一步转移矩阵为10000000000000000000000000001qpqpPqp(0q1,0p1)状态转移图为01a－1apq11…湖南大学有);1(,0,1,1)(00)1(0000nffpn);1(,0,1,1)()1(nffpnaaaaaa状态可由第二类到达第一类或第三类,反之不真.按互通性有E={0}∪{1,2,…,a－1}∪{a}=C1∪C2∪C301a－1apq11…湖南大学定理4.3.5设状态i和j互通,则1)i和j同为非常返的；2)i和j同为零常返的；3)i和j同为正常返非周期的(遍历状态的)；4)i和j都是正常返有周期的,具有相同周期.结论互通状态具有相同类型湖南大学续EX.3醉汉问题酒吧家12345醉汉在街上徘徊,在每一个街口以1/3的概率停下,以1/3的概率向前或向后.若他又返回酒吧或到家门,不再游动.状态转移图为湖南大学1234511/31/31/311/31/31/31/31/31/3.2”的类型很困难分析状态“有限次首达状态“3”的概率分别为先讨论状态“3”的类型.,)31(23)3(33f,31)1(33f,)31(22)2(33f湖南大学,3,2,)31(2)(33nfnn一般有2341/31/31/31/31/31/31/3状态3的最终返回概率为])31()31()31[(231321)(3333nnnff,132311]31[2312湖南大学状态3是非常返的.,1,313)1(33dp因状态3是非周期的.，，由于4332故2和4都是非周期非常返的，且E={1}∪{5}∪{2,3,4}.关于常返状态有下结论：定理4.3.6设i,j∈E,且i≠j，则湖南大学1）若状态i和j互通,i是常返态,则j也是常返态；2）若状态i和j互通,且j是常返态,则;1ijf3）若状态i是常返的,.,ijji则且)(ji四、闭集、状态空间的分解定义4.3.9设E是状态空间,若对,EC,0,ijpCjCi都有及称C为一个闭集.一步转移概率湖南大学注C是闭集的充要条件是对任意的i∈C和.0,1,)(nijpnCj都有及证明仅需证必要性，设C是闭集，n=1时结论显然成立；假设n=k时,对任意,0,,)(kijpCjCi有CrrjkirCrrjkirkijppppp)()()1(则.000)(CrrjCrkirpp湖南大学直观解释自C内部不能到达C的外部.CE如果质点运动状态进入C,将永远停留在C内.续EX.4E={1,2}∪{3,4,5}=C1∪C2E、C1和C2都是闭集.121/21/21/43/434511/21/21湖南大学续EX.5有E={0}∪{1,2,…,a－1}∪{a}=C1∪C2∪C3E、C1、C3都是闭集，而C2不是闭集.01a－1apq11…整个状态空间构成一个闭集.定义4.3.10若状态的单元素集{i}是闭集,称i是吸收状态.湖南大学续EX.5有E={0}∪{1,2,…,a－1}∪{a},状态“0”和状态“a”是吸收态.定义4.3.11若闭集C中不再含有非空的闭真子集,称C是不可约的(或不可分的,最小的).若马氏链的状态空间E是不可约的,称此马氏链是不可约马氏链.定理4.3.7马氏链所有常返态构成一闭集.湖南大学,)3ji知之.也为常返态从而j证明设i为常返态,ji且从常返态出发,只能到达常返态.故常返态集是闭集.推论不可约马氏链或者没有非常返态,或者没有常返态.4.3.6根据定理是闭集C)1引理4.,,0CjCipijCjijCip;,1湖南大学.1iip2）i为吸收状态引理5，有记},{}{)(EjijjiiC;)()()1jijCiC2)C(i)是闭集,则必不可约.证1)显然).(,),()2iCCCiCC需证是一个闭集且设由闭集定义知k∈C;任取j∈C,若j→k,不会外出湖南大学从而C=C(i),即C(i)是不可约的.则k∈C，CC(i),)(CiC证得kj故对任意k∈C(i),,,kjCj且存在推论齐次马氏链不可约的充要条件是它的任意两个状态均互通.湖南大学定理4.3.8齐次马氏链的状态空间可唯一地分解成有限个或可列多个不相交的状态子集之并.分解定理E=N∪C1∪C2∪…2）每个Cn,（n=1,2,…）均为常返状态组成的不可约闭集.其中1）N是所有非常返态所成之集；湖南大学注1内的状态均互通，对nCn,1从而具有相同的状态类型.注2;1,ijnfCji，对注3从常返状态出发,不可能转移到非常返状态.定理4.3.9设N是非常返态集,i∈N，j是常返态，则最终概率fij满足以下方程)(,NipfpfHkikNkkjikij湖南大学其中H=C(j)..,0;,1NkHkHkfkj且证明})0({iXjPfij经有限步到达})0()1({})1(,)0({iXkXPkXiXjPEk经有限步到达NkHkikkjHkikkjNkkjikpfpffp湖南大学HkikNkikkjppfEX.6设某企业在每次经营中赢利、亏损的概率分别为p和1－p（0p1),各次经营是独立的.求自有i个单位财产开始经营,企业的财产在达到零前曾达到N个单位的概率.分析记X(n)—n时刻企业的财产.一步转移概率为是齐次马氏链,}1),({nnX;1,100NNpp湖南大学)1,,2,1(,111Nipppiiii}121{}{}0{NNE，，，状态空间{1,2,…,N－1}是非常返状态集,每一个非常返态仅到达有限次.即在进行限次经营后,企业或者破产或者达到目标值N..1,,2,1?,NifiN现需求湖南大学解})0({ˆiXNPffiNi经有限步最终达到记根据定理4.3.9的结论，有,1,,2,1,11Niqfpffiii),(11iiiiffpqff或）（因1qp得由,000Nff,)(10112fpqffpqff湖南大学………,)(121223fpqffpqff,)(11211fpqffpqffiiiii………,)(11211fpqffpqffNNNNN将前i－1个等式相加,得])()([1211iipqpqpqfff湖南大学.21,;21,1)(111pfipfpqpqfii如如又因fN=fNN=1,推得，Npqpqf111湖南大学.21,;21,11PNiPpqpqfNii如如故当N→∞时.21,0;211Pppqfii，湖南大学五、有限马氏链若状态空间E是有限集合,称为有限马氏链.有1)所有非常返状态组成的集合不是闭集；2)没有零常返状态；3）必有正常返状态；4）状态空间可分解为E=N∪C1∪C2∪…∪Ck其中,N为非常返集，C1,C2,…,Ck为常返闭集.