随机过程 第四章2

§4.2马尔可夫链的状态分类一.状态的分类态进行分类。我们依赖概率性质对状，初始分布为：，转移概率为空间是齐次马氏链，其状态假设IjpIjipInXjijn),0(,,,2,1,00,中，情况要复杂得多。周期。但在随机性运动即声响元素的最大公约数，也是中这其中。的集合，则单位：分钟响时刻表示，若令分钟发生音乐声响的钟例如每隔有时会呈现出周期性周期：确定性机械运动TTT30,60,30,0)(30,.1图所示：状态间的转移规律如下。空间例如：设马氏链的状态9,,2,1I896527431给出如下定义：受确定性问题的启发，的最大公约数。，是，而但，，虽然，对正数的可能步数再返回状态出发从状态由图易见12202022,12,10,8,6,41,1,1111nnnppTT31320,1..01npnnDCGdnpnniiii：状态的周期，记为：该集合的最大公约数为非空，则称，：定义：如集合，则称无周期。，其周期，即若对任意，不定义为空集的：注：对于使0)(10)(,1npninpnniiii。是周期的，周期为状态非周期的。对上例来说为，则称为周期的；如，称通常，如21,11idid0.01,,3,2,ndpMnMdnpnndinddddid，i，iiii有对一切一定有对任何的，当然这并不意味着回到状态步，系统是不可能来说，除非经对则说明的周期若为状态由定义可知是否两个具有相同周期的状态所表现出来的性质基本一致呢?下例可说明并非如此。，状态转移图如下：例：设4,3,2,1I。后，它再也不能返回到转移到状态则不然，当，而状态出发经两步必定返回到，但由状态的周期都为与状态由图可知232233232，123411/21/211简称首达概率。的概率，步首次到达状态出发，经为自状态，，，而称：，：即的时刻。出发首次进入状态状态为从，称随机变量、定义：对任意两个状态首达概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1}/11{)(1,min.2jijiiiiijivnijnnpppiXnvjXjXPnft112111}/11,,{00作出发时刻，则无关。所以，如果以刻知，首达概率与出发时注：由齐次马氏链性质的条件概率。出发经有限步可达，表示从出发，迟早要到达状态它表示从状态，即的条件概率经有穷步后终达状态的条件下，氏链位于状态另一个重要概念是：马jijiTPnfffjiijnijijij1)(。非常返的，如为；称状态为常返的，如定义：称状态常返性概念11.3iiiififi下：马氏链的状态转移图如例.②④③①2121212132311也为常返的。，即状态，2121)2(,21)(,0)1(212222122221nnnnnffnnff为非常返的；即状态故，由图知：对一切400)(4444,f,nfn也为非常返的；即状态，故31321032)1(333333f,nn,ff为常返的；即状态，11212121212)1(1111111111fffff()1niiinnf遍历状态。非周期的正常返态称为为零常返的。则称常返态反之，如为正常返的；，则称常返态定义：如iiii考虑321232122111112221111nnnnnnnfnnf如上例，故它们都是遍历状态。，又因其周期都是都是正常返态与状态故状态1,21的关系。与)()(.4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：对任意状态i0knjj)()(},11,,/{}/,11,{}/,,11,{/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij证：率之和的形式。分解成较低步的转移概可以把的关键性公式，它们方程及此定理是马氏链npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取000,321332211qppqqpp，，I转移的矩阵为：间例：设马氏链的状态空①②③1p2p3p2q3q1q的概率。步转移首次到达各状态出发经求从状态n10,12,1,2,)(1313131121mmnppqmmnqqpqnfmm0,12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1,121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm回顾1C—K公式2)()()(,1,1knpkfnpnjinkjjijij有：及定理：对任意状态()rijirrjIpnpkpnk判别常返状态及性质如何用常返性的判别及其性质二)(.npij111,100iiiiniiiiniiffnpifnpi则非常返如为常返的充要条件为：定理：状态sFsPnfnpfpiiiiiiii与的母函数为与，再设证：规定0)0(,1)0(1)()()()()(1nknpkfnpnfnpiinkiiiiijij的关系有：与由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并对两边乘以于是对1,10ns，s)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，则有再令，不减，故在上式中先令时，由于当有：正整数与给定的，故对任意的因为01)()(limniiiisfnfsF类似地可证得：命题得证！则若即可得：再根据常返状态的定义两边令在000)(111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP下面解释这个定理的结论：的次数表示马氏链状态位于，若iiXiXnnnnn001首先令随机变量)(//11///0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次数。返回出发再实际上表示了马氏链从可见iinpnii0)(。穷极限的平均次数将有一个有非常返时，则返回为而当状态的次数将无限地增加；下去时，返回续为常返且过程无限地继定理式告诉我，若状态iifiiii11是非常返的。则状态若是常返的；则状态若结论：i，npi，npniinii00)()2()()1(0,,)(limiiiiiindidndpd，i时当的平均返回时间为其中则常且有周期定理：设状态(1)lim()01(2)lim()0iiniiniipnpn由此定理立即得：if常返，零常返；正常返状态分类判别法状态分类判别法常返态正常返零常返非常返态)(0nnpiinnpii00niinp0niinp三.状态之间的关系(可达、互通)。且，如果互通，并记为与；称状态，使如果存在某个，并记作可达状态定义：称状态ijjijijinpnjijiij0)(0。则如果；则即如果关系都具有传递性定理：可达关系与互通kikjjikikjji,,,,kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij,10)()()()()(:0)(10)(1且方程由，使，即存在，，使，即存在证：将可达关系的证明,正向用一次，反向用一次，就可得出互通关系的传递性。互通关系的状态是同一类型.有相同的周期。与同为正常返或零常返；为常返，则它们同为常返或非常返，如与则定理：如果jijij，i)2()1(00)()()()()(0)(,0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，对任意正整数，使与，故存在正整数证：因为也是常返的；因此，状态更有，故则为常返若j，npmnkpnpinjjnjjnii000)(,或同为有限。为无穷相互控制，所以它们同与有类似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，为常返的；即，为常返，则若inpnpjniinjj00也非常返，反之也真；故为非常返，则由若jnpnpinjjnii00也为零常返。为零常返，则若同理也是零常返的。再由为零常返，则若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim。，故也能证得：；由对称性，，则应有的周期为即状态的最大公约数：整除，设集能被整除，所以整除又能被既能被故而，有的，则对任一使的周期证明：设jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00,00)(1)2(础。这是分解状态空间的基态具有相同的性质此定理说明：相通的状.Iippp，，，Iiii,21,21,2121001,00转移概率为：，间为例：设马氏链的状态空①②③212121212121212102111101000000000011122121,21)(,81212121)3(,412121)2(,21)1(,0xxxxnxnfnffffnnnnnnnnn进一步常返故一般有由上图易知考查状态状态进行判别即可。的的识别，只需对最简单此例说明，对互通状态也是遍历的。，故烦，但由定理知，因较求的，对其它状态非周期的，因而是遍历，所以它是为正常返状态，由于可见iinfifii0021)1(000例：设马尔可夫链的转移概率矩阵为求11223311022012033pqpqqp（1）（2）()()1112,,1,2,3nnffn例：设质点在区间[0,4]的整数点作随机游动，到达0或4点后以概率1停留，在其它整数点分别以概率1/3向左、右移动一格或停留在原处。求质点随机游动的一步和二步转移概率矩阵